那么多短视频特效 凭什么抖音出的这么火

　　萧箫发自凹非寺

　　量子位报道公众号 QbitAI

　　说到短视频特效，你或许第一时间会想到“抖音特效”。

　　没错，抖音的特效似乎总是火到出圈，像用一段视频让你“重返三岁”：

　　△视频来源@赖美云

　　又或是 1 个动作就打破次元壁，PDD 也变得眉清目秀：

　　事实上，与 AI 相关的特效技术，国内外也有不少 APP 在做，但运行到手机上后，最出圈的往往还是抖音。

　　同类特效，背后所用的 AI 技术其实是接近的，但抖音做出的特效，渲染真实、运行流畅、爆款也更多。

　　抖音特效常青的秘诀，究竟是什么？

　　只要 5M，效果堪比虚幻引擎

　　一款特效的创意无法预测，但渲染效果和运算时间却能被打磨到极致。

　　其中，渲染效果依靠 CV（计算机视觉）+CG（计算机图形学）两类算法的提升，而运算时间则依靠模型的优化。

　　对于计算机来说，CV 算法能让它精准地“看懂”一张照片中的内容。小到特效的贴合度、实时跟踪的精度，大到整个图像的分辨率提升、风格改变，都属于 CV 算法的范畴。

　　像合成大菠萝这种贴脸特效，或是高清修复老照片，又或是“重返三岁”、“漫画脸”这类整体画风的迁移，都属于 CV 算法的“职责”所在。

　　抖音所用的 CV 算法，基本靠自研。仅 CVPR 2021 一场顶会，字节跳动合作入选的论文就有 14 篇，涵盖 NAS、图像修复、行为识别等方向，同时在移动目标检测、细粒度图像识别、视频分类等细分领域竞赛中夺冠。

　　再说 CG 算法，它能让计算机做出以假乱真的特效效果，结合 CV 算法贴合到图片或视频上。

　　像常见的 PBR 算法，只是渲染“基操”；电影中常用的粒子系统，抖音同样也会用到手机特效上，此外还有透明材质、bloom 效果……都更接近真实场景，而不仅仅是 2D 贴纸。

　　△3D 渲染和 2D 程序火焰特效对比

　　然而，无论 CV 算法还是 CG 算法，往往都是模型越大，做出的渲染效果才会越好。

　　影视业界甚至流传这样一个说法：“一个 1 秒钟的顶级特效，用专业渲染算法去实现的话，可能需要连续渲染上 50 天。”

　　这样的特效模型，绝对无法符合用户的实时拍摄需求，更别提流畅度。

　　但据火山引擎技术专家杨辉表示，抖音 5MB 的渲染特效，就能达到媲美虚幻引擎实现的效果。

　　没错，为了确保特效运行流畅，抖音的特效模型严格限制在 5MB 以内，便于用户实时使用。

　　这 5MB，包含模型、贴图、动画、特效和逻辑触发机制……在内的所有文件。

　　压缩到极致的运算时间背后，是自研渲染引擎+云渲染技术的结合。

　　渲染工具上，抖音没有选择采用 Unity 或是虚幻引擎进行特效制作，而是针对短视频和 AR，自行研发了轻量级的渲染引擎。

　　自研引擎着重对短视频拍摄所需的特效算法进行了增强，舍去了部分游戏专属、短视频不需要的特效，保证渲染的效果。

　　同时，为了让特效用上更好的渲染算法，抖音自研了云渲染技术，将原本要用手机硬件计算的特效，放到服务器端进行计算，再将效果实时传输给用户。

　　这样原本计算量在 GPU 级的渲染特效，现在也能在手机上实时完成，带来的效果提升也显而易见。

　　例如，渲染算法中的粒子系统，只有用 GPU 计算，才能发挥出更好的效果（烟花特效）；相比之下，CPU 计算的粒子系统效果要更为单薄（控雨特效）：

　　△2021 年的烟花特效 vs2018 年的控雨特效

　　但前沿的 CV+CG 算法和自研工具，只是抖音特效的一部分秘诀。之所以能爆款频出，离不开其成熟的产出流程、覆盖场景全面的工业化体系。

　　火山引擎：技术井喷

　　一项技术能否常青，取决于它带来的产品能否批量化生产、适用场景是否全面，对于特效也是如此。抖音特效，已然符合这两个条件：

　　一方面，据抖音与火山引擎联合发布的《抖音特效数据报告》显示，2021 上半年，抖音平台平均每天上线超过 100 个特效爆款，用户平均每 5 个投稿里，就有 1 个使用特效。

　　这意味着，抖音已经具备了流水化生产特效的能力。同时，这些特效的质量，足以让五分之一的投稿使用它们（抖音的日活用户目前已达到 6 亿）。

　　这也让特效设计变得更加容易。在抖音将特效变成一个“创意生产线”之前，特效设计师并不是一个“低门槛”职业。据抖音爆款设计师游洋表示，自己原本是一名影视后期，但却成功当上抖音特效师，身边也有越来越多的同行，正在投身这个职业。

　　另一方面，抖音特效技术的应用场景，早已不止抖音 APP，而已经触及到各行各业。

　　汽车行业，用特效实现的 AR 看车；美妆行业，用特效进行 AR 试妆；传统媒体行业，用数字人技术做出虚拟主持人、虚拟客服……

　　△AR 试妆

　　可以预见的是，抖音特效已经不再是原本拍摄短视频时所用的特效，而正逐渐成为一种“创意数字内容”。

　　出圈的抖音特效，成为字节增长秘诀中，又一块不可或缺的重要版图。

　　现在，字节跳动将它们全部公开了——以火山引擎的方式。

　　没错，就像字节管理能力的“井喷”产物飞书一样，字节技术能力的井喷，带来了火山引擎。

　　作为字节内部曾经使用的技术平台，火山引擎不止“存储”着抖音所有特效背后的算法技术能力，也包含特效从制作、质量把关到落地的所有工程技术。

　　制作上，为了加快生产速度、降低技术门槛，字节将抖音特效背后的算法技术，变成了各种模块化组件。

　　例如，抖音将常用 CV、CG 算法做成组件后，设计师只需要拖动读条、或是按下按键，就能在特效中用上这一功能。

　　而包括从训练到推理在内的算法生产过程，抖音全都采用自研推理框架和训练平台，确保最适合 APP 的运行速度。

　　质量审核上，特效设计会进行效果评级，资格足够才能予以上线；同时字节内部也成立了专门的创新小组，保证算法的前沿和创新性，设计出更多满足设计师需求的组件（顶会论文就有不少出自这里）。

　　落地上，抖音还会考虑用户体验度、不同场景下客户的定制化需求。

　　例如，抖音采取了如不同手机性能的分级策略、运行速度优化等技术措施，将系统崩溃率降低至 10 万分之一。

　　同时，采用资源下发等技术，确保用户能在不更新软件的情况下，使用新特效；面对不同场景时，抖音特效的也能适应不同分辨率、接口类型和机型。

　　这一切，和前沿的算法技术一起，共同构成了抖音特效成功的秘诀。

　　“字节技术没有秘密”

　　7 月 28 日，火山引擎和抖音联合宣布，将上万抖音同款特效开放给客户。

　　这意味着字节正在将包括算法、道具资源在内的抖音特效的所有优势，全部对外提供技术服务，让更多人享受这一集大成的结果。

　　目前，像懂球帝、心心 APP 等一众企业产品，已经在使用火山引擎作为自己的业务增长技术。

　　未来，火山引擎也计划进一步引入最新的技术如端云协同和多人互动，来增强用户和客户的特效体验。

　　可以想见，更精致的特效、互动性更强的技术，都将成为抖音未来的发展方向。

　　同时，特效技术的发展，也会进一步给各行业带来更多的惊喜。

　　以影视和游戏行业为例，这两项技术能极大地减轻视频后期制作、降低游戏美术成本。例如在某个角色身上加个马赛克、或是做个智能贴图，都不需要再一帧帧去手动调整，算法自动就能完成这些步骤。

　　这样公开自己所有的增长技术，字节害怕同行的竞争吗？

　　杨辉表示，不害怕：随着时间推移，任何一项新技术的准入门槛，都会越来越低。我们能做的，不是去打价格战，而是去拓展、更新技术，保证自身的竞争力。

　　这个角度来说，字节跳动的增长技术，确实没有秘密。