国漫手机壁纸

有人把 iPhone X 面部表情识别数据导入 Maya,结果……

iPhone X 上市后,相信不少用户已经在朋友圈晒过一轮“独家定制”的 Animoji 了。面部动作识别和追踪原本常用于电影拍摄中,如大家最熟悉的《阿凡达》,随后通过机器学习,用大量表情训练算法,来创建 3D 模型,直到今天,苹果将其融入到手机中。

NetSmell 出品

图0:有人把 iPhone X 面部表情识别数据导入 Maya,结果……

iPhone X 上市后,相信不少用户已经在朋友圈晒过一轮“独家定制”的 Animoji 了。面部动作识别和追踪原本常用于电影拍摄中,如大家最熟悉的《阿凡达》,随后通过机器学习,用大量表情训练算法,来创建 3D 模型,直到今天,苹果将其融入到手机中。

那么,如果把 iPhone X 的前置摄像头看作是一个面部捕捉系统,它捕捉的面部表情数据能被用在游戏的虚拟角色中吗?雷锋网了解到,一个月前, Kite & Lightning 游戏工作室的创始人 Cory Strassburger 进行了一项大胆的尝试:将 iPhone X 捕捉到的面部表情,植入 Maya 软件中,从而为虚拟动画形象快速配上表情。

说起 Kite & Lightning,想必一些 VR 爱好者并不陌生。这家游戏工作室去年发布了一款沉浸时迷你歌剧《Senza Peso》,其中也使用到了眼部追踪技术。同时,他们还开发了一款名为《 Beblon Battle Royle》的 VR 游戏。

对于此次大胆的尝试,Cory 想看看,能否通过 iPhone X 的面部捕捉系统,可快速、便捷地为游戏中的人物加入个性化色彩。

经过一番试验后,“我目前的结论是,iPhone X 生成的面部数据精细程度令人震惊,而且数据稳定,属于正常运行。它能精准地步捕捉到非常细微的动作,甚至是很小幅度的抽动,数据完全可以使用。

Cory 认为,这代表一种相对较便宜的面部捕捉方式。同时,手机移动端的形式更容易设置,以及对面部捕捉实现应用。看起来,苹果此前所收购的 Faceshift 公司,为此贡献了很大的功劳。尽管,Cory 也注意到,Faceshift 原本的解决方案拥有其他很酷的功能,但 iPhone X 收集的面部表情数据已经足够使用。

此外,他还公布了自己在 Maya 中是如何操作的:

  • 在 Unity 中导入《 Beblon Battle Royle》的一个游戏角色,并将 ARKit 输出的面部捕捉数据混入该角色中。
  • 为了将表情数据导入 Maya,增加记录功能,将面部表情数据录入一个文档,本地保存在 iPhone 上。每次开始和停止都会在手机中生成独立的文档,并且重新命名。
  • 从 iPhone X 中复制这些文档,通过 USB 传输到桌面。
  • 为了将面部数据导入 Maya,需要重新格式化,于是我重开发了一款桌面应用,格式化数据,将数据转化为 Maya.anim 文档。
  • 把这些文档导入 Maya 和 游戏角色中,你在手机上呈现的表情,便出现在游戏角色上了。

图1:有人把 iPhone X 面部表情识别数据导入 Maya,结果……

不过,过程中在数据方面还是出现了一些小问题,他认为可能是代码的问题。同时,由于面部表情捕捉时的刷新率为每秒 60 帧,而导入到 Maya 中,刷新率为每秒 30 帧,这导致效果有些打折扣。

他认为,“iPhone X 的 TrueDepth 系统最厉害的地方在于,其表情捕捉简单,而且快捷,然后可以了里面将数据导入游戏引擎中。手机捕捉的数据完全可以使用。”

雷锋网了解到,这次尝试成功后,下一步,Cory 想把 iPhone X 放在头盔上,然后使用 Xsens 动作捕捉系统同时实现身体和面部的动作捕捉。

他说,“对下一步的尝试,我非常有信心。通过加入动作捕捉数据,游戏人物将会有很大的提升,我还会加入带有皱纹的皮肤,与对应的表情相混合,这会使动画人物更鲜活。”

显示余下内容
相关文章:
  1. 分析师:苹果iPhone X已死 今年极有可能停产
  2. 苹果拿下iPhone X刘海屏专利:华为新旗舰尴尬了
  3. “一只耳”的iPhone X真机现身:苹果售后都看懵
  4. iPhone X重启后变“偏分” 网友调侃:刘海没梳好!
  5. 丑刘海遮住iPhone X电量百分比,用这3招可显示
  6. 别忘了,iPhone X还有一个虚拟Home键!
  7. 27款主流APP/游戏iPhone X适配调查:画面没法看
  8. 网友买iPhone X的各种理由:都是段子手
  9. iPhone X面容ID遭破解:可以同时记住两张脸
  10. 苹果提前警告用户:iPhone X屏幕变色或烧屏属正常现象
  11. iPhone X拆解报告:双层主板+双单元电池
  12. iPhone X卖9688元很贵?库克:并不贵 一天还不到一杯咖啡钱
  13. 中国双胞胎完虐iPhone X面部识别
  14. iPhone X能不能分辨出亲妈都认不准的双胞胎?
  15. 完美!王自如上手iPhone X:全面屏设计/拍照暴强
 

发表回复

您的电子邮箱地址不会被公开。