有人把 iPhone X 面部表情识别数据导入 Maya,结果……

iPhone X 上市后,相信不少用户已经在朋友圈晒过一轮“独家定制”的 Animoji 了。面部动作识别和追踪原本常用于电影拍摄中,如大家最熟悉的《阿凡达》,随后通过机器学习,用大量表情训练算法,来创建 3D 模型,直到今天,苹果将其融入到手机中。

NetSmell 出品

图0:有人把 iPhone X 面部表情识别数据导入 Maya,结果……

iPhone X 上市后,相信不少用户已经在朋友圈晒过一轮“独家定制”的 Animoji 了。面部动作识别和追踪原本常用于电影拍摄中,如大家最熟悉的《阿凡达》,随后通过机器学习,用大量表情训练算法,来创建 3D 模型,直到今天,苹果将其融入到手机中。

那么,如果把 iPhone X 的前置摄像头看作是一个面部捕捉系统,它捕捉的面部表情数据能被用在游戏的虚拟角色中吗?雷锋网了解到,一个月前, Kite & Lightning 游戏工作室的创始人 Cory Strassburger 进行了一项大胆的尝试:将 iPhone X 捕捉到的面部表情,植入 Maya 软件中,从而为虚拟动画形象快速配上表情。

说起 Kite & Lightning,想必一些 VR 爱好者并不陌生。这家游戏工作室去年发布了一款沉浸时迷你歌剧《Senza Peso》,其中也使用到了眼部追踪技术。同时,他们还开发了一款名为《 Beblon Battle Royle》的 VR 游戏。

对于此次大胆的尝试,Cory 想看看,能否通过 iPhone X 的面部捕捉系统,可快速、便捷地为游戏中的人物加入个性化色彩。

经过一番试验后,“我目前的结论是,iPhone X 生成的面部数据精细程度令人震惊,而且数据稳定,属于正常运行。它能精准地步捕捉到非常细微的动作,甚至是很小幅度的抽动,数据完全可以使用。

Cory 认为,这代表一种相对较便宜的面部捕捉方式。同时,手机移动端的形式更容易设置,以及对面部捕捉实现应用。看起来,苹果此前所收购的 Faceshift 公司,为此贡献了很大的功劳。尽管,Cory 也注意到,Faceshift 原本的解决方案拥有其他很酷的功能,但 iPhone X 收集的面部表情数据已经足够使用。

此外,他还公布了自己在 Maya 中是如何操作的:

  • 在 Unity 中导入《 Beblon Battle Royle》的一个游戏角色,并将 ARKit 输出的面部捕捉数据混入该角色中。
  • 为了将表情数据导入 Maya,增加记录功能,将面部表情数据录入一个文档,本地保存在 iPhone 上。每次开始和停止都会在手机中生成独立的文档,并且重新命名。
  • 从 iPhone X 中复制这些文档,通过 USB 传输到桌面。
  • 为了将面部数据导入 Maya,需要重新格式化,于是我重开发了一款桌面应用,格式化数据,将数据转化为 Maya.anim 文档。
  • 把这些文档导入 Maya 和 游戏角色中,你在手机上呈现的表情,便出现在游戏角色上了。

图1:有人把 iPhone X 面部表情识别数据导入 Maya,结果……

不过,过程中在数据方面还是出现了一些小问题,他认为可能是代码的问题。同时,由于面部表情捕捉时的刷新率为每秒 60 帧,而导入到 Maya 中,刷新率为每秒 30 帧,这导致效果有些打折扣。

他认为,“iPhone X 的 TrueDepth 系统最厉害的地方在于,其表情捕捉简单,而且快捷,然后可以了里面将数据导入游戏引擎中。手机捕捉的数据完全可以使用。”

雷锋网了解到,这次尝试成功后,下一步,Cory 想把 iPhone X 放在头盔上,然后使用 Xsens 动作捕捉系统同时实现身体和面部的动作捕捉。

他说,“对下一步的尝试,我非常有信心。通过加入动作捕捉数据,游戏人物将会有很大的提升,我还会加入带有皱纹的皮肤,与对应的表情相混合,这会使动画人物更鲜活。”

显示余下内容
 

发表评论

电子邮件地址不会被公开。 必填项已用*标注