看下巴识心情 这条AI项链挂胸前也能识别面部表情
瞄一瞄你的下巴,就知道你有没有在难过。这个温馨的场景对应的不是窝在怀里的小猫咪,而是……NeckFace,一款用于监控情绪的智能工具。它被设计成项链及颈带样式,AI只需要看到使用者的下巴,就可以获取面部表情数据。这款设备的面部识别原理,不仅打破了必须在正面放置摄像头的局限,而且还能做到在运动过
瞄一瞄你的下巴,就知道你有没有在难过。这个温馨的场景对应的不是窝在怀里的小猫咪,而是……Neck Face,一款用于监控情绪的智能工具。它被设计成项链及颈带样式,AI 只需要看到使用者的下巴,就可以获取面部表情数据。
这款设备的面部识别原理,不仅打破了必须在正面放置摄像头的局限,而且还能做到在运动过程中持续捕捉表情信息。
智能项链 Neck Face
项链式仪器包含一组 Neck Face,由红外摄像头 OV5647、近红外 LED 和红外带通滤波器组成,佩戴时位于下巴正下方;颈带式仪器包含两组,佩戴时分别位于两侧锁骨位置。
摄像头位置这么靠下,能看到我们的表情吗?
如此低的机位,自然看不到完整的面部表情,只能获得包含下巴部分下半张脸的轮廓图像。
AI 通过对这部分图像的信息提取,以算法推测出完整面部表情。
当我们做面部表情时,面部肌肉会拉伸和收缩,推拉皮肤影响附近面部肌肉的张力,这种效果会导致脸颊轮廓发生变化。
Neck Face 从颈部和下巴下方角度,用红外相机记录面部肌肉运动,以及所引起的面部轮廓变化。
获得脸部轮廓红外图像后,通过卷积神经网络帮助将二维图像轮廓重构为完整信息,并利用计算机视觉和深度学习模型,找到颈部和下巴红外图像与完整面部的联系。
结合 ARKit,从深度相机中提取了 52 个混合形状参数(blend-shape),以及头部偏转角度数据,重构出完整的表情。
经过这样的处理过程,能够从下巴角度图像获得完整面部表情。并且可以在佩戴过程中,连续记录表情变化。
为验证这款设备监测结果准不准确,研究人员使用了苹果手机深度相机作对比分析。
测试者被要求在静坐和行走过程做出八种不同的表情,并且包含了上下左右四个方向转动头部的过程。
对比各种情况下手机和可穿戴仪器表情识别的差异,计算所得出的混合形状参数(分值0-1000)平均绝对误差。
通过对测试结果总结分析,可穿戴表情监测仪器误差在 20-35 之间。且可识别头部转动角度,角度误差在2-4.5 度。
△左侧为手机摄像头识别处理的结果,右侧为 NeckFace 面部重建的结果。
两种设计相比,颈带式设备性能优于项链式,原因可能在于两侧摄像头能够捕获更多信息。
应用优势
现代人对自身健康越来越重视,不仅是身体机能的健康,心理健康也逐渐得到了更多关注。
以科学的方法对情绪进行监控,可以更好地掌握自身状况,及时做出调整或治疗,避免影响到身体机能。
记录情绪及心理状态建立起数据库,还可以方便个体追踪自身行为,有利于就医等社会活动。
提到大数据,一定会有人担心隐私泄漏的问题,由于 Neck Face 都是从头部下方对面部表情进行检测,而仅仅通过下半张脸无法识别到用户全部面部信息。
另外,Neck Face 是红外成像,对环境不作识别,可以很好地隐藏环境信息。
对 Neck Face 的测试过程中也提到了,设备可以在行走中保持工作,这就大大解放了远程办公或视频会议时对使用者的局限,可以更自由地参与线上讨论。
研究团队
本研究主要由北京大学学生陈拓潮,麦吉尔大学学生 Yaxuan Li 完成,参与单位还有康奈尔大学 SciFi 实验室,康奈尔信息科学学院研究人员等。
康奈尔大学计算机与信息科学学院 Cheng Zhang 教授研发出可穿戴传感器C-Face。在此基础上,陈拓潮等人做出改进,开发出这款更方便穿戴,性能更好的 Neck Face。
△左侧为使用者佩戴C-Face,右侧为 3D 模型反馈的面部表情。
参考文献
https://dl.acm.org/doi/10.1145/3463511
参考链接
相关文章:
- 信用卡 PIN 码很容易猜测
- 神经元簇发能模拟 AI 学习策略
- 蜘蛛丝可能根本不具有抗菌性质
- 佳能因禁止无墨水打印机扫描被起诉
- DeepMind盈利后开始「买买买」!收购机器人模拟平台MuJoCo,全面开源
- 分析师:新MacBook Pro搭载自家芯片,苹果利润率更高了
- 格芯提交上市申请IPO,筹资约26亿美元
- 美股周二:中概股普涨 阿里涨超6% 高途涨逾12%
- 搭配自研处理器与安卓12,谷歌新机Pixel 6起价599美元
- 摩根士丹利:马斯克有望凭SpaceX成首位万亿美元富豪
- 《鱿鱼游戏》助奈飞三季度新增用户翻倍,股价近新高
- DOTA 2又上热搜了 为什么这次大家到处刷“猛犸”?
- 多位游戏巨头联合希望美国政府监管盗版和作弊网站
- Google Play Data Safety开始接受开发者申请:2022年将强制执行
- 价格欺诈投诉引发公益诉讼 京东“划线价”格式条款须整改
发表回复