/面部表情识别:你的一颦一笑,我都知道

面部表情识别:你的一颦一笑,我都知道

正文字数:1968字

图片总数:14张


引言:面部识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部识别的一系列相关技术。随着多模态交互技术的发展,面部识别可以应用在肤色、年龄、表情等更多复杂场景。

01

Project Starline

Design by: Google

视频会议|多模态|交互装置


Project Starline 展示了一种实时的双向交流系统,可以让两个人,即使在远距离交互,也能体验到面对面的对话体验。通过参与者打分 (如呈现、注意力、参与感等方面)、会议参与感和观察到的非语言行为表达 (如点头、眉毛运动) 各方面进行测量,这是第一个明显优于2D视频会议的远程呈现系统。




从 Project Starline 的装置外表来看,它似乎和“3D”“全息影像”等高科技词汇不太沾边——要知道在科幻电影里,主角们都是通过一个充满未来感的金属圆形底座进行全息立体投影,与之相比,Project Starline 更像是一个精致一点的梳妆台。当 Project Starline 的大屏亮起时,迟到的科技感才慢慢地铺陈开来。



Project Starline 是一个里程碑式的远程呈现系统,这系统所有设计元素都为了最大化实现音视频的保真度和真实感观体验来实现的,包括物理布局、照明、人脸跟踪、多摄像头采集、麦克风阵列、多媒体流压缩编码、扬声器输出和透镜显示。



Jay Peters 称,Project Starline 就像是一块具有魔法的窗户,将两间房间连在了一起,坐在他对面的谷歌研究员看起来和真人的高度、长相几乎一致,当他递过来一个苹果时,他甚至能通过画面上的阴影感受到近似真实世界的空间距离感。



这像是一场发生在同一张桌子上的面对面交流,其拟真程度几乎让人忘了两间测试房实际上相隔甚远。之所以用“拟真”来形容这场别开生面的会谈,是因为画面终端显示的画面其实并非是单纯的影像画面,而是根据图像、深度等信息重新渲染的“虚拟人”,而这是营造超现实临场感的关键。

其可以实现关键的3D视听维度(立体视觉、运动视差和空间化音频),并能实现全方位的交流体验(眼神接触、手势和肢体语言),但使用者不需要佩戴特殊的眼镜或的麦克风/耳机。其系统由头部跟踪自动立体显示、高分辨率三维采集和播放系统以及使用对色彩空间和视频深度流进行压缩解码并网络传输组成。其他的技术点包括一个新的基于图像的几何融合算法,自由空间去混响和发言人者定位。

02

捷豹路虎情绪探测系统

Design by: JAGUAR 

安全驾驶|HMI|情绪识别


该系统在行车过程中,能够通过面部摄像和生物传感技术,探测和评估驾驶者的情绪,并相应调节供暖、通风和空调系统、车载媒体、照明等车内配置,从而舒缓驾驶者的日常压力、提升其出行幸福感。例如,当系统探测到驾驶者的紧张情绪,环境照明将转变为镇静色,以舒缓压力;当系统探测到驾驶者的疲惫状态,车载媒体将播放驾驶者最喜欢的歌曲,以恢复精神;当系统探测到驾驶者的困倦迹象,如打哈欠,空调温度将随之降低,以保持清醒。


此外,捷豹路虎还在测试适用于后排乘客的同类技术。如果系统识别到用户的困倦迹象,便会调暗照明灯光、调节车窗颜色、调高后排温度,来帮助乘客更好地入睡。据悉,该系统未来会在众多车型上应用普及。


捷豹路虎首席医疗官Steve Iley博士表示:“虽然我们正在迈入自动驾驶时代,但捷豹路虎对驾驶者的关注会一如既往,确保捷豹路虎用户在任何驾驶场景里,包括在枯燥乏味的公路驾驶途中,始终处于舒适、专注而警醒的状态。”

03

C-Face

Design by: Scifilab

社交|深度学习|生物识别

人的喜怒哀乐时常是透过脸部表情变化被他人注意,不过现代人使用即时通讯应用时,却因为看不见对方的表情,常常不确定对方的情绪是真心的?还是只是随口应付?进来一款 Cornell 研究团队开发的耳机C-Face,竟然可以利用使用者的脸部肌肉轮廓描绘出你的表情,即便戴上口罩也无法隐藏你的情绪!

这个被称为C-Face的实验装置是由康奈尔大学张成教授领导的团队开发的。它结合了两个微型计算机连接的RGB摄像头,安装在第三方耳机上的被试者的耳朵下方。C-Face(Contour-Face)是一种耳挂式可穿戴传感技术,它使用两个微型摄像头,通过深度学习面部轮廓,不断重建面部表情。当面部肌肉移动时,从耳挂式摄像头的角度来看,面部轮廓会发生变化。

这些细微的变化被输入到深度学习模型中,该模型连续输出 42 个面部特征点,代表嘴巴、眼睛和眉毛的形状和位置。为了评估 C-Face,我们将我们的技术嵌入到耳机和耳机中。我们对九名参与者进行了用户研究。在这项研究中,我们将系统的输出与最先进的计算机视觉库输出的特征点进行了比较。我们发现捕获面部最活跃区域的 20 个主要特征点的平均误差较小,不断重建面部表情的能力为多场景应用带来了新的机会。


素材来源:

https://c1n.cn/m0GW1

https://blog.google/technology/research/project-starline

https://c1n.cn/wfW0P

https://www.scifilab.org/c-face


版权说明:本文素材来源于网络,如有损害或影响您的合法权益,请积极与我们联系处理



          
编辑EDITOR胡文彬
审核REVIEWER胡世海
          
电话PHONE13871056452
邮箱E-MAIL2028621@qq.com

Follow us|点击名片关注



Information and Interaction Design

本文来自微信公众号“信息与交互设计研究所”(ID:gh_c1cd7847b233)。大作社经授权转载,该文观点仅代表作者本人,大作社平台仅提供信息存储空间服务。