返回顶部
返回首页
返回首页
今天是    | 政策法规 | 行业应用 |
home 您现在的位置: 首页 >配件与装备>技术中心 > 详细信息
可穿戴设备使用声纳重建面部表情
2022年07月23日    阅读量:4299     新闻来源:行业资讯在线    |  投稿

康奈尔大学的研究人员开发了一种可穿戴的耳机设备鈥攐r“可听到”鈥攖帽子可以反射脸颊上的声音,并将回声转换成一个人整个运动面部的化身,利用声学技术提供更好的隐私。

由信息科学助理教授张和Fran领导的团队莽ois Guimbreti猫信息科学教授re设计了这个名为EarIO的系统。它将面部动作实时传输到智能手机,并与商用耳机兼容,可用于免提无线视频会议。

张说,使用摄像头跟踪面部动作的设备“体积大、重量重、耗能大,这对可穿戴设备来说是个大问题”。“同样重要的是,它们捕获了大量私人信息。”

他说,通过声学技术进行面部跟踪可以提供更好的隐私、经济性、舒适性和电池寿命。

该团队在《互动、移动、可穿戴和无处不在技术ACM会议录》上发表的“EarIO:一种可用于连续跟踪详细面部动作的低功率声传感耳塞”中描述了他们的可听性。

EarIO的工作原理就像一艘船发出声纳脉冲。耳机两侧的扬声器向面部两侧发送声音信号,麦克风拾取回声。当佩戴者说话、微笑或扬起眉毛时,皮肤会移动和拉伸,从而改变回声轮廓。研究人员开发的一种深度学习算法使用人工智能不断处理数据,并将移动的回声转换为完整的面部表情。

“通过人工智能的力量,该算法发现了肌肉运动和人类眼睛无法识别的面部表情之间的复杂联系,”信息科学领域的博士生、合著者李说。“我们可以用它来推断更难捕捉的复杂信息鈥攖他整张脸。"

张实验室之前使用耳机和摄像头跟踪面部运动,根据从耳朵看到的脸颊运动重建了整个面部。

通过收集声音而不是数据密集的图像,earable可以通过无线蓝牙连接与智能手机通信,从而保持用户信息的私密性。有了图像,该设备将需要连接到Wi-Fi网络,并向云端来回发送数据,这可能使其容易受到黑客攻击。

“人们可能没有意识到可穿戴设备有多么智能鈥攚这些信息说明了什么,以及公司可以利用这些信息做什么,”Guimbreti说猫re说。通过面部图像,人们还可以推断情绪和动作。“本项目的目标是确保所有对您的隐私非常有价值的信息始终在您的控制之下,并在本地进行计算。”

使用声音信号也比记录图像需要更少的能量,而EarIO使用的能量是张实验室先前开发的另一个基于摄像头的系统的1/25。目前,无线耳机电池的可听性约为三个小时,但未来的研究将侧重于延长使用时间。

研究人员在16名参与者身上测试了该设备,并使用智能手机摄像头验证了其面部模拟性能的准确性。初步实验表明,当用户坐着走动时,它可以工作,并且风、道路噪声和背景讨论不会干扰其声音信号。

在未来的版本中,研究人员希望提高听筒对附近噪音和其他干扰的过滤能力。

“我们使用的声学传感方法非常敏感,”合著者、信息科学领域的博士生张瑞东说。“这很好,因为它能够跟踪非常微妙的动作,但也不好,因为当环境发生变化时,或者当你的头稍微移动时,我们也会捕捉到。”

该技术的一个局限性是,在首次使用之前,EarIO必须收集32分钟的面部数据来训练算法。张说:“我们希望最终能让这款设备即插即用。”。

标签:机械应用技术中心设备与仪器配件与装备系统及软件
免责声明: 本文仅代表作者本人观点,与本网无关。本网对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。本网转载自其它媒体的信息,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。客服邮箱:service@cnso360.com | 客服QQ:23341571

全站地图

深圳网络警察报警平台 深圳网络警
察报警平台

公共信息安全网络监察 公共信息安
全网络监察

经营性网站备案信息 经营性网站
备案信息

中国互联网举报中心 中国互联网
举报中心

中国文明网传播文明 中国文明网
传播文明

深圳市市场监督管理局企业主体身份公示 工商网监
电子标识