康奈尔大学的研究人员开发了一种可穿戴的耳机设备鈥攐r“可听到”鈥攖帽子可以反射脸颊上的声音,并将回声转换成一个人整个运动面部的化身,利用声学技术提供更好的隐私。
由信息科学助理教授张和Fran领导的团队莽ois Guimbreti猫信息科学教授re设计了这个名为EarIO的系统。它将面部动作实时传输到智能手机,并与商用耳机兼容,可用于免提无线视频会议。
张说,使用摄像头跟踪面部动作的设备“体积大、重量重、耗能大,这对可穿戴设备来说是个大问题”。“同样重要的是,它们捕获了大量私人信息。”
他说,通过声学技术进行面部跟踪可以提供更好的隐私、经济性、舒适性和电池寿命。
该团队在《互动、移动、可穿戴和无处不在技术ACM会议录》上发表的“EarIO:一种可用于连续跟踪详细面部动作的低功率声传感耳塞”中描述了他们的可听性。
EarIO的工作原理就像一艘船发出声纳脉冲。耳机两侧的扬声器向面部两侧发送声音信号,麦克风拾取回声。当佩戴者说话、微笑或扬起眉毛时,皮肤会移动和拉伸,从而改变回声轮廓。研究人员开发的一种深度学习算法使用人工智能不断处理数据,并将移动的回声转换为完整的面部表情。
“通过人工智能的力量,该算法发现了肌肉运动和人类眼睛无法识别的面部表情之间的复杂联系,”信息科学领域的博士生、合著者李说。“我们可以用它来推断更难捕捉的复杂信息鈥攖他整张脸。"
张实验室之前使用耳机和摄像头跟踪面部运动,根据从耳朵看到的脸颊运动重建了整个面部。
通过收集声音而不是数据密集的图像,earable可以通过无线蓝牙连接与智能手机通信,从而保持用户信息的私密性。有了图像,该设备将需要连接到Wi-Fi网络,并向云端来回发送数据,这可能使其容易受到黑客攻击。
“人们可能没有意识到可穿戴设备有多么智能鈥攚这些信息说明了什么,以及公司可以利用这些信息做什么,”Guimbreti说猫re说。通过面部图像,人们还可以推断情绪和动作。“本项目的目标是确保所有对您的隐私非常有价值的信息始终在您的控制之下,并在本地进行计算。”
使用声音信号也比记录图像需要更少的能量,而EarIO使用的能量是张实验室先前开发的另一个基于摄像头的系统的1/25。目前,无线耳机电池的可听性约为三个小时,但未来的研究将侧重于延长使用时间。
研究人员在16名参与者身上测试了该设备,并使用智能手机摄像头验证了其面部模拟性能的准确性。初步实验表明,当用户坐着走动时,它可以工作,并且风、道路噪声和背景讨论不会干扰其声音信号。
在未来的版本中,研究人员希望提高听筒对附近噪音和其他干扰的过滤能力。
“我们使用的声学传感方法非常敏感,”合著者、信息科学领域的博士生张瑞东说。“这很好,因为它能够跟踪非常微妙的动作,但也不好,因为当环境发生变化时,或者当你的头稍微移动时,我们也会捕捉到。”
该技术的一个局限性是,在首次使用之前,EarIO必须收集32分钟的面部数据来训练算法。张说:“我们希望最终能让这款设备即插即用。”。