“我们的希望是,这的人打开了一个简单的方法使用手语沟通直接与non-signers无需别人为他们翻译,“陈小君说,生物工程助理教授在加州大学洛杉矶分校萨姆厄工程学院和研究的首席研究员。“此外,我们希望它能帮助更多的人自己学习手语。”
这套系统包括一双手套,手套上有可以伸缩的传感器,杏耀招商可以在五个手指的每个手指上运行。这些传感器由导电纱线制成,可以捕捉手部运动和手指位置,代表单个字母、数字、单词和短语。
然后,该设备将手指的动作转化为电信号,发送到佩戴在手腕上的一块美元硬币大小的电路板上。电路板通过无线方式将这些信号传输到智能手机上,智能手机会以大约每秒一个单词的速度将这些信号转换成口语。
研究人员还在测试者的脸上添加了粘性传感器——在他们的眉毛之间和嘴的一侧——来捕捉面部表情,这是美国手语的一部分。
陈说,以前提供美国手语翻译的可穿戴系统受到笨重设备设计的限制,或者佩戴起来不舒服。
加州大学洛杉矶分校的研究小组开发的这种装置是由重量轻、价格便宜、但耐用、可拉伸的聚合物制成的。电子传感器也非常灵活和便宜。
在测试该设备时,杏耀招代理研究人员与四名使用美国手语的聋人进行了合作。佩戴者将每个手势重复15次。一种自定义的机器学习算法将这些手势转换成它们所代表的字母、数字和单词。该系统能识别660个符号,包括字母表中的每个字母和数字0到9。