智汇有初|以聋哑群体人机交互为例，研究“空间动作精准识别与智能控制技术”科技向善理念！

图片

摘要：有人说，科技是一把双刃剑，他看到了“游戏荼毒青少年、黑客攻击重要网站、网络诈骗横行……”；有人说，科技让生活更美好，他看到了“智能手机连接生活、互联网方便生活、物联网提升制造效率……”，智汇有初是一家有良知的人工智能企业，坚持“科技应该上善若水”理念，以“空间动作精准识别与智能控制技术”核心技术，也就是“Space Touching”技术的聋哑盲（即听力、语言障碍）群体人机交互应用场景为例，解读科技向善的技术理念。

 

**部分：背景

 

从**次工业革命到现在，人类科技的进步大大提高人类生产效率和人们生活的便利程度，也带动人机交互领域较大的进步与发展，除了不断更新技术满足主流人群需求，还要解决特定群体的用户需求。



图片



也是由于聋哑群体规模小、消费能力低，往往被追逐利润的资本忽略，造成这一群体人机交互研究被大众和研究者低估，因此，他们的问题几乎没有得到解决。



我们希望参与聋哑群体人机交互领域的研究，提高人们对聋哑群体问题的认识，并希望提出一个全面的解决方案，以更好地将特殊人群纳入智慧互联的世界。

 

*二部分：聋哑群体与沟通方式

 

在语言上，聋哑群体与常人的交流方式有着很大的区别，这一点体现在他们使用的语言——手语，**出了大部分人的识别范畴。

 

那么，我们看两种可能的交流方式：

1、计算机外设输入设备，自动转录成文字，如电脑键盘与屏幕组合、机器视觉和算法深度学习组合；

2、共同定义的手势动作，如五指伸开代指展开，握紧拳头代指合上；

 

也就是说，除了能看懂手语的人，聋哑群体简单的缓慢交流可以通过书写或打字实现，只是这种沟通方式效率太低，且语言本身的多义、歧义，加之他们缺少有声交流的感知体验，容易造成许多误解。

 

这个时候，一方面提高沟通速度，另一方面降低沟通误解，就成了必须面对的两大问题。

 

*三部分：聋哑群体的信息输入、输出策略

 

在口头语言诞生之前，人体动作是本能的沟通语言，并一直伴随人类发展至今，这也为我们的带来了策略启发。

 

我们对标口头语言来进行动作语言的开发：

1、把动作对标文字，进行特定动作的特定定义，组合成长句，提高信息输入、输出的沟通速度；

2、尽量避免多义动作，实在无法避免，至少像解决多义字一样解决多义动作，如配合表情、音调等；

 

这个时候，发挥机器视觉、算法深度学习自动识别转录的优势，像五笔输入、拼音输入一样，建立用户行为大数据，形成越来越好用的智能转录终端，完成手语的快速翻译。

 

*四部分：识别与控制原理

 

对于聋哑群体，他们除了缺少有声沟通的条件，剩余的感官依然正常，甚至追赶常人的敏感，我们就以手语赖以表达的动作为例，解释“Space Touching”技术的实现原理：

 

第一步：识别动作

摄像头或位置传感器，对空间的手势、关节姿态、物体运动等精准识别；

                                                                                                     

第二步：信息处理

图像处理器和处理软件，基于图像处理算法，建立人体动作模型；

 

第三步：执行动作

驱动硬件交互执行，实现人体空间动作的精准定位与识控。

 





这一技术，已经成功应用于汽车、家电、玩具、教育领域，并获得有价值的用户反馈，为我们提供了更多研发的动力。

 

*五部分：思考

 

我们正常人享受自然人机交互带来的便利和工作效率的提升，也希望给一些特殊群体带来本质上的改变，让他们能够更有效率地利用计算机，改善他们的生活状况，为他们提供接触数字世界的机会，让数字资源真正的实现面向所有人的共享。



图片



然而，这一特殊群体相对购买力较低，愿意投入产品开发的企业较少，特殊的产品需求带来人机交互辅助系统开发成本提升，也希望公共资源和研究者公益性地推动特殊群体人机交互应用的研究与开发，一个正常人再简单不过的音乐、唱歌可能是他们一生都没有的上帝体验，他们迫切需要技术为他们服务，感知这个世界的存在，所以，这是一个非常值得尝试的领域。

 

*六部分：结论

 

在现阶段来讲，我们远远没有解决聋哑群体的需求，还有很多工作可以做，甚至需要很长的时间去研发、尝试，只要没有放弃努力、尝试，就会有更多新的、有价值的技术出现，帮助聋哑群体提高输入、输出信息的效率，融入智慧互联的世界。