可穿戴传感技术最新突破：跟踪人的手部轮廓并预测手势

可穿戴传感技术最新突破：跟踪人的手部轮廓并预测手势

• 来源:网络
• 更新日期:2020-07-24

摘要：随着虚拟现实和增强现实技术在视觉逼真度和耳机舒适度方面的稳步发展，研究人员持续致力于研发比手持控制器更自然的输入解决方案。康奈尔大学和威斯康星大学麦迪逊分校的研究

随着虚拟现实和增强现实技术在视觉逼真度和耳机舒适度方面的稳步发展，研究人员持续致力于研发比手持控制器更自然的输入解决方案。

康奈尔大学和威斯康星大学麦迪逊分校的研究人员设计了一种腕式装置，可以在3D环境下连续跟踪人的整个手部，这是可穿戴传感技术的一个潜在突破。这款名为FingerTrak的手环可以感知人类手的许多位置，包括20个手指关节的位置，使用三到四个微型、低分辨率(32×24像素)的热感摄像头读取手腕轮廓，并将其转换为3D视觉。研究人员称，该设备可用于手语翻译、虚拟现实、移动健康、人机交互等领域，还可能对医疗保健应用产生影响，特别是在监测影响精细运动技能的疾病方面，包括帕金森病和阿尔茨海默病等退化性疾病的早期检测。

该手环使用深度神经网络将安装在手腕上的微型热感摄像机输入连接在一起，共同捕捉整个手部姿势。利用摄像机生成的轮廓，骨干网络和回归网络估计指尖和关节的位置，尽管结果并不完美，但它们可以用于某些形式的VR和AR输入。

过去的腕式摄像机过于笨重，不适合日常使用，而且大多数只能重建一些离散的手势。FingerTrak在轻巧方面有了突破，还允许自由移动。有趣的是，研究人员认为，单是手腕的轮廓就“足以准确地预测整个手的姿势”，使整个感应系统可以安装在手腕上，不需要手套、戒指或其他技术。通过演示视频可以看出，FingerTrak的手部运动跟踪转化为仿生手的运动，并使计算机能够确定用户何时在写作、喝咖啡、以及与智能手机互动。

目前还不清楚该系统是否能够快速跟踪特定的手势，例如一个人在写什么内容;研究人员注意到这款手环在测试期间的平均角度错误率在6.46到8.06之间，取决于测试的背景。换句话说，至少在某些应用中，它是对更高精度的手指跟踪解决方案的补充。此款手环预计将在2020年9月中旬的ACM普适计算国际会议上发布。