近日，在2021版IEEE VR会议论文集中，苏黎世联邦理工学院的研究人员研发出一种手环，能够为VR头显提供沉浸式的手势交互。
 
无需手握控制器，点点手指，就能获得像操作电脑、平板一样的体验。如果这一技术被商用，有望大大解放VR设备的交互限制，为VR设备释放新的市场潜力。
 

 
一、悬空动动手指，就能写文案、弹钢琴
传统的VR手势操作一般有两种方案，一个是通过VR头显上的摄像头识别，另一个是手握控制器检测。
 

 
TapID是一种可以用来检测手部动作的腕带设备，将跟踪的手部姿势与VR设备联动。用户在左右手佩戴TapID，就能够配合VR体验虚拟现实交互。
 
比如，可以向用户显示一个像电脑键盘一样的页面，进行文本输入。
 
 
可以像面前有一台电脑一样，预览网页，进入搜索引擎搜索信息。
 

 
还可以在熟悉的应用程序，进行图片、文档操作。
 

 
也可以使用TapID来检测手臂上的触觉，比如识别到手指的触碰，从而旋转手握的模型。
 

 
是不是轻装上阵，又获得了沉浸感十足的体验？
 
二、识别精度达99.7%，采用两个加速度计
下图为TapID，中心的芯片为Dialog半导体公司的DA14695，该芯片是Dialog的蓝牙低功耗微控制器，最大的特性是“多核+蓝牙BLE5.1”。DA14695对所有惯性传感器进行采样，通过串行连接将IMU数据传输到电脑上。
 

 
TapID配置两个意法半导体的LIS2DH，是两个低功耗加速度计，通过柔性PCB嵌入腕带，以及两个板载加速度计，用于测试和比较不同的传感器配置。
 

 
上图为动作识别的流程示意模型。数据采集来自于两个3D加速度计的连续流，通过其使用变化率分数识别手指点击动作。在检测到动作后，输入到神经网络分类器中识别点击动作。神经网络分类器架构包括五个卷积层块和两个最终的线性层，它们构成softmax激活函数，根据手指动作呈现概率分布。当确定了那个手指导致波动后，会检测指尖位置，从而将动作传输给应用程序。
 
TapID在灵活的表带上嵌入了一对惯性传感器，可以可靠地检测表面触觉，更重要的是，它还可以识别手指作动。研究人员在一批用户中评估了TapID的识别精度，能够达到99.7%。
 
 
结语：触觉反馈将成为VR、AR释放潜力的关键技术
自2020年以来，VR、AR出现回暖的迹象，并且朝着更加深层次的交互方向发展。本次我们看到的TapID就是从手势控制角度打破原有边界的研发。
 
正如扎克伯格所说，VR、AR在未来十年有望改变智能手机统治的霸权。以TapID为代表的触觉反馈技术有望成为VR、AR释放潜力的关键技术。