首页 > 范文大全 > 正文

用指关节控制你的手机

开篇:润墨网以专业的文秘视角,为您筛选了一篇用指关节控制你的手机范文,如需获取更多写作素材,在线客服老师一对一协助。欢迎您的阅读与分享!

2007年,iPhone的出现使得多点触控变得普及,人们开始习惯于用指尖在屏幕点按,激活移动设备上不同的功能。不过,Qeexo认为人们与智能设备的交互方式应该更多样化,比如指关节,以及其他手势部位。

在华为P8的会上,华为消费者业务CEO余承东在现场演示了该款手机的最新技术:食指弯曲,第二个指关节轻叩手机屏幕,大屏幕展示了一个新功能:指关节双击屏幕,手机会自动全屏截图,指关节画圈则完成局部截图。

余承东在现场的语气略显亢奋,他解释道,这是全球范围内第一次将指关节识别技术投入商用。那是2015年4月,为华为P8提供这项技术的硅谷公司Qeexo只是一个成立时间不足3年、还未在媒体上露过面的小公司。当天,创始人Sang Woo Lee专程从硅谷飞到北京参加华为的会。

具体来说,指关节操控的实现是基于现有手机的传感器,敲击屏幕的过程中,重力加速度传感器将获得特殊的振动频率,通过算法可以将指关节和其他物体区分开来,由此得到对应的操作方式。

指关节识别技术(FingerSense)是Qeexo关于人机交互方式研究最成熟的技术。此后两年,FingerSense应用到华为旗下超过20款机型上,并且扩展了录屏、快捷打开应用等更多功能。

“如果你想用笔,就想象你正在使用一支笔,”Lee把手呈握笔姿势放在iPad上,屏幕上立刻出现了一支笔的图标。之后Lee随便画了一些线条,“如果你想测量线的长度,你需要尺子,”他的左手拇指和其他四指分开,一把尺子出现了。他上下调整了一下位置和角度,“然后,想象你正在使用黑板擦。”他的手背拱起,做出拿着黑板擦的样子,一个黑板擦图标出现在屏幕上,他擦掉了刚才画的线条。

初次看到这样演示的人很难不惊讶。通常情况下,我们需要在编辑栏里选中相应的工具才能完成相应的操作。但是他做这些动作的时候,就像有一个便捷的工具箱藏在屏幕下方,随时听候差遣。

这是Qeexo在今年推出的另一项人机交互技术方案TouchTools,它适用于平板电脑、电视机等大屏幕。这是继FingerSense之后,Qeexo第二项实现商业化的技术。Lee透露,这项技术将应用在一家韩国的大屏幕制造商的产品中。此外,FingerSense今年还将出现在另外一家合作伙伴的智能设备上。 >> 在Lee看来,智能设备的功能越来越强大,但用户与设备交互的方式还非常有限。

关于人机交互方式的技术创新,Lee和他的创业伙伴Chris Harrison在创立Qeexo之前便开始讨论。回到2012年,Lee在三星负责技术采购,主要工作是发现新的创新型智能手机用户交互体验,而Harrison在卡内基梅隆大学攻读人机交互的博士(现为卡内基梅隆大学人机交互的教授),广泛研究各类新型传感技术和人机互动技术。

在Lee和Harrison看来,智能设备的功能越来越强大,但用户与设备交互的方式还非常有限。“2012年已经是iPhone多点触控出现的第5年,但是多点触控的手势还是没有任何改变,依旧是用一只或者两只手指触碰。”Lee说。

Lee希望人机交互方式能提升到Rich-Touch的水平―设备能知道的不仅仅是在点击屏幕的手指数量,还能识别不同层次的输入,比如指尖和指关节的区别,甚至其他更特殊的操作。

关于人机交互体验的看法,Lee和Harrison一拍即合。此后他们讨论了创新方案的适用性,“我告诉他,我想把Rich-Touch方案用在智能手机上,因为这样的商业应用更实用。所以一开始我们就为手机设计解决方案,当我们的想法比较成熟之后,我们决定创办一家公 司。”

在加利福利州的山景城和宾夕法尼亚洲的匹兹堡,Qeexo分别建立了两个办公室。前者是技术企业聚集地,后者是Harrison任职的卡内基梅隆大学所在地,Harrison带领的机器学习工程师团队就设置在匹兹 堡。

实现Rich-Touch技术的关键在于机器学习引擎。据Lee介绍,机器学习引擎的建立不仅是靠代码,还需要很多前期研究和实验。因为理论上很好的算法,应用在商业上却有可能出现很大的误差,这就要求他们要非常了解机器,通过不同算法的结合,找出适合商业化的最佳组合。

当时,Qeexo同时研发的3种技术解决方案,FingerSense、TouchTools和EarSense,都不是依靠添加传感器或者提高CPU的运算量等方式实现的,而是在现有的硬件条件下,依靠软件实现对不同输入方式的识别。“我们的机器学习引擎非常轻便,需要的内存和能源消耗都很小,在同样的硬件设备上加入智能的软件,让人们更好地使用他们的硬件,这才是重点。”Lee说。

最先商业化的是FingerSense。FingerSense将指关节识别引入智能手机,Qeexo的引擎可以区分指关节和指尖敲击屏幕时振动的不同声波,准确率接近99%。

2014年,Qeexo拿到290万美元A轮投资,投资人之一、丹华资本创始人张首晟将Qeexo介绍给华为在圣地亚哥办公室的主管。当时的华为手机业务正处在上升的关键时期,“荣耀”成为独立的互联网手机品牌对抗小米的竞争,Ascend Mate 7突围中高端市场,此时的华为需要创新的技术解决方案提高其产品品质,以获得更多市场份额。

同年秋季,苹果了3D Touch,以触摸屏幕的力度不同为维度,轻按、轻点、重按等操作被赋予了不同的功能,这是推出多点触控之后,苹果关于新的人机交互方式的探索。

3D Touch的推出证明Qeexo关于多点触控进入新阶段的判断是正确的,但另一方面,Qeexo也不得不面临竞争。“用户只能接受一个额外的新方案,FingerSense或者3D Touch,不能两者都用,所以就会存在竞争。”

Qeexo需要快速推广它的技术。2016年,Qeexo获得B轮450万美元融资,团队逐渐壮大,开始加速与更多的公司合作。今年Qeexo会将TouchTools和EarSense商业 化。

TouchTools适用于更大的屏幕,就像Lee所展示的那样,它参考现实世界中人们使用工具的方式,为不同的手势赋予不同的功能。这样做的好处是,用户不需要记住复杂的手势定义,只需要按照他们原本使用这些工具的方式即可。

Lee认为,如果未来的学校或者工作场所普遍采用数字白板,TouchTools将是非常合适的解决方案。他透露,Qeexo已经和一家韩国的大屏幕制造公司达成了合作。另一项用于手机的技术EarSense意在通过软件方案取代手机听筒旁边的传感器。EarSense可以区分指尖和耳朵,当用户接电话的时候,把手机贴近耳朵,屏幕就会熄灭。

Lee说:“我们采集很多人的耳朵形状数据,通过大数据,建立机器学习引擎。当耳朵贴近手机的时候,我们就知道那是耳朵,然后告诉屏幕需要熄屏。”EarSense采用的是和FingerSense一样的分类器引擎。现有的手机实现相似的功能依靠的是距离传感器,如果纯软件的方式能够做到这点,意味着距离传感器不再是必需,手机顶部边框可以设计得更窄。

Qeexo的技术方案还有更多的应用场景。除了手机,还可用于其他产业例如物联网、医疗设备和汽车,这是Qeexo明年的目标。