一副眼镜,让视障人士也能感知到周围的物体;一块屏幕,可以让听障人士「看」到周围声音的方向和类别……
从零开始设计并制作出这样的智能设备,最少需要多长时间?
答案是:不到48小时。
第四届小米黑客马拉松活动开放日上,从比赛中脱颖而出的队伍们展示了他们的成果。
参加比赛的76个团队需要在48小时内完成从设计开发到样品制作的完整流程。
经过激烈的角逐,产生了1个一等奖、2个二等奖、3个三等奖、6个优秀奖与4个繁星计划特别奖。
活动现场,16支获奖队伍中的8支对他们的成果进行了展示,并与观众交流。
从前沿科技到日常生活,这些成果涉及到了众多领域。
值得一提的是,其中许多都与无障碍应用有关。
获得比赛一等奖的是一款AI「识物眼镜」。
有了这款眼镜,视障人士也能判断周围存在哪些物体,甚至是它们彼此间的关系。
这是一套基于语义理解的视觉系统。
它同时支持多模态输入和输出,可以识别物品、识别熟人,甚至能点菜、看药品。
在现场,我们看到体验者在研发团队的说明之下,问了一些问题。
连无糖可乐和普通可乐这种细微的差别,这副眼镜也能分辨出来。
不仅如此,衬衫可乐的价格也能脱口而出。
只能说,一块钱一罐的快乐水,确实是🍋了。
而技术层面,这款「识物眼镜」共分为了硬件、服务端、算法端和语言模型四个部分。
这些模块分别负责实现人或物体的识别、指令的识别和理解,以及回答的生成等功能。
控制家中的智能设备,用一只手就可以搞定了。
这就是我们接下来要介绍的这个获得二等奖的「小黑盒」。
它的大名叫「小米随心控」,通过它就能用手势随意控制家中的设备。
而且无需把设备置于它的视野范围之内。
在现场,我们看到体验者将手掌对着台灯的方向并做握拳的姿势。
大约1秒钟之后,亮着的台灯就被关闭了。
硬件层面,「随心控」由主板、相机和音箱三个部分组成。
被控制设备的位置信息预先存储在了「随心控」当中。
当摄像头检测到手时,系统会通过计算角度等信息判断手是否指向某一设备。
接着,系统会对手势进行识别,并转换成相应的指令传递给智能音箱。
最后,控制的结果会通过音箱,以语音的形式进行反馈。
我们生活在一个充满声音的世界,但同样有很多听障人士感知不到声音的存在。
在与人交流时,他们还可以使用手语或文字,但其他的声音该怎么办?
这个获得三等奖的「声音透视」项目,或许能给我们答案。
它可以辨别声音的种类传来的方向,精度约为15度角。
交谈声、警报声、门铃声……会以不同的图标在雷达图上显示。
在马路上,这项技术将能帮助听障人士识别潜在的危险信息,比如汽车喇叭。
此外,对一般人,它也能有所帮助。
比如当你戴着耳机,聚精会神地打着游戏,与世隔绝般地屏蔽了外界的一切。
此时如果出现需要关注的声音,这项技术都能识别并及时发出提醒。
技术层面,这一项目采用了声音事件检测算法和阵列拾音算法。
当麦克风捕捉到声音信号时,系统对其响度、方向同时进行计算,并对判断声音的种类。
三项结果会通过Websocket同步输出到前端。
如果结合手机或智能穿戴中的接口,还可以让提醒的形式更加丰富,比如应用推送,甚至智能设备的振动等等。
团队成员也介绍,「相比于整个系统的设计,这将是一件很容易的事」。
此外,现场展示的获奖项目还有:
你最看好哪一个项目呢?