首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

摄像头搜集信息转化成音频 这副眼镜让盲人也能看清世界

浙江在线4月3日讯(记者 张苗 通讯员 王蕊/文 记者 俞跃 郑阳/摄)在盲人的世界,一切都堙没在黑暗里。他们除了在最最熟悉的环境之外,如果没有人、导盲犬的帮助,将寸步难行。

可这一切或许很快将成为历史。浙江大学科研团队正在研发一项适合盲人、视障病人佩戴的眼镜。戴上它,就像拥有了美国电影《超胆侠》男主角一样的能力,能感知到身边的桌子、椅子、红绿灯、来往的车辆。“目前,眼镜还在不断迭代中,已经加入了导航功能,接下来还会加入人脸识别功能,佩戴者甚至能知道站在面前的人是谁。”团队成员之一、浙江大学工研院康复工程研发中心主任、浙江大学医学院康复医学研究中心主任陈作兵说。

这副神奇的眼镜,是怎么让盲人“看得见”的?

记者闭目体验

耳中不停有提示音

这副眼镜的“学名”叫“盲人视觉辅助眼镜”,简单来说就是通过摄像头搜集周边信息,再转化成音频信号,告诉佩戴者身边的情况。

在浙大一院城站院区的康复科,记者佩戴体验了这副“盲人视觉辅助眼镜”。

粗看之下,它和谷歌眼镜的造型有些相似,镜片上方镜架包含了微型摄像头。一根数据线连接着烟盒大小的主机,摄像头拍摄到的信息会传送到这里进行处理。

和普通眼镜最大的不同,就体现在眼镜脚处,这里两个突出部位紧挨着耳朵前几毫米的部位,“提示音就是从这里,通过骨传导,让佩戴者感知到的。”陈作兵介绍说。

戴上眼镜后,记者就感觉到大脑内有一种类似于电流噪声的声音,这就是主机处理了周边信息后,给记者传达的提示音。

记者闭上眼睛坐在桌子前,当面前放着一只杯子时,声音的声调就变高了,即便没有看过使用说明,记者也能很清楚地知道:前面有一个东西。

再把杯子放远半米左右,声音就小了一些,这很容易理解:东西在更远的地方,

当记者站在空荡荡的走廊时,脑海中的声音变成了清脆的走路声,意味着这里没有障碍适合行走。

当记者来到楼梯前,又出现了踏楼梯的声音。

同样在走廊里,脑海中类似电流噪声的提示声音从小变大,而耳朵同样能清晰听到外部环境里的走路声,可以判断出一个人正迎面而来。

只试戴了十几分钟,记者就能明显感受到这款眼镜的方便之处,“一般的盲人、视障病人练习两三天,就能熟练掌握不同声调、频率的提示音代表周围物品的远近了。”浙大一院康复科康复工程负责人、浙江大学工研院康复工程研发中心秘书戚斌杰说。

从0.5米缩短到48毫米

攻克了传感器盲区

在国内,这是第一款适用于盲人的辅助眼镜,红外双目相机和主机是它的核心。通过双目相机和毫米波雷达获取周围环境的立体信息,比如障碍物的距离、方位以及大小等,主机则针对不同的场景,反馈不同的声音。

比如它怎么识别路面?用专业的说法表述,就是基于红外双目相机,在自然光和结构光的辅助下,进行大尺度立体匹配和彩色图引导滤波,补全深度图。利用随机采样一致性、表面法向量估计和种子区域生长等算法检出地面区域,并映射到立体声音。

这类似于自动驾驶技术,自动驾驶同样由摄像头收集信息,主机做出判断,再控制汽车的加速、刹车、转向等,而这款眼镜是在烟盒大小的主机里完成类似的识别工作,再将它们转化成声音提醒佩戴者。

这些提示音通过骨传导,佩戴者能轻易分辨出来自周围环境的声音以及颅内接收到的提示音。盲人、视障病人虽然眼睛看不见,但他们的听觉往往更敏锐,掌握提示音背后的信息对他们来说更方便。

研发过程可并不一帆风顺,在研发过程中,团队被近距离障碍物预警所限制。当障碍物越来越近,低于0.5米时,一般的传感器就没法获取这部分距离。

这短短的0.5米却是盲人最紧张的距离。

为了解决这一技术难题,团队在近距离盲区内补充了三维信息,传感器的最近检测距离从0.5米降低到48毫米。

已有千人试用

嘈杂环境下的清晰提示是难点

据悉,浙大一院康复科为盲人、视障病人提供眼镜的试戴。至今,已有上千盲人试用过,其中超过80%的人表示满意,认为非常方便。

使用者的反馈信息帮助眼镜不断迭代。

“女性盲人、视障病人提出最集中的意见,是它不太好看。”戚斌杰说,眼镜酷酷的外形充满科技感,可当有人戴着它上街时,路人总要忍不住多看几眼,“她们比较在意自己的盲人身份,不希望被太多人注意到。”

另外,当佩戴者站在人来人往的拥挤街头时,嘈杂的提示音会让佩戴者不知所措,该怎么区分复杂环境下的提示,也是研究团队接下来的重点。

“虽然现在戴着它上街没有问题,但我们也并不鼓励所有佩戴者这样做。”戚斌杰举例道,当一个足球向佩戴者飞来时,提示音的音量从小变大,可这没法让佩戴者躲开足球。

逐步迭代的眼镜在去年的中国青年互联网创业大赛上拿到了总冠军,目前市场售价4000多元一套。

来源: 浙江在线

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180407B04BSE00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券