引途者

盲人视觉辅助眼镜

国内首家将三维立体信息获取技术应用到视觉辅助领域,并首创了立体声交互系统,通过特殊编码的立体声可以在脑海中“虚拟”呈现环境信息。
第一代盲人视觉辅助眼镜-引途者(Intoer)包括以下三个主要功能:障碍物和通路检测、场景检测和精准定位导航。

障碍物和通路检测

通过双目相机和毫米波雷达获取周围环境的立体信息——障碍物的距离、方位以及大小,针对不同的场景,反馈不同的声音。对于空旷的场景,通过立体声音传递障碍物的距离、方位和大小,用户可以感知环境信息;对于复杂的场景,通过立体声音传递通路的方位、宽度以及其延长度,用户可以寻找到安全的路径。

场景检测

基于计算机视觉和机器学习技术,实现针对出行相关的场景检测,包括上下楼梯检测、上下台阶检测和洼坑检测。目前针对于不同使用场景的测试,已经达到92%的正确识别率。

精准定位导航

将图像处理技术与传统地图的导航模式相结合,研发出一款针对于视障人士使用的定制版地图。该功能可以准确的定位用户的当前位置信息(精度达到米级),判断用户的朝向,并获取当前位置周围的兴趣点。根据用户的需求,合理规划一条安全通行的路线,并且提供精确的位置信息,例如,XX超市,在左前方22m,确保用户能够根据导航的信息,快速找到兴趣点的位置。

备注:

第一代产品专注于解决盲人出行过程中遇到的问题,第二代产品将主要专注于识别功能。目前已经立项并且经过验证的功能有纸币识别、红绿灯识别、斑马线识别、人脸识别等识别功能。第一代产品到第二代产品通过软件即可免费升级。随着研发深入,后续会逐步添加其他功能。



功能点详细介绍



Cinque Terre

障碍物检测

基于红外双目相机,在自然光和结构光的辅助下,进行大尺度立体匹配,获取稠密深度图。利用均值漂移算法,计算最近若干个障碍物的距离、方向和尺寸,并映射到立体声音,辅助视障人士的通行。



Cinque Terre

地面检测

基于红外双目相机,在自然光和结构光的辅助下,进行大尺度立体匹配和彩色图引导滤波,补全深度图。利用随机采样一致性、表面法向量估计和种子区域生长等算法检出地面区域,并映射到立体声音,辅助视障人士的通行。



Cinque Terre

纸币识别

纸币识别是根据视障人士需求调研所提供的便利生活的功能设计。现有的纸币识别方法是根据RGB-D相机进行深度筛选,用分类器框出检测到的纸币区域,对区域进行SURF特征点检测判断是否存在纸币以及纸币面值。该方法可以针对复杂环境实时提取纸币区域并给出纸币面值,具有较好的鲁棒性。



Cinque Terre

红绿灯检测

基于颜色提取和机器学习的人行道交通灯检测算法,能够实时准确地检测到交通灯在图像中的位置,并给出交通灯的状态。如图所示,框选交通灯的对应颜色矩形,即为检测结果。



Cinque Terre

斑马线检测

安全地过马路是盲人群体日常出行的迫切需要。基于条带提取和聚类的人行横道检测算法,被用于盲人在交通路口寻找和定位人行横道。如图所示,人行横道的位置和方向被识别出来,并转换为提示信息输出给使用者。



Cinque Terre

人脸识别

盲人智能视觉辅助中的人脸识别,旨在帮助视障人士感知和识别日常生活场景中出现的朋友,亲人,陌生人等。人脸识别系统运用彩色深度信息融合,目标跟踪,神经网络等技术,可以实现:在视障用户使用智能视觉辅助设备的过程中,人脸识别系统逐渐采集并学习用户常遇见的人脸,当识别系统达到足够的训练程度时对场景中出现的人脸进行识别,将识别结果以特定的交互方式传递给视障用户。



Cinque Terre

可通行区域检测

基于可见光双目相机,进行半全局立体匹配和彩色图引导滤波,补全深度图。利用动态规划算法检出随机占据栅格下的可通行区域,利用样条曲面拟合地面,利用棒状像素表示障碍物,并映射到立体声音,辅助视障人士的通行。



Cinque Terre

水坑检测

基于偏振可见光双目相机,进行半全局立体匹配和彩色图引导滤波,补全深度图。利用动态规划算法,融合偏振-彩色-深度信息,检出可通行区域与地面水坑区域,并映射到立体声音,辅助视障人士的出行。



Cinque Terre

楼梯检测

基于红外双目相机,在自然光和结构光的辅助下,进行大尺度立体匹配,获取稠密深度图。利用表面法向量估计、平面聚类和直方图分割等算法,检出楼梯区域,并输出最近若干级台阶的距离、高度和方向。

视氪导航

功能介绍



精准定位

精准定位结合高德地图、姿态角传感器和智能手机,利用惯导算法对定位精度进行了优化,在空旷的条件下,定位精度提升到米级。精准定位能够具体判断目的地与当前位置的距离和方向,解决盲人在导航最后10米无法精准找到目的地的问题;并在导航过程中,根据盲人用户的兴趣反馈周围的标志性建筑物,贴心反馈弯道路况,让盲人用户全方位了解所处环境,放心出行。

  • 下载地址