本产品为“视觉识别导览轮腿小车”,面向博物馆、科技馆、景区、展会等文旅场景的智能化导览需求开发。项目针对传统人工讲解覆盖范围有限、语音导览设备交互方式单一,以及纯轮式导览机器人在门槛、地毯边缘等微障碍环境下容易出现卡滞等问题,设计并实现了一套集视觉识别、自主导航、轮腿协同越障和多模态人机交互于一体的智能导览移动平台。项目以“轮式高效移动+单腿辅助越障”为核心结构思路,在保证平坦路面移动效率的同时,提升设备对2~5cm门槛、地毯边缘等典型微障碍的通过能力。
产品整体采用模块化设计,主要由轮腿移动底盘、CYT2BL3主控及电机驱动系统、视觉与计算模块、IMU及轮式编码器、通信模块以及导览交互模块组成。其中,CYT2BL3作为底层运动控制核心,负责车辆运动控制和信息传输;视觉与计算模块负责环境感知、展品特征识别及导航信息处理;IMU与轮式编码器为姿态控制、轨迹跟踪和动态纠偏提供反馈信息;上层软件采用ROS系统进行导航、感知、任务调度和交互功能集成。
在功能方面,产品具备视觉识别与定位、SLAM自主导航、双轮差速驱动及动态纠偏、轮腿协同越障、多模态导览交互、智能视觉巡检和自动充电对接等功能。视觉模块采用1280×720分辨率、30fps的连续图像流进行环境感知,并结合目标检测和SLAM实现展品识别、地图构建和路径规划;平坦路面采用双轮差速驱动,通过轮式编码器反馈和PID算法进行轨迹纠偏;遇到2~5cm高度的门槛、地毯边缘等微障碍时,通过IMU姿态反馈和轮腿协同控制实现主动越障。
在人机交互方面,系统构建了“迎宾—识别—对话—引导”的完整服务流程,集成语音识别、语音合成、人脸检测、大模型问答及AR增强等功能,可根据游客需求完成展品信息讲解和自然语言问答;同时,基于YOLOv8开发智能巡检功能,对火源、灭火器等安全目标进行检测,并通过语音播报异常信息。
产品使用时,首先启动车辆及视觉、控制系统,完成传感器初始化和环境建图;随后通过视觉识别和导航系统获取目标展品或展馆位置,小车根据规划路径自主行驶,在平坦路面进行轨迹跟踪和动态纠偏,遇到微障碍时启动轮腿协同越障;到达目标位置后,通过语音、AR等方式完成展品信息展示与讲解,并可根据任务需求继续前往下一目标或执行巡检、充电返回等任务。