1. 自学习机器人抓取:这种模型使用了基于pix2pix方法的条件GAN框架,生成器接受视觉图像或触觉图像作为输入,并生成一个对应的触觉或视觉图像,通过考虑时间信息的方式进一步提升了准确性。
2. 自主视觉感知与强化学习相结合的端到端机械臂智能控制方法:该方法利用yolo算法进行视觉感知,策略控制模块则使用ddpg强化学习算法。
3. 无传感器机械臂视觉控制:例如OWI-535机械臂,尽管其没有任何传感器和反馈信号,但仍然可以通过视觉控制进行操作。
4. 非标产线上的物体定位:许多制造业的非标产线上关于物体的定位多依赖于机械定位,而机器本体+视觉的结合,大大延展了机器人的应用范围。
5. 抓取能力:机械臂可以使用视觉控制和机器学习技术来实现类人的抓取能力,如上海交大团队提出的GraspNet-1Billion数据集,其中包含了大量基于物理受力分析得到的有效抓取姿态。