基于BNN深度学习的复杂环境探测机器人

2017 DDC中国区选拔赛作品  |  深度学习

suo ivy   项目发起人 06-22
1 2

本项目着重于深度学习与机器人的结合应用,设计在复杂环境下智能探测、识别的自主探测机器人,利用PYNQ实现BNN二值神经网络,将物体识别深度模型移植到嵌入式终端应用,并且设计了轮腿式复合运动方式,提高探测机器人的运动能力。

项目采用平台:

PYNQ-Z1:支持Python编程的Zynq开发板

数量 1

参与者
Daisy13  参与者

东南大学 学生

项目详情

项目创意灵感

作为科幻迷,大家或多或少都看过不少人类幻想中的机器人的应用,在《普罗米修斯》、《阿凡达》、《星球大战》等电影中,都少不了技术先进,想法奇特的机器人的帮助,特别是在恶劣环境的探测和特定执行任务中,例如《普罗米修斯》中自动搜索迷宫的探测飞行器,《阿凡达》中“人机合一”的战甲,《星球大战》中可爱聪明的R2-D2机器人……
我们项目就是在这种背景下萌生的想法,做一款新奇的机器人,或许可以应用在荒野星球的开荒探测呢~当然,这个只是个愿景,我们项目主要做的是探究改进机器人的越障能力,即全地形适应能力,还有利用FPGA加速的BNN深度学习模型增加探测机器人的自主智能,适应未知环境自主探测任务需求。

设计特色创新

采用地面轮腿式移动形式,高效的轮式运动和灵活的腿式运动相结合,具有较高的地面适应力和越障能力;
利用PYNQ FPGA加速的BNN二值神经网络模型,实现机器学习物体识别模型,增加未知环境探测器的智能性,还可以自己进行数据集训练,达到特殊场合的应用,让探测器更加智能;

系统原理功能

该项目由以下几个系统组成:底盘底层控制系统、远程监控系统、机器学习物体识别系统,各系统相互集成,合理集成在整个机器人系统中,系统硬件系统中应用了PYNQ、上位机PC,搭配摄像头、电机驱动板等配套部件,实现完整的机器人系统功能。

完成情况概述

复杂环境下的复合运动方式设计完成,利用3D打印设计轮腿式结构,底盘的运动方案采用的是Ackerman转向结构,由前后贯通桥提供四驱动力,利用前桥转向舵进行转向控制。
自主智能识别部分使用FINN框架,利用FPGA实现BNN物体识别模型,能够识别普适物体,还可以自行训练网络。
目前系统已完成基本功能,还在继续优化设计中。

展望项目未来

在后续的改进方案里,我们还要加入激光雷达地图建立和SLAM自主导航,并且将识别到的物体标记在地图中


我要评价