基于VR的机器人控制 + 物联网系统

智能家居

SeveNOlogy   项目发起人  2017-09-07

我所制作的是一款基于LabVIEW,NI myRIO,DIGILENT chipKIT微控制器,以及多款DIGILENT Pmod积木式传感器所制作的一款「VR + 机器人控制 + 物联网」系统。这以项目是我用来参与2016年NIDays现场的LabVIEW挑战赛决赛的作品。并最终赢得了当界竞赛的季军。在此与大家分享一下我的项目。

项目详情

项目创意灵感
这是我参加2016年LabVIEW天下会的作品。VR是该界竞赛的赛题,也是当时的一大科技热点。听到VR这个词,我首先想到的是VR游戏。之前自己看到过一款产品,是由Oculus与Virtix共同研发的VR体感平台,让用户可以通过体感操作控制虚拟人物,再通过VR显示得到真实的视觉反馈。那么,我当时就有一个idea,这样的接口,能否融入到现实世界中?答案是肯定的。无人机领域早已跨出这一步,大疆和蔡司公司共同开发的无人机第一人称视觉系统,就实现了类似的功能。使用者可以身临奇境一般地飞行。那么,将这个概念推广到机器人 人机控制领域,我想,VR不失为一种很好的解决方案。
设计特色创新
项目由三部分组成。VR控制接口负责利用体感输入方式控制机器人的运动,同时将机器人仿真环境中的双目摄像机图像传输给VR眼镜构成视觉反馈;机器人平台包括PC上运行的仿真平台和myRIO驱动的机器人传感平台(包括GPS和麦克风传感器);以及由与机器人有关的传感器组成的物联网平台。

在实现上分为两部分程序:VR与机器人仿真部分,包括VR显示、机器人控制、手势识别;分布式传感器部分,包括各个传感器信息的采集与传输。两部分程序通过Data Socket进行数据交换。
系统原理功能
● 视角变换:
通过VR眼镜提供的面向Android平台的API开发Android程序,获取头部的转动矩阵信息,并将信息回传进行图像渲染。VR图像通过LabVIEW机器人仿真器中的相机模块实现,通过机器人的位置、朝向与头部矩阵信息,根据坐标变换得到双目相机的位置与朝向,利用投影变换得到VR图像。通过HDMI接口回传至VR眼镜上进行显示。

● 手势识别:
在手掌安装加速度传感器,测量手掌的双轴倾角,进而判断手掌倾向。利用两只手掌倾向的组合动作,实现包括机器人前进、后退、转动的移动控制;机器人机械手的位置控制;机器人投篮等指令。

本项目的硬件部分得到了NI及其在工程教育与创客领域的子品牌DIGILENT的大力支持。使用了myRIO、ChipKIT两种控制器,以及若干Pmod传感器,包括GPS、Microphone、Accelerometer、Light Sensor、Temperature Sensor。其中,加速度计用于体感操纵,其他传感器组成无线物联网平台,并将传感器数据在VR设备上显示。

本项目的VR设备使用了LabVIEW天下会主办方提供的’Uranus One,通过编写安卓应用程序,将头部转动信息通过WIFI发送到PC机。利用LabVIEW渲染3D图像,通过HDMI接口传输到VR设备上显示。

值得一提的是,本项目使用的仿真机器人模块,来自我之前参加RoboCup机器人大赛时,由主办方提供的平台,在此表示感谢。上方右图是实际运行时,左眼的画面,通过叠加显示的方式,将物联网传感器信息与实际的景物融合在一起。
完成情况概述
项目最终实现了全部基本功能,demo视频请点击首图观看。视频中,一直到02:05展示的是VR+Robotics Panel;之后的是Sensor Panel。展示的仅仅只是一个不成熟的demo,但从中我们可以看出,VR和现有技术结合的一个方向,这也是我们创新的来源。而对于我们高校学生来说,NI和DIGILENT的硬件支持和LabVIEW编程环境,为我们创意的实现也提供了强劲动力。
项目采用平台:
项目采用传感器:

我要评价

  • 可以指导一下,这个VR眼镜是哪一款吗

    时间:10-25 0
  • 很有意思!

    时间:2017-09-16 0