基于FPGA的手势识别手套

2017 DDC中国区选拔赛作品 | 生活科技

neoalien   项目发起人  06-23

项目计划通过五条分别位于五指的曲率传感器和三轴加速度计与陀螺仪配合,识别手的姿态与动作。通过FPGA的快速分析能力完成识别,并产生相应编码的PWM波。再通过在所需要控制的物体上建立一个解码的系统,即可通过PWM波控制你所希望控制的其他物体。
项目中我们实际完成了曲率传感器的部分,并控制了一台小车的行走。

项目详情

项目创意灵感
最初我们的目的是控制无人机的行动,但由于无人机在试验中发生故障,故使用了小车。手势识别应用非常广泛,实际上,只需要一个手势识别系统,并建立各个物体上的解码操控系统就能远程控制所有的物体,进入智能生活,尤其在残疾人士的生活中,这种帮助尤为重要。另外,无人机本身遥控器有复杂,上手困难,不利于普及,而手势识别则非常简单易用。
设计特色创新
1. 手势识别
2. 应用了PWM机制,这种编码十分方便,利于普及,可以携带大量信息
3. 我们完成的是一个可以普及到各种智能家居的系统,不仅能控制小车,只要一个PWM解码过程就可以推广到机械臂,无人机,轮椅,电视,等各种只能设备
系统原理功能
手套:手势信息采集,包括五条曲率传感器(flex sensor),三轴加速度计(Pmod ACL2),陀螺仪(PmodGYRO)
PYNQ:中心处理器,识别手势并产生PWM波
被控制系统(本次项目中为小车):接受PWM波并解码,执行相应动作
完成情况概述
完成了五条曲率传感器的读取和分析,PYNQ的信号识别和PWM产生,被控制系统(小车)能执行相应动作(左右转弯,前行,停止)
加速度计和陀螺仪部分有待完善。
被控制系统还可以推广普及到机械臂等其他装置。
性能:PWM波非常精确,只是小车是临时赶制的(原本的无人机故障),所以对信号的执行精度有所欠缺。
制作周期分工
初期合作确定项目,
第一个月完成硬件(手套)的搭建,项目平台的确定(PYNQ),手套方案的确定
第二个月完成编程和测试
初期进度良好, 调试时无人机故障使得最终转向小车,有些仓促。

分工: 一人负责硬件制作,一人负责编程,还有一人初期负责了无人机的搭建和调试,之后又帮助完成了小车的制作
展望项目未来
推广项目到机械臂,无人机,智能家居,轮椅等多种设备
收获感悟分享
多准备几种方案,像无人机故障这样的事故应该被提前预估到(墨菲定理。。)
计划需要一步一步推进完成,有条有理
最后,别熬夜。。。
项目采用平台:
项目采用传感器:

我要评价

  • 最近我也在用这个开发板,我使用的是它给搭建好的jutyter notebook 编程,但是我要安装一些python机器学习包安装失败,显示404,还有更新ubuntu 也是这样,请问你是怎么解决的

    时间:10-01 0
  • 正在做一个类似的手套,但是现在却没想好确定用途和目的。可以问一下您觉得这样的手套和手势图像识别系统有什么优势吗,还有其适合的用途?

    时间:08-05 0
  • 很不错的想法

    时间:08-04 0
  • 6的飞起

    时间:07-14 0