Coder Social home page Coder Social logo

coregiu / ago Goto Github PK

View Code? Open in Web Editor NEW
3.0 2.0 0.0 15.53 MB

Rush Mog,是一款致敬Unimog的万向轮智能高扭矩小车。基于stm32f103控制,带mpu9250方向控制、tof测距、openmv视觉以及asrpro音频控制,并且通过OLED记录显示车体状态。同时使用esp8266远程控制,实时同步车载视频。

License: Apache License 2.0

CMake 0.40% Assembly 0.49% C 97.39% HTML 1.68% Shell 0.04% GDB 0.01%
esp8266 mpu6050 oled openmv pca9685 servo stm32f103c8t6 vl53l0x asr-pro gy530 mpu6500 mpu9250 tof

ago's Introduction

Rush Mog

Rush Mog是一款致敬Unimog的万向轮智能高扭矩小车。基于stm32f103控制,带mpu6500方向控制、tof测距、openmv视觉以及asrpro音频控制,并且通过OLED记录显示车体状态。同时使用esp8266远程控制,实时同步车载视频。

功能说明

(1)语音控制小车行驶

可通过语音控制小车前进、后退、左转、右转、向左横向行驶,向右横向行驶,向左前、右前、左后、右后方向行驶。

小车语音控制分默认和避障模式。默认模式下,每个指令执行2秒自动停止。 避障模式下,除非有障碍物,否则一直跑下去。

避障模式下,TOF测距随小车前进方向转动。比如向左前走时,云台向左前转45度。

(2)手机APP控制小车行驶

提供鸿蒙系统APP,通过APP控制小车行驶,同时同步摄像头实时画面。

(3)自动识别物体

通过车载摄像头和机载激光雷达自动识别、分类物体。可以根据目标物体进行搜索、锁定,并对移动目标物体进行跟踪。

(4)机械臂搬运物体

使用机械臂对物体进行夹起、转移、放下到指定范围区域等动作,实现物体搬运。搬运路径可规划也可自动学习。

设计说明

硬件架构设计

  • DIY小车,使用97mm万向轮加JGB37-520电机,L298N驱动板(四驱的,或者用两个两驱的)。
  • 中控使用STM32F103C8T6单板。
  • 语音控制使用asrpro。
  • 机械臂使用普通舵机支架组装,舵机使用MG996R,PCA9685驱动。
  • 视频及图像处理使用OpenMV+GY-530 VL53L0X TOF测距。
  • 激光雷达,YDLIDAR激光雷达。
  • 电源选择12V锂电充电电池。

详细参照:硬件设计说明

软件架构设计

  • 软件分语音识别处理、中控、视频及图像处理、手机APP四个子系统。
  • 语音识别处理使用asrpro配套的天问五一开发IDE图形化开发。
  • 中控软件基于stm32及freertos开发。控制小车及舵机驱动。语音与中控之间使用uart串口通信。
  • 视频及图像处理基于PyTorchVideo开发,同时树莓派与中控建立IIC通信,反馈视频分析结果驱动小车和机械臂移动。
  • 手机APP基于鸿蒙应用框架开发,控制指令同语音指令。通过树莓派热点与小车建立无线通信网络。HTTP协议通信。

详细参照:软件设计说明和代码

语音控制指令

命令关键字 功能 命令ID 指示灯
停/别走了 小车停止 0
前进/走 小车前进 1
后退 小车后退 2
往左走 小车向左横向走 3
往右走 小车向右横向走 4
往左前走 小车向左前方向斜着走 5
往右前走 小车向右前方向斜着走 6
往左后走 小车向左后方向斜着走 7
往右后走 小车向右后方向斜着走 8
左转 小车向左转 9
右转 小车向右转 A
调头 小车调头 B
回来 小车向前一方向相反的方向行驶 C
测试小车 测试小车 D
测试机械臂 测试机械臂 E
启动避障模式 启动避障模式 F
关闭避障模式 关闭避障模式 G
追踪小球 追踪小球 H
追踪够够 追踪够够 I

成品效果

视频

https://www.bilibili.com/video/BV1Db4y1V7Ny

左视

正视

俯视

后视

硬件模块及工具清单:

模块 说明 价格(元)
STM32f103C8T6 控制单板,作为控制中心。 15
小车底盘 金属底盘,JGB 37 520电机带霍尔效应编码器,麦克纳姆万向轮 350
L298N四驱板 四驱的L298N电机驱动 28
语音控制模块 ASR PRO语音控制板 25
电源及转换板 12V电源,DC接口。 12V转5V和3.3V转换板。 40
摄像头 OV7725摄像头模块 10
机械臂 机械臂器件带舵机,这里用的最普通的MG996舵机,再好一点用串行总线舵机,再贵一点的用伺服电机,但后面的都比较贵了。 200
舵机驱动 PCA9685 16路舵机驱动 16
OpenMV 视觉智能开发板 300
OLED屏 OLED屏,用来显示调试/监控信息 10
TOF测距 OpenMV扩展,弥补OpenMV在测距方面的不足 10
陀螺仪 MPU6050,用来监控小车方向 15
ESP8266 用来创建WIFI网络,连接手机APP 15

小车底盘、机械臂可以分开买,拼多多也有组装好的套件,组装好的套件贵一些,分开买便宜。

另外推荐一个公司,他干了我想做的事情,各种智能车、机器: 亚博智能科技

ago's People

Contributors

coregiu avatar

Stargazers

 avatar  avatar  avatar

Watchers

 avatar  avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.