5tarry / 2022eswcontest_free_1150

2022임베디드소프트웨어경진대회 장려상 - 시각장애인 안내로봇 발곰이 🐻

Team 맨발에서일인자까지1

팀원

이름	메일	역할
백민정	[email protected]	전체 기획 총괄 TCP/IP 통신망 구축 Flutter 앱 UI 개발 3D 프린팅 도안 제작 server-client 간 multi processing 구축 보고서 작성
안진혁	[email protected]	server-client 간 multi processing 구축 TCP/IP 통신망 구축 GPU SERVER 원격 제어 환경 구축 라즈베리 파이 multi threading 구현 Road Segmentation 구현
김채현	[email protected]	Road Segmentation 모델 학습 라즈베리 파이 client 코드 개발 TCP/IP 통신망 구축 시연 영상 편집 보고서 작성
하채리	[email protected]	YOLO 학습 모델 최적화 Text detection 구현 TCP/IP 통신망 구축 라즈베리 파이 multi threading 구현 보고서 작성
오희빈	[email protected]	YOLO 학습 모델 최적화 Text detection 구현 3D 프린팅 도안 제작 TTS 앱 연동 구축 보고서 작성

개발 요약

2022ESWContest (최종 folder) 구성

│  
├─ server
│  │  server.py
│  ├─ ocr_model
│  │     README.md
│  │     Tesseract&easyOCR.ipynb
│  │     frozen_east_text_detection.pb
│  │     
│  ├─ yolo_model
│  │  │  README.md
│  │  │  best_block_.pt
│  │  │  yolov5_block.ipynb
│  │  │  
│  │  ├─ dataset  
│  │  │  │  README.dataset.txt  
│  │  │  │  README.roboflow.txt
│  │  │  │  data.yaml
│  │  │  └─ train
│  │  │     ├─ images
│  │  │     └─ labels
│  │  │     
│  │  └─ test_result 
│  │  
│  └─ Road segmentation_model
│     │  README.md
│     │  train.ipynb
│     │  
│     ├──data_loader
│     │   │  data_loader
│     │   │  display.py
│     │   │  split_train_test.py
│     │   └─ __pycache__
│     │      display.cpython-39.pyc
│     │     
│     └─ model
│         │  pspunet.py
│         │  pspunet_weight.h5
│         └─ __pycache__
│            pspunet.cpython-39.pyc
│           
├─ raspberry
│     README.md
│     ultra.py
│     motor.py
│     
└─ app
   README.md
   main.dart
   count_provider.dart
   first_page.dart

서버 구성도

주요 함수 흐름도

사용한 model

YOLO : 자세한 내용은 2022ESWContest/server/yolo_model/README.md 참고

Road Segmentation : 자세한 내용은 2022ESWContest/server/Road segmentation_model/README.md 참고

EasyOCR : 자세한 내용은 2022ESWContest/server/ocr_model/README.md 참고

앱 구성 및 사용법

1. 서버와 연결상태 확인

[1] 서버와 연결된 상태

• 앱을 실행하면 자동으로 서버와 연결된다.

[2]서버와 연결이 끊긴 상태

• Connect 버튼을 누르면 서버와 연결을 다시 시도하게 된다.

2. 버튼 누르기

[3] Run 버튼을 누른 상태

• 안내로봇의 motor 작동이 시작된다.
• Stop 버튼으로 활성화된다.

[4] Stop 버튼을 누른 상태

• 안내로봇의 motor 작동이 멈추게된다.
• Run 버튼으로 활성화된다.

[5] Run OCR 버튼을 누른 상태

• 안내로봇의 motor 작동을 멈추고 주변 문자인식을 실행한다.
• 인식된 문자들이 가운데 메세지창에 뜨면서 음성으로도 출력된다.
• Stop OCR 버튼으로 활성화된다.

[6] Stop OCR 버튼을 누른 상태

• 주변 문자인식을 멈춘다.
• Run OCR 버튼으로 활성화된다.

3. 설정창 사용하기

[7] 초기 화면

• 왼쪽 상단의 메뉴를 클릭한다.

[8] 메뉴바를 누른 상태

• 설정바가 있다.

[9] 설정 바를 누른 상태

• 안내 음성의 volume, pitch, speechrate을 조절할 수 있다.

개발환경

사용PC

• CPU : ntel(R) Xeon(R) CPU W-2223
• VGA : RTX3080
• HDD : SSD 1TB
• CUDA 11.2
• CUDNN 8.0.5

사용라이브러리

• numpy 1.16.2
• opencv2 4.1.0
• Pytorch 1.10.0
• Tensorflow 2.9.0
• CUDNN 8.0.5

Hardware 구성

안내 로봇 사진

라즈베리파이 카메라모듈 거치대 3d모델

라즈베리파이 basket 3d모델

차체 mdf 도안