이름 | 메일 | 역할 |
---|---|---|
백민정 | [email protected] | 전체 기획 총괄 TCP/IP 통신망 구축 Flutter 앱 UI 개발 3D 프린팅 도안 제작 server-client 간 multi processing 구축 보고서 작성 |
안진혁 | [email protected] | server-client 간 multi processing 구축 TCP/IP 통신망 구축 GPU SERVER 원격 제어 환경 구축 라즈베리 파이 multi threading 구현 Road Segmentation 구현 |
김채현 | [email protected] | Road Segmentation 모델 학습 라즈베리 파이 client 코드 개발 TCP/IP 통신망 구축 시연 영상 편집 보고서 작성 |
하채리 | [email protected] | YOLO 학습 모델 최적화 Text detection 구현 TCP/IP 통신망 구축 라즈베리 파이 multi threading 구현 보고서 작성 |
오희빈 | [email protected] | YOLO 학습 모델 최적화 Text detection 구현 3D 프린팅 도안 제작 TTS 앱 연동 구축 보고서 작성 |
│
├─ server
│ │ server.py
│ ├─ ocr_model
│ │ README.md
│ │ Tesseract&easyOCR.ipynb
│ │ frozen_east_text_detection.pb
│ │
│ ├─ yolo_model
│ │ │ README.md
│ │ │ best_block_.pt
│ │ │ yolov5_block.ipynb
│ │ │
│ │ ├─ dataset
│ │ │ │ README.dataset.txt
│ │ │ │ README.roboflow.txt
│ │ │ │ data.yaml
│ │ │ └─ train
│ │ │ ├─ images
│ │ │ └─ labels
│ │ │
│ │ └─ test_result
│ │
│ └─ Road segmentation_model
│ │ README.md
│ │ train.ipynb
│ │
│ ├──data_loader
│ │ │ data_loader
│ │ │ display.py
│ │ │ split_train_test.py
│ │ └─ __pycache__
│ │ display.cpython-39.pyc
│ │
│ └─ model
│ │ pspunet.py
│ │ pspunet_weight.h5
│ └─ __pycache__
│ pspunet.cpython-39.pyc
│
├─ raspberry
│ README.md
│ ultra.py
│ motor.py
│
└─ app
README.md
main.dart
count_provider.dart
first_page.dart
YOLO : 자세한 내용은 2022ESWContest/server/yolo_model/README.md 참고
Road Segmentation : 자세한 내용은 2022ESWContest/server/Road segmentation_model/README.md 참고
EasyOCR : 자세한 내용은 2022ESWContest/server/ocr_model/README.md 참고
[1] 서버와 연결된 상태
- 앱을 실행하면 자동으로 서버와 연결된다.
[2]서버와 연결이 끊긴 상태
- Connect 버튼을 누르면 서버와 연결을 다시 시도하게 된다.
[3] Run 버튼을 누른 상태
- 안내로봇의 motor 작동이 시작된다.
- Stop 버튼으로 활성화된다.
[4] Stop 버튼을 누른 상태
- 안내로봇의 motor 작동이 멈추게된다.
- Run 버튼으로 활성화된다.
[5] Run OCR 버튼을 누른 상태
- 안내로봇의 motor 작동을 멈추고 주변 문자인식을 실행한다.
- 인식된 문자들이 가운데 메세지창에 뜨면서 음성으로도 출력된다.
- Stop OCR 버튼으로 활성화된다.
[6] Stop OCR 버튼을 누른 상태
- 주변 문자인식을 멈춘다.
- Run OCR 버튼으로 활성화된다.
[7] 초기 화면
- 왼쪽 상단의 메뉴를 클릭한다.
[8] 메뉴바를 누른 상태
- 설정바가 있다.
[9] 설정 바를 누른 상태
- 안내 음성의 volume, pitch, speechrate을 조절할 수 있다.
사용PC
- CPU : ntel(R) Xeon(R) CPU W-2223
- VGA : RTX3080
- HDD : SSD 1TB
- CUDA 11.2
- CUDNN 8.0.5
사용라이브러리
- numpy 1.16.2
- opencv2 4.1.0
- Pytorch 1.10.0
- Tensorflow 2.9.0
- CUDNN 8.0.5
안내 로봇 사진
라즈베리파이 카메라모듈 거치대 3d모델
라즈베리파이 basket 3d모델
차체 mdf 도안