onishenko-sci / simtorealrl

Gymnasium environment based on real room and robot

Из симуляции в реальность: обучение с подкреплением для Turtle-подобного робота

Недавние работы ETH Zurich [1] [2] показывают как многокомпонентный робот ANIMAL успешно справляется с задачами после обучения в симуляции. Вдохновившись этими работами, я решил опробовать этот концепт на простом примере. Я попробую научить реального робота гоняться за лазерной указкой и перемещять куб на кнопку, используя только изображение с камеры, закрепленной на потолке.

Для этого я создал игру, похожую на изображение получаемое с камеры, и обучил на этой игре DQN алгоритм. Вскоре я применю этот алгоритм к реальному изображению и роботу.

[1] Curiosity-Driven Learning of Joint Locomotion and Manipulation Tasks https://youtu.be/Qob2k_ldLuw

[2] DTC: Deep Tracking Control DOI: 10.1126/scirobotics.adh5401

Задачи

• Настройка реальной среды, робота и камеры
• Калибровка камеры
• Создание класса Object и Game
• Создание уровня Laser
• Создание уровня Cube
• Добавить генерацию препятсвий
• Создание окружения PyGame для тестирования
• Создание среды Gymnasium
• Реализация DQN
• Обучение DQN на уровне Laser
• Обучение Mlp PPO на упрощенном уровне Laser
• Обучение CNN PPO на уровне Laser 100х100
• Обучение DQN на уровне Cube
• Тестирование переноса из симуляции в реальность
• ...