oglee815 / mygpt-lecture

나만의 데이터로 만드는 ChatGPT(MyGPT) 강의 코드

update

• 2024-6-13: 데이터 생성과 학습 노트북 통합 -> 하나의 colab 노트북으로 통일
• 2023-10-24: 라인 넘버 추가 및 코드 정리

mygpt-lecture

본 자료는 '나만의 데이터로 만드는 MyGPT 강의' 관련 자료입니다.

아래 자료를 참고하여 만들었습니다. https://github.com/airobotlab/KoChatGPT

전체 목차

실습 진행 순서

학습코드

my_gpt실습.ipynb

데이터 생성 코드

my_gpt실습.ipynb

• ChatGPT API를 통해 데이터 자동 생성
• 

PPO 강화학습 연습 코드(Lunar Lander2)

• ppo_practice.ipynb
• 

학습 결과 예시

• SKT-KoGPT2와 나무 위키의 '아이브' 카테고리 데이터를 기반으로 ChatGPT의 Stage 1, 2, 3를 학습 한 뒤, Stage 1의 SFT와 결과 비교
• 
• KL Penalty 덕분인지 의외로 동일한 Output을 내놓는 경우가 많음

자료 관련 문의

• 이현제, [email protected]
• [email protected]