bcaitech1 / p4-dkt-no_caffeine_no_gain

No-Caffeine-No-Gain's Deep Knowledge Tracing (DKT)

📝 No Caffeine No Gain

프로젝트 기간 : 2021.05.24 ~ 2021.06.15

프로젝트 주제 : Deep Knowledge Tracing

[목차]

• [Deep Knowledge Tracing 소개]
• [Installation]
  • Dependencies
• [Usage]
  • Dataset
  • Train
  • Inference
  • Arguments
• [File Structure]
  • LSTM
  • LSTMATTN
  • BERT
  • LGBM
  • SAINT
  • LastQuery
  • TABNET
• [Input CSV File]
• [Feature]
• [Contributors]
• [Collaborative Works]
  • 📝 Notion
• [Reference]
  • Papers
  • Dataset

[Deep Knowledge Tracing 소개]

DKT는 Deep Knowledge Tracing의 약자로 우리의 "지식 상태"를 추적하는 딥러닝 방법론입니다.

대회에서는 학생 개개인의 이해도를 가리키는 지식 상태를 예측하는 일보다는, 주어진 문제를 맞출지 틀릴지 예측하는 것에 집중합니다.

[Installation]

Dependencies

• torch
• pandas
• sklearn
• pycaret
• tqdm
• wandb
• easydict
• pytorch-tabnet

pip install -r requirements.txt

[Usage]

Dataset

학습에 필요한 데이터를 만들기 위해 두 개의 .py 파일을 순차적으로 실행해야 합니다.

$ p4-dkt-no_caffeine_no_gain# python make_elapsed.py
$ p4-dkt-no_caffeine_no_gain# python make_fixed_data.py

Train

모델을 학습하기 위해서는 train.py 를 실행시킵니다.

아래 Arguments 에 있는 argument 중 필요한 argumet 를 바꿔 사용하면 됩니다.

$ p4-dkt-no_caffeine_no_gain# python train.py

총 7가지의 모델을 선택할 수 있습니다.

• TABNET
• LASTQUERY
• SAINT
• LGBM
• BERT
• LSTMATTN
• LSTM

Inference

학습된 모델로 추론하기 위해서는 inference.py 를 실행시킵니다.

필요한 argument 는 —-model_name 과 —-model_epoch 입니다.

$ p4-dkt-no_caffeine_no_gain# python inference.py --model_name "학습한 모델 폴더 이름" --model_epoch "사용하고픈 모델의 epoch"

Arguments

train 과 inference 에서 필요한 argument 입니다.

# Basic
--model: model type (default:'lstm')
--scheduler: scheduler type (default:'plateau')
--device: device to use (defualt:'cpu')
--data_dir: data directory (default:'/opt/ml/input/data/train_dataset')
--asset_dir: asset directory (default:'asset/')
--train_file_name: train file name (default:'add_FE_fixed_train.csv')
--valid_file_name: validation file name (default:'add_FE_fixed_valid.csv')
--test_file_name: test file name (default:'add_FE_fixed_test.csv')
--model_dir: model directory (default:'models/')
--num_workers: number of workers (default:1)
--output_dir: output directory (default:'output/')
--output_file: output file name (default:'output')
--model_name: model folder name (default:'')
--model_epoch: model epoch to use (default:1)

# Hyperparameters
--seed: random state (default:42)
--optimizer: optimizer type (default:'adamW')
--max_seq_len: max sequence length (default:20)
--hidden_dim: hidden dimension size (default:64)
--n_layers: number of layers (default:2)
--n_epochs: number of epochs (default:20)
--batch_size: batch size (default:64)
--lr: learning rate (default:1e-4)
--clip_grad: clip grad (default:10)
--patience: for early stopping (default:5)
--drop_out: drop out rate (default:0.2)
--dim_div: hidden dimension dividor in model to prevent too be large scale (default:3)

# Transformer
--n_heads: number of heads (default:2)
--is_decoder: use transformer decoder (default:True)

# TabNet
--tabnet_pretrain: Using TabNet pretrain (default:False)
--use_test_to_train: to training includes test data (default:False)
--tabnet_scheduler: TabNet scheduler (default:'steplr')
--tabnet_optimizer: TabNet optimizer (default:'adam')
--tabnet_lr: TabNet learning rate (default:2e-2)
--tabnet_batchsize: TabNet batchsize (default:16384)
--tabnet_n_step: TabNet n step(not log step) (default:5)
--tabnet_gamma: TabNet gamma (default:1.7)
--tabnet_mask_type: TabNet mask type (default:'saprsemax')
--tabnet_virtual_batchsize: TabNet virtual batchsize (default:256)
--tabnet_pretraining_ratio: TabNet pretraining ratio (default:0.8)

# Sliding Window
--window: Using Sliding Window augmentation (default:False)
--shuffle: shuffle Sliding Window (default:False)
--stride: Sliding Window stride (default:20)
--shuffle_n: Shuffle times (default:1)

# T-Fixup
--Tfixup: Using T-Fixup (default:False)
--layer_norm: T-Fixup with layer norm (default:False)

# Pseudo Labeling
--use_pseudo: Using Pseudo Labeling (default:False)
--pseudo_label_file: file path for Pseudo Labeling (default:'')

# log
--log_steps: print log per n steps (default:50)

# wandb
--use_wandb: if you want to use wandb (default:True)

[File Structure]

전체적인 File Structure 입니다.

code
├── README.md
├── .gitignore
├── args.py
├── make_custom_data
│   ├── make_elapsed.py - time 관련 feature 생성
│   ├── make_fixed_data.py - user 정답률 기반으로 valid 생성
│   └── make_original_fixed_data.py - shuffle해서 valid 생성
│
├── dkt
│   ├── criterion.py
│   ├── dataloader.py
│   ├── metric.py
│   ├── model.py
│   ├── optimizer.py
│   ├── scheduler.py
│   ├── trainer.py
│   └── utils.py
├── ensemble.py
├── inference.py
├── requirements.txt - dependencies
└── train.py

LSTM

• sequence data를 다루기 위한 LSTM 모델입니다.

• 구현

  model.py
  ├── class LSTM
  │   ├── init()
  └── └── forward() : return predicts
  
  args.py
  ├── args.max_seq_len(default : 20)
  ├── args.n_layers(default : 2)
  ├── args.n_heads(default : 2)
  └── args.hidden_dim(default : 64)
  

LSTMATTN

• LSTM 모델에 Self-Attention을 추가한 모델입니다.

• 구현

  model.py
  ├── class LSTMATTN
  │   ├── init()
  └── └── forward() : return predicts
  
  args.py
  ├── args.max_seq_len(default : 20)
  ├── args.n_layers(default : 2)
  ├── args.n_heads(default : 2)
  └── args.hidden_dim(default : 64)
  

BERT

• Huggingface 에서 BERT 구조를 가져와서 사용합니다. 다만, pre-trained 모델이 아니기 때문에 Transformer-encoder 와 같습니다.

• 현재 모델에서는 bert_config 의 is_decoder 를 True 로 주어 Transformer-decoder 로 사용하고 있습니다.

• 구현

  model.py
  ├── class Bert
  │   ├── init()
  └── └── forward() : return predicts
  
  args.py
  ├── args.max_seq_len(default : 20)
  ├── args.n_layers(default : 2)
  ├── args.n_heads(default : 2)
  ├── args.is_decoder(default : True)
  └── args.hidden_dim(default : 64)
  

LGBM

• tabular data에서 좋은 성능을 보이는 Machine Learning 모델입니다.

• 구현

  model.py
  ├── class LGBM
  │   ├── init()
  └── └── fit() : return trained model
  

SAINT

• Kaggle Riiid AIEd Challenge 2020의 Host가 제시한 solution 입니다.

• Transformer와 비슷한 구조의 모델로 Encoder와 Decoder를 가지고 있습니다.

• 인코더는 feature 임베딩 스트림에 self-attention 레이어를 적용하고 디코더에서 self-attention 레이어와 인코더-디코더 attention 레이어를 응답 임베딩과 인코더의 출력 스트림에 번갈아 적용하는 구조입니다.

• Paper Review : [Saint 모델 분석]

• 구현

  model.py
  ├── class Saint
  │   ├── init()
  └── └── forward() : return predicts
  
  args.py
  ├── args.max_seq_len(default : 20)
  ├── args.n_layers(default : 2)
  ├── args.n_heads(default : 2)
  └── args.hidden_dim(default : 64)
  

LastQuery

• Kaggle Riiid AIEd Challenge 2020의 1st place solution입니다.

• transformer encoder의 입력으로 sequence의 마지막 query만 사용하여 시간복잡도를 줄이고, encoder의 output을 LSTM에 넣어 학습하는 방식의 모델입니다.

• Paper Review : [Last Query Transformer RNN for knowledge tracing 리뷰]

• 구현

  model.py
  ├── class LastQuery
  │   ├── init()
  └── └── forward() : return predicts
  
  args.py
  ├── args.max_seq_len(default : 20)
  ├── args.n_layers(default : 2)
  ├── args.n_heads(default : 2)
  ├── args.hidden_dim(default : 64)
  └── args.Tfixup(default : False)
  

TABNET

• tabular data에서 ML모델보다 더 우수한 성능을 보이는 Deep-learning model입니다.

• data에서 Sparse instance-wise feature selection을 사용하여 자체적으로 중요한 feature 선별해낸 후 학습하는 방식을 사용하며, feature 선별시 non-linear한 processing을 사용하여 learning capacity를 향상시킵니다.

• Sequential한 multi-step architecture를 가지고있으며, feature masking으로 Unsupervised 학습도 가능합니다.

• Paper Review : [Tabnet 논문 리뷰]

• 구현

  model.py
  ├── class TabNet
  │   ├── TabNetPreTrainer
  │   ├── TabNetClassifier
  │   ├── get_scheduler()
  │   ├── get_optimizer()
  └── └── forward() : return models
  
  trainer.py
  ├── tabnet_run(args, train_data, valid_data)
  ├── get_tabnet_model(args)
  └── tabnet_inference(args, test_data)
  
  train.py
  └── tabnet_run()
  
  args.py
  ├── args.tabnet_pretrain(default : False)
  ├── args.use_test_to_train(default : False)
  ├── args.tabnet_scheduler(default:'steplr')
  ├── args.tabnet_optimizer(default:'adam')
  ├── args.tabnet_lr(default:2e-2)
  ├── args.tabnet_batchsize(default:16384)
  ├── args.tabnet_n_step(default:5)
  ├── args.tabnet_gamma(default:1.7)
  ├── args.tabnet_mask_type(default:'saprsemax')
  ├── args.tabnet_virtual_batchsize(default:256)
  └── args.tabnet_pretraining_ratio(default:0.8)
  

[Input CSV File]

데이터는 아래와 같은 형태이며, 한 행은 한 사용자가 한 문항을 풀었을 때의 정보와 그 문항을 맞췄는지에 대한 정보가 담겨져 있습니다. 데이터는 모두 Timestamp 기준으로 정렬되어 있습니다.

• userID 사용자의 고유번호입니다. 총 7,442명의 고유 사용자가 있으며, train/test셋은 이 userID를 기준으로 90/10의 비율로 나누어졌습니다.
• assessmentItemID 문항의 고유번호입니다. 총 9,454개의 고유 문항이 있습니다.
• testId 시험지의 고유번호입니다. 문항과 시험지의 관계는 아래 그림을 참고하여 이해하시면 됩니다. 총 1,537개의 고유한 시험지가 있습니다.

• answerCode 사용자가 해당 문항을 맞췄는지 여부에 대한 이진 데이터이며 0은 사용자가 해당 문항을 틀린 것, 1은 사용자가 해당 문항을 맞춘 것입니다.
• Timestamp 사용자가 해당문항을 풀기 시작한 시점의 데이터입니다.
• KnowledgeTag 문항 당 하나씩 배정되는 태그로, 일종의 중분류 역할을 합니다. 태그 자체의 정보는 비식별화 되어있지만, 문항을 군집화하는데 사용할 수 있습니다. 912개의 고유 태그가 존재합니다.

[Feature]

elapsed: 유저가 문제를 푸는데에 소요한 시간

time_bin: 문제를 푼 시간대(아침, 점심, 저녁, 새벽)

classification: 대분류(학년)

paperNum: 시험지 번호

problemNum: 문제 번호

user_total_acc: 유저의 총 정답률

test_acc: 각 시험지의 평균 정답률

assessment_acc: 각 문제의 평균 정답률

tag_acc: 각 태그의 평균 정답률

total_used_time: 유저가 하나의 시험지를 다 푸는데에 소요한 시간

past_correct: 유저별 과거 맞춘 문제의 수

past_content_count: 유저-문제별 과거에 동일 문제를 만난 횟수

correct_per_hour: 시간(hours)별 정답률

same_tag: 동일 태그를 연속으로 풀었는지 유무(T/F)

cont_tag: 연속으로 푼 동일 태그 개수(0~)

etc...

[Contributors]

• 정희석 (Heeseok-Jeong)
• 이애나 (Anna-Lee)
• 이창우 (changwoomon)
• 안유진 (dkswndms4782)
• 선재우 (JAEWOOSUN)

[Collaborative Works]

Gitflow 브랜치 전략

→ 92개의 Commits, 26개의 Pull Requests

Github issues & projects 로 일정 관리

→ 28개의 Issues

→ Modeling Project 에서 관리

Notion 실험노트로 실험 공유

→ 39개의 실험노트

Notion 제출기록으로 제출 내역 공유

→ 155개의 제출기록

📝 Notion

피어들의 Ground Rule, 실험노트, 피어세션 등 한달 간의 행보를 확인하시려면 다음 링크를 클릭하세요.

• LINK : DKT-10조-No_Caffeine_No_Gain

[Reference]

Papers

• Deep Knowledge Tracing (Piech et al., arXiv 2015)
• Last Query Transformer RNN for Knowledge Tracing (Jeon, S., arXiv 2021)
• Towards an Appropriate Query, Key, and Value Computation for Knowledge Tracing (Choi et al., arXiv 2021)
• How to Fine-Tune BERT for Text Classification? (Sun et al., arXiv 2020)
• Improving Transformer Optimization Through Better Initialization (Huang et al., ICML 2020)

Dataset

• i-Scream edu Dataset

p4-dkt-no_caffeine_no_gain's Issues

[Day3] Feature Engineering 여러개 가능

• Features Engineering 개수 불러오기
• Dataset 수정
• DataLoader 수정
• Model 수정

[Week2] 주간 계획

LGBM - 창우

• 우리가 만든 피쳐 elapsed 등 넣어보기
• train_must_exist_leaderboard, filter_option 등 수정해보기
• 모델 성능 향상 강의 적용

새 모델

• Last Query Transformer RNN - 애나, 유진
• Riiid 디스커션보고 새 모델 찾아보기 (많이는 필요 없음)
• 수업에 나온것처럼 고유 함수 추가해보기 (ELO) (https://www.kaggle.com/stevemju/riiid-simple-elo-rating)
• Saint 모델

Feature Engineering (5/31 강의 참고) - 재우

• 시간 임베딩 (https://www.kaggle.com/letranduckinh/riiid-model-submission-4th-place-public-version)

Data Augmentation - 희석

• 지금은 유저id 로만 분리했는데, 시험지나 태그별로도 그룹바이해서 증강해보자.

• 트레인데이터의 마지막 부분 answercode 를 -1 로 바꿔서 학습해보자

• 트랜스포머쓸때 인코더 어텐션 말고 디코더 어텐션 써보자

• 어텐션 할 떄 중간중간에 MLM 처럼 answercode 를 가리고 맞추는 태스크로도 해볼까? -> 인코더 어텐션쓰는거 아닌 이상 max_seq 바꿔주는거랑 다를게 없을듯

• test data의 predict 값을 함께 추가해주는 방법도 많이 사용됨 ( 성능이 향상될지는 모르지만 대체적으로 향상됨)
  

[Day10] LastQuery

• [Last Query Transformer RNN for knowledge tracing] 논문 리뷰
• LastQuery Post Padding, Pre Padding 코드 리뷰
  -> 오피스아워에서 설명하신 것 같아 생략하겠슴다ㅠ
• LastQuery Post Padding, PrePadding 실험 후 성능 비교
  -> prepadding이 점수가 좀 더 높음
• LastQuery transformer encoder에 T-fixup적용

[Last Query Transformer RNN for knowledge tracing] 논문에서 얻은 insight 현재 코드에 적용

• max_seq_len 늘려서 실험
  -> 왜,,더,,,떨어지지,,왜,,,왜,,,,

[Day1] 베이스라인 분석

마감일

• 2021.05.25

• 데이터 입력구조 분석

• 모델구조 분석

• 결과 분석 -> 버트 실험으로 대체

[DAY 10] tabnet 사용하기

• tabnet 논문정리
• 서일님 feature(코드)에 tabnet 적용해보기
• output 확인
• 다양한 feature들 추가해보기
• baseline에 코드 추가하기
• unsupervised 방식 사용해보기

[Feature] make_elapsed 개선

• 예상 소요시간: 약 1~2분
• AUC: 0.7521

linear projections in LastQuery

Hi,

In the LastQuery module you define query, key and value projections:

p4-dkt-no_caffeine_no_gain/dkt/model.py

Lines 305 to 308 in bd0f08a

	# Encoder
	self.query = nn.Linear(in_features=self.hidden_dim, out_features=self.hidden_dim)
	self.key = nn.Linear(in_features=self.hidden_dim, out_features=self.hidden_dim)
	self.value = nn.Linear(in_features=self.hidden_dim, out_features=self.hidden_dim)

which you call in the forward method before calling self.attn (nn.MultiheadAttention):

p4-dkt-no_caffeine_no_gain/dkt/model.py

Lines 435 to 443 in bd0f08a

	####################### ENCODER #####################
	q = self.query(embed)[:, -1:, :].permute(1, 0, 2)
	k = self.key(embed).permute(1, 0, 2)
	v = self.value(embed).permute(1, 0, 2)
	## attention
	# last query only
	self.mask = self.get_mask(seq_len, mask, batch_size).to(self.device)
	out, _ = self.attn(q, k, v, attn_mask=self.mask)

Aren't the projections already included in nn.MultiheadAttention?
Thanks.

[Day2] Cross Validation 전략

• Cross Validation 방법 확인
• Cross Validation 적용
  • K-Fold

[Day3] 베이스라인 코드 수정, 버트 입력구조 및 파라미터 변경

베이스라인 코드 수정

• trainer 에 print(args) 추가
• 저장되는 모델 이름 변경 -> bert_model_epoch10.pt
• validation 함수에서 val_loss 구하고 리턴
• wandb 저장 요소 변경 -> epoch 삭제, val_loss 추가
• inference 함수의 output 모델 이름 변경 -> bert_model_epoch10.csv

버트 입력구조 및 파라미터 변경 실험

• hidden_dim = 512, n_layers = 6, n_heads = 8, max_seq_len = 30
• 입력에 [SEP] 토큰 추가 -> 안해도됨
• comb_proj 사용하지 않고 연결만 하기
• segment id 0 과 1 을 번갈아 사용? -> comb_proj 써서 큰 도움안될듯

[Day2] 대분류, 시험지번호, 문제번호 feature 추가

• testId, assessmentItemID 삭제
• classification, paperNum, problemNum 추가
• LSTM, LSTM_ATTN, BERT 구조 변경
• output 확인

[Day 12] Transformer Encoder에 T-Fixup 적용

Transformer Encoder에 아래 항목 변경하여 성능 확인

• Feature 변경(순서, 내용)
• T-Fixup + LayerNorm X
• T-Fixup + LayerNorm

[Day5] split data 데이터 증강

• 유저의 모든 인터랙션을 max_seq_len 으로 잘라서 데이터로 사용. dataframe 을 건드리는 작업.

[Feature] Add Models

add LSTM + Attention model, BERT model to baseline

[Day7] LGBM

• PyCaret → Python wrapper or scikit-learn wrapper
• LGBM wandb
• feature engineering
  • 재우님 3 features
  • 서일님 features
• 간단한 hyperparameter tuning

[Day7] 다양한 데이터 증강 방법 사용 및 데이터 변경 실험

• 유저-시험지, 유저-태그로 그룹바이해서 데이터 증강
• 슬라이딩 윈도우식으로 stride 를 줘서 증강
• 트레인데이터의 마지막 부분 answercode 를 -1 로 바꿔서 학습 -> 피쳐로 answerCode 는 들어가지 않음 (기각)
• 트랜스포머쓸때 인코더 어텐션 말고 디코더 어텐션 사용
• split_data 로 증강한 데이터가 valid 에 들어가지 않게 코드 수정 및 실험

[Day12] 데이터 증강에 valid 넣지 않기

창우님이 만든 고정된 train, valid 로 실험

• 기본 LSTM 에 stride 20 으로 실험
• BERT encoder 에 괜찮았던 하이퍼파라미터로 stride 20 으로 실험
• BERT decoder 에 괜찮았던 하이퍼파라미터로 stride 20 으로 실험
• 괜찮은 BERT 에 stride 10 으로 실험
• Tfixup BERT encoder stride 20 실험
• Tfixup BERT decoder stride 20 실험

[Day1] Daily Mission1 기반 EDA

마감일

• 2021.05.24

• Daily Mission 에 나온 EDA 방법들 이해하기

• Daily Mission 과제 수행

[Day7] Sliding Window 적용

• sliding window 방법으로 데이터 증강하여 last query transformer rnn 모델에 적용
• sliding window 현재 코드에 추가
• sliding window를 적용하지 않은 last query transformer rnn과 비교

[Day2][유진] baseline code, git, feature extraction

• args + model 추가 코드 PR
• .gitignore 추가
• notion에 제출 결과 정리
• process_batch 함수 분석
• 대분류, 시험지번호, 문제번호 feature 실험노트 추가
• 3 features를 baseline_2 실험결과에 적용시켜보기

[Day7] LastQuery실험

• LGBM 실험결과 정리
• lastquery 현재 code에 맞게 고치기 + 모듈화
• LastQuery모델을 이용하여 돌리기
  → 현재는 testID, assessmentItemID, KnowledgeTag, interaction만 사용
• LastQuery에 elapsed, 3_feature, time_bin등의 feature를 추가한 후 돌리기
• positional_embedding사용
• 데이터 증강 후 LastQuery에 적용

[Day4] Loss 변경

BCELoss보다 imbalance(0이 더 적다고 생각)에 더 효과적인 Loss가 있을 거라 생각합니다.

• BCELoss 대신 imbalance 데이터에 더 적합한 Loss 찾기
• 새로운 Loss 적용하고 결과 확인

[DAY 10] Saint 분석

• Saint 논문 분석
• Saint 적용
• Saint 평가

[Day3] userId와 KnowledgeTag 조합

학습 데이터를 사용자로 구분하는 것이 아니라 사용자와 사용자가 푸는 문제의 태그로 조합한 데이터로 학습을 시도합니다.
- [ ] 학습데이터를 userId-KnowledgeTag로 조합하여 학습하는 코드
- [ ] Validation 결과와 제출 결과 비교

[Day 13] Feature Engineering

강의에서 제공한 EDA를 전부 Feature로 추가

+ 05/31 Daily Mission 확인

• 한 사용자가 푼 문항의 개수
• 학생의 정답률 (최종)
• 문항 별 정답률
• 시험지 별 정답률
• 태그가 얼마나 노출되었는지 (전체?)
• 시험지가 얼마나 노출되었는지 (전체?)
• 비슷한 개념을 연달아 풀면 성취도가 오를까 -> 비슷한 개념이란? 태그라고 생각했을 때 연달아 푼다는 것을 정의하기 어려움
• 정답을 잘 맞추는 시간대 (time_bin)

토론 게시판의 LGBM Feature

• 학생의 정답을 맞춘 횟수
• 학생의 문제 푼 횟수
• 학생의 정확도

개인적으로 추가하고 싶은 Feature들

• 한 사용자가 동일한 Knowledge Tag를 얼마나 많이 접했는지
• 한 사용자가 동일한 AssessmentID를 얼마나 많이 접했는지
• 한 사용자가 동일한 TestID를 얼마나 많이 접했는지
• 전체 Knowledge Tag의 정답률
• 전체 AssessementID의 정답률
• 전체 TestID의 정답률
• 한 사용자가 처음 문제를 접한 시간과 마지막 문제를 접한 시간 (정형으로 접근하는 경우만 의미가 있는 정보)

[Feature] Add five features

Add five features

• related to the test (by JAEWOOSUN)

  • classification
  • paperNum
  • problemNum

• related to time (by changwoomon)

  • elapsed
  • time_bin

LastQuery 후속 실험

• current question elapsed time feature추가 후 실험
• elapsed feature를 maximum값을 넘는 값은 maximum으로 바꾼 후 넣어서 실험
• max_seq_len 늘려서 실험
• 최적 feature 순서 찾기

[Day2] Timestamp → 걸린시간, 시간대 변수 추가

• 걸린시간 변수 추가
• 시간대 변수 추가
• train 후 제출
• .ipynb → .py 변환
• 3 features 추가 후 학습

[Feature] 베이스라인 개선

베이스라인 코드 수정

• trainer 에 print(args) 추가
• 현재 에포크는 epoch + 1 이 기준인데, wandb 에서나 헷갈리기 때문에 그냥 epoch 는 0 부터 시작하도록 했습니다.
• 저장되는 모델 이름 변경 -> .../models/Baseline9/model_epoch10.pt
  -> --model_name 파라미터에 우리가 쓰는 'Baseline9' 과 같은 모델 이름을 적어줘야합니다.
  python train.py --model bert --model_name MyBERT
• validation 함수에서 val_loss 구하고 리턴
• wandb 저장 요소 변경 -> epoch 삭제, val_loss 추가
• inference 함수에서 --model_name 에 해당하는 폴더의 --model_epoch 모델을 불러옴
• inference 함수의 output 모델 이름 변경 -> bert_model_epoch10.csv
  python inference.py --model bert --model_name MyBERT --model_epoch 4

[DAY 7] 시간 embedding 추가

• continuous embedding 추가
• Timestamp를 사용해서 continuous embedding해보기
• 제출 후 결과 확인