eubinecto / fruitify

A BERT-based reverse dictionary of fruits!

I aim to kill 🐤🐤 with 🪨

🪨	🗓	🐤 do more with fewer weights?	🐤 solves a problem that matters at scale?
The Wisdomify Project	2021-now	Draws inductive biases from how we interpret Korean proverbs	A solution to a Tip-of-the-Tongue problem
The Idiomify Project	2022-now	Draws inductive biases from the science of idiom acquisition (The Idiombeddings Project)	A solution to the lack of idiomatic fluency of English-as-a-Foreign-Language writers
The Politely Project	2022-now	N/A, as it is currently rule-based.	A solution to ...

fruitify's Issues

Implement UnalignedCrossFruit

목표

kor - kor
en - en

이렇게 unaligned pair만을 가지고 학습을 해보는 것.

막노트 - week0

이런저런 생각 in week 0.

Implement CrossLingRD

해야할 것?

구조는 MonoLingRD 와 정확히 동일하다. 한가지 다른점은 사용하는 사전훈련 모델이 mbert_mlm이라는 것.

이걸 클래스를 따로 정의를 해야하나?

따로 정의를 해서, 어떤 bert를 요구하는지 확실하게 표기하도록 하자.

build a dataset

find at least 5 definitions for:

• apple
• banana
• strawberry
• orange
• grape

use the following authoritative dictionaries:

• Oxford dict
• Cambridge dict
• Merriam Webster
• Longman dict
• Macmillan dict

최종 커리큘럼 짜기

Why?

나는 주체적인 교육자가 될 것이다. 나만이 가르칠 수 있는 그런 교육과정을 만들어보고 싶다.

How?

일단 #10 (comment) 여기에 sprint 1은 해결했다.
이제 계속, sprint 2, sprint 3, sprint 4를 달리며 더 추가해나가자.

커리큘럼

• week 1
  • inverted index & TFIDF로 구현해보기 : 장점 파악 / 문제 인식 (semantic search 불가. 정의에 포함되지 않은 단어는 검색
• week 2. Word2Vec로 구현해보기 : inverted index 대비 장점 파악 / 문제 인식 - averaging vectors to get a sentence vector의 단점.

3. RNN & LSTM으로 구현해보기: Word2Vec 대비 장점 파악 / 문제 인식 - 데이터가 많이 필요함 & 그래도 여전히... 긴 문장은 힘들다.
4. Traansformer 로 구현해보기: RNN & LSTM 대비 장점 파악 / 문제 인식 - 여전히 데이터가 많이 필요하다.
5. BERT로 구현해보기: Transformer 대비 장점 파악 / 문제 인식 - ...BERT의 문제가 뭐더라?
6. GPT3 & The future of NLP .... (e.g. few-shot learning )
7. different tasks in NLP other than RD - generation, speech recognition (특히 이것도 인공지능이 필요하다는 것),
8. Practical tips - tokenisation, lemmatization, stemming, etc
9. 이어서... 더 채워야 하는 것들.

Visualise attention

Just visualising them with opaciity will suffice.

Implement MonoFruit

Todo

Implement MonoFruit defined in fruitify/models.py; Implement its three member methods:

• fruitify
• forward
• training_step

Testing (pseudo)

python3 -m fruitify.scripts.train --fruit_type="mono" --k=5 --max_epochs=10

Support

Explore the scripts in fruitfiy/examples for:

• exploring bert_mlm
• exploring bert_tokenizer
• exploring the fruit2def dataset
• implementing cross entropy in Pytorch