hansv905 / final-project-level2-nlp-11

🔮 Text-to-emoji: Emoji-diffusion to make emojis with prompt

Service URL

Service Link(Deprecated, 아래 영상을 참조하세요.)

시연 영상

Introduction

Background

• Unicode에 따르면, 전 세계 인구의 92%가 이모지를 사용합니다. (링크)
• 2018년 기준, 페이스북에서 하루에 쓰이는 이모지의 갯수는 50억개에 달합니다. (링크)
• 다섯개 중 하나 이상의 트윗이 이모지를 포함하고 있고, 이 비율은 점점 높아지고 있습니다. (링크)
• 인스타그램 댓글의 50%이상이 이모지를 포함하고 있습니다.
• 이 외에도 수많은 기사와 리서치가 이모지가 가진 영향력을 보여주고 있습니다.

하지만, 단 3633개만 존재하는 표준 emoji

Unicode상에 등재된 emoji는 3633개입니다.

• 다양성과 개인화가 점점 더 중요해짐에 따라, 기존🧑 yellow skin tone 뿐이던 emoji에도 🧑🏿🧑🏾🧑🏽🧑🏼🧑🏻 다양한 skin tone의 추가나, 👨‍❤️‍👨 나 ⚧️와 같은 다양성과 관련 된 emoji의 추가로 이런 변화에 맞추어가는 모습을 보였습니다.
• 그럼에도 불구하고 표준 emoji는 원하는 것을 전부 표현할 수 없으며, 추가도 거의 한계에 도달한 모습을 보여주고 있습니다.
• 따라서 저희 팀은 생성 모델을 통하여 개인이 직접 emoji를 만들어 이용할 수 있게 하는 프로젝트를 고안하게 되었습니다.

Emoji Samples

Dataset

Openmoji

• Openmoji는 CC BY-SA 4.0 라이센스 하에 자유롭게 사용할 수 있는 오픈 소스 이모지 플랫폼 입니다.
• Unicode에 등재된 3633개의 이모지를 포함하여 총 4083개의 이모지를 제공합니다.
• 해당 플랫폼에서 제공하는 데이터를 활용하여 이미지-텍스트 쌍을 만들어 허깅페이스 허브에 배포하여 사용하였습니다.
• HuggingFace 에 Openmoji dataset을 업로드하였습니다.(링크)

noto-emoji

• Noto emoji는 구글이 제작한 Open Font License 1.1 하에 자유롭게 사용할 수 있는 오픈소스 이모지 라이브러리 입니다.
• Unicode에 등재된 3,633개의 이모지 png파일을 제공합니다.
• 해당 플랫폼에서 제공하는 데이터를 활용하여 이미지-텍스트 쌍을 만들어 허깅페이스 허브에 배포하여 사용하였습니다.
• HuggingFace 에 noto-emoji dataset을 업로드하였습니다.(링크)

FlowChart

Model FlowChart

Server FlowChart

Team

• 서로 다른 조에서 multimodal에 관심 있는 우리들이 모여서, (FUSION)
• 각자 아는 지식들을 공유하고 융합하여, (FUSION)
• diffusion을 활용해 text-to-emoji 문제를 풀어보자! (FUSION)

We, Fusion!!

김지수	김현수	지상수	최석훈	최혜원
Modeling	Modeling	Modeling	Modeling	Modeling
Serving	Metric 및 이론, 논문 조사	Front(Streamlit)	Serving(BENTOML)	Multi Encoder(AltCLIP-m9)
데이터 제작 및 가공	프로젝트 기획 및 발표	Code Review	데이터 제작 및 가공	프로젝트 기획 및 발표
GitHub	GitHub	GitHub	GitHub	GitHub

Project Directories

Relation_Extraction
 ┣ bentoml
 ┃ ┣ eng_serve
 ┃ ┃ ┣ bentofile_eng_model.yaml
 ┃ ┃ ┣ configuration.yaml
 ┃ ┃ ┣ requirements.txt
 ┃ ┃ ┗ service.py
 ┃ ┣ kor_serve
 ┃ ┃ ┣ bentofile_kor_model.yaml
 ┃ ┃ ┣ configuration.yaml
 ┃ ┃ ┣ requirements.txt
 ┃ ┃ ┗ service.py
 ┃ ┣ readme.md
 ┣ frontend
 ┃ ┣ frontend.py
 ┃ ┣ main.py
 ┃ ┗ utils.py
 ┣ train
 ┃ ┣ dataset_utils
 ┃ ┃ ┣ make_korean_datasets.py
 ┃ ┃ ┗ save_dataset.py
 ┃ ┣ dreambooth
 ┃ ┃ ┣ dreambooth-lora.py
 ┃ ┃ ┣ dreambooth-lora.sh
 ┃ ┃ ┣ dreambooth.py
 ┃ ┃ ┗ dreambooth.sh
 ┃ ┣ examples
 ┃ ┃ ┣ AltCLIP
 ┃ ┃ ┗ AltDiffusion
 ┃ ┣ inference
 ┃ ┃ ┣ inference-lora-fid.py
 ┃ ┃ ┣ inference-lora.py
 ┃ ┃ ┗ inference_lora_altdiffusion.py
 ┃ ┣ utils
 ┃ ┃ ┣ blacklist.py
 ┃ ┃ ┣ .
 ┃ ┃ ┣ .
 ┃ ┃ ┗ white_bg.py
 ┃ ┣ train_lora.py
 ┃ ┗ train_lora.sh
 ┣ .gitignore
 ┣ README.md
 ┗ requirements.txt

More Information

Document & Demo

Type	Link
WrapUp Report	>> Notion
Presentation	>> Youtube

Reference

Paper

• Denoising Diffusion Probabilistic Models [PAPER]
• AltCLIP: Altering the Language Encoder in CLIP for Extended Language Capabilities [PAPER] [CODE]
• LoRA: Low-Rank Adaptation of Large Language Models [PAPER]
• BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation [PAPER]

Open Source

• huggingface/diffusers [CODE]
• AltCLIP [CODE]