lassl / _lassl.github.io

prdl lab에서 진행한 내용을 정리하기위한 blog

lassl.github.io

포스트 작성 방법

먼저 아래의 command를 수행합니다.

$ git config --local user.email "[email protected]"
$ git config --local user.name "yourNickname or yourName"
$ git config --local commit.template .gitmessage.txt

원고 작성 방법를 참고하여, 작성부탁드립니다.

ETC

• 저자 등록 방법
• 로컬에서 블로그 확인하기

_lassl.github.io's Issues

원고 작성 방법

이 글에서는 팀 블로그 원고 작성방법을 안내합니다.
우선 마크다운 문서의 이름과 저장 위치는 다음과 같습니다.

• 문서 이름 : YYYY-MM-DD-docname.md (예: 2021-03-08-doc.md)
• 문서 위치 : blog/_posts 디렉토리

---

다음은 글의 메타 정보를 입력하는 방법입니다.
메타 정보는 마크다운 문서의 맨 처음에 다음과 같이 입력해야 합니다.
각 항목별 설명은 다음과 같습니다.

---
layout: post
title: 원고 작성 방법
author: boseop.kim
categories: [기타]
tags: [documentation, sample]
image: https://i.imgur.com/0Cqav7x.jpg
---

• layout : post가 기본값입니다. 이 값을 바꾸지 않습니다.
• title : 문서 제목입니다. 반드시 입력해야 합니다.
• author : 저자 이름입니다. 저자 이름이 유효하려면 blog/_config.yml 파일에 authors 항목에 등록되어 있어야 합니다. 입력하지 않고 빈칸으로 두어도 됩니다. 저자 정보 등록 방법은 [이 글]({{ site.github.url }}/documentation/writer.html)을 참고하세요.
• categories : 이 문서의 카테고리 정보입니다. 하나 혹은 그 이상 입력해도 되고 입력하지 않아도 됩니다.
• tags : 이 문서의 태그 정보입니다. 하나 혹은 그 이상 입력해도 되고 입력하지 않아도 됩니다.
• image : 이 문서의 메인 이미지입니다. 그림을 입력할 경우 이미지를 imgur에 업로드한 뒤 절대 경로 주소를 이 항목에 기입합니다(업로드 방법은 이 글 하단 참조). 입력하지 않아도 됩니다.

---

다음은 문서 중간에 제목을 작성하는 방법입니다.
아래처럼 쓰면 다음과 같이 중간 제목, 소제목이 나타납니다.

### 중간 제목

중간 제목입니다.

#### 소제목

소제목입니다.

중간 제목

중간 제목입니다.

소제목

소제목입니다.

---

다음은 항목을 쓰는 방법입니다.
아래처럼 쓰면 다음과 같이 나타납니다.

1. 이것은 항목 예시입니다.
2. 이것은 항목 예시입니다.

1. 이것은 항목 예시입니다.
2. 이것은 항목 예시입니다.

- 이것은 항목 예시입니다.
  - 이것은 항목 예시입니다.
- 이것은 항목 예시입니다.

• 이것은 항목 예시입니다.
  • 이것은 항목 예시입니다.
• 이것은 항목 예시입니다.

---

다음은 코드를 삽입하는 방법입니다.
아래처럼 쓰면 다음과 같이 코드 블럭을 만들 수 있습니다.

```python
print("test!")
```

print("test!")

---

다음은 인라인 코드를 삽입하는 방법입니다.
아래처럼 쓰면 다음과 같이 인라인 코드를 만들 수 있습니다.

이것은 `예제`입니다.

이것은 예제입니다.

---

다음은 수식을 삽입하는 방법입니다.
아래처럼 laTex 코드를 쓰면 다음과 같이 수식을 삽입할 수 있습니다.

$$
\mathbf{ h }_{ { z }_{ t } }^{ (m) }\leftarrow \textrm{Attention} \left( \mathbf{Q}=\mathbf{ h }_{ { z }_{ t } }^{ (m-1) },\mathbf{KV}=\mathbf{ h }_{ { z }_{ \le t } }^{ (m-1) };\theta  \right)
$$

$$
\mathbf{ h }{ { z }{ t } }^{ (m) }\leftarrow \textrm{Attention} \left( \mathbf{Q}=\mathbf{ h }{ { z }{ t } }^{ (m-1) },\mathbf{KV}=\mathbf{ h }{ { z }{ \le t } }^{ (m-1) };\theta \right)
$$

---

다음은 인라인 수식을 삽입하는 방법입니다.
아래처럼 laTex 코드를 쓰면 다음과 같이 수식을 삽입할 수 있습니다.

함수 $f(x)$를 다음과 같이 정의했다고 가정하자.

함수 $f(x)$를 다음과 같이 정의했다고 가정하자.

---

다음은 표를 삽입하는 방법입니다.
아래처럼 코드를 쓰면 다음과 같이 표를 삽입할 수 있습니다.

|lang|alias|size|
|---|---|---|
|ko|pangyo|13B|
|ko|boss|39B|
|ja|jessica|13B|
|ja|koya|39B|

lang	alias	size
ko	pangyo	13B
ko	boss	39B
ja	jessica	13B
ja	koya	39B

---

다음은 링크를 삽입하는 방법입니다.
아래처럼 코드를 쓰면 다음과 같이 링크를 삽입할 수 있습니다.

[https://imgur.com](https://imgur.com)에 접속합니다.

https://imgur.com에 접속합니다.

---

다음은 이미지를 삽입하는 방법입니다.
우선 다음 사이트에 접속해 로그인합니다.

• https://imgur.com
• id : [email protected]
• passwd : prdl0218

아래처럼 우측 상단 화면의 image를 클릭합니다.

Add images를 클릭해 삽입하려는 이미지를 업로드합니다.

업로드한 이미지를 클릭하면 다음 그림처럼 Direct Link를 얻을 수 있습니다.

이 링크를 복사해 다음처럼 입력하면 아래처럼 그림을 삽입할 수 있습니다.

<img src="https://i.imgur.com/O5GJ8UB.jpg" width="500px">

만일 메타 정보 image에 위 링크를 복사해 붙여 넣으면 해당 그림을 이 원고의 메인 사진으로 사용할 수 있습니다.

tokenizer project 개발기

RoBERTa 관련 post 등록

개요

210522에 발표한 RoBERTa에 관한 내용을 팀 블로그에 posting한다.

• TBU: 210527

cc: @lassl/authors

issue template 등록

개요

issue template을 등록한다. 아래의 목적으로 활용한다.

• 어떤 글감에 대한 issue를 등록하고, branch를 판다.
• 글을 완성 후, main에 pr하여 글을 배포한다.

cc: @lassl/authors

Electra 논문 Post 등록

저자 등록 방법

이 글에서는 저자 정보를 등록하는 방법을 안내합니다.
저자 정보는 _config.yml에 기재해 두어야 합니다.
현재 저자 정보가 다음과 같다고 가정해 보겠습니다.

authors:
   boseop.kim:
    name: boseop.kim
    display_name:boseop.kim
    email: [email protected]
    web: https://velog.io/@aisolab
    facebook: https://www.facebook.com/boseob.kim.16
    description: "임베딩, 문장생성 등에 관심이 많습니다. GPT3 스케일의 거대 언어모델을 학습하고 있습니다. 딥러닝과 자연어 처리의 무궁무진한 가능성을 믿습니다."

여기에 저자 정보를 추가하려면 다음과 같이 추가로 입력합니다.

authors:
  boseop.kim:
    name: boseop.kim
    display_name: boseop.kim
    email: [email protected]
    web: https://velog.io/@aisolab
    facebook: https://www.facebook.com/boseob.kim.16
    description: "임베딩, 문장생성 등에 관심이 많습니다. GPT3 스케일의 거대 언어모델을 학습하고 있습니다. 딥러닝과 자연어 처리의 무궁무진한 가능성을 믿습니다."
  test:
    name: test
    display_name: test
    email: [email protected]
    web: test_url1
    facebook: test_url1
    description: "test"

이후 문서를 작성할 때 메타 정보 author에 위와 같이 등록한 저자 이름을 적으면 됩니다.
단 각 문서를 작성할 때 메타 정보에 입력하는 author 정보는 _config.yml에 반드시 사전 등록되어 있어야 합니다.

팀 소개 작성

개요

팀 블로그의 소개 페이지를 작성한다.

팀 소개페이지 문구 수정

개요

"본 프로젝트는 Google의 GCP Credit 지원을 받고 있습니다." 문구를 팀 소개페이지에 추가한다.

template project 개발기

transformers에 모델 기여하기 Post 등록

lightning-transformers에서 hydra 사용법

• lightning-transformers 예제를 통해 hydra를 살펴봄
• 실제로 학습해보면서 진행
• 추가적으로 시간이 되면 KLUE 등 짧은 subtask 구성

lightning-transformers를 이용한 MLM 구현 (e.g. RoBERTa)

• task
• config

hydra 간단 사용법

댓글창

• 댓글창 검토 및 개발

로컬에서 블로그 확인하기

이 글의 안내에 따라 글을 작성하고 해당 마크다운 문서를 _posts 디렉토리에 커밋하기만 하면 블로그에 자동으로 해당 글이 추가됩니다.
다만 커밋하기에 앞서 해당 원고가 어떻게 퍼블리시되는지 확인해보고 싶을 때가 있을 수 있습니다.
이를 위해서는 루비(ruby), 지킬(jekyll) 등 관련 패키지들을 설치해야 합니다.
MacOS에서 다음 순서대로 설치하면 됩니다.

• ruby 설치

brew install rbenv
rbenv init
curl -fsSL https://github.com/rbenv/rbenv-installer/raw/master/bin/rbenv-doctor | bash
rbenv install 2.7.0
rbenv global 2.7.0
# 위의 스크립트를 실행한 뒤 ~/.bash_profile 등에 아래 라인 추가
# eval "$(rbenv init -)"

• jekyll 설치 : 위의 ruby 설치 커맨드를 모두 실행하면 터미널을 다시 실행해 아래를 수행합니다.

gem install --user-install bundler jekyll
# 위의 스크립트를 실행한 뒤 ~/.bash_profile 등에 아래 라인 추가
# export PATH="$HOME/.gem/ruby/2.7.0/bin:$PATH"

• 블로그 의존성 패키지 설치 : 위의 jekyll 설치 커맨드를 모두 실행하면 터미널을 다시 실행해 아래를 수행합니다.

# 현 리포(blog)의 루트로 이동 (예) cd blog
bundle install
bundle exec jekyll serve

이제 모든 준비가 끝났습니다.
원고를 작성한 뒤 다음 현 리포의 루트에서 다음 커맨드를 실행하면 http://0.0.0.0:4000에서 해당 원고가 실제로 어떻게 퍼블리시되는지 확인해볼 수 있습니다.
이 확인에서 문제가 없으면 해당 원고를 푸시하면 됩니다.

# 현 리포(blog)의 루트로 이동 (예) cd blog
bundle exec jekyll serve

Causal Language Modeling with lightning-transformers 관련 post 등록

개요

210529에 발표할 내용을 team blog post에 등록한다.

• TBU : 210528

@lassl/authors

huggingface datasets 사용법

README.md에 안내문구 작성

개요

README.md에 원고 작성 방법, 저자 등록 방법, 로컬에서 블로그 확인하기

[fix] RoBERTa title 수정

• title 수정
  RoBERTa(A Robustly Optimized BERT Pretraining Approach) 논문리뷰
  -> RoBERTa: A Robustly Optimized BERT Pretraining Approach

Pegasus 논문 Post 등록

• https://arxiv.org/abs/1912.08777

GPT-2 관련 post 등록

개요

210529에 발표할 GPT-2에 관한 내용을 팀 블로그에 posting한다.

• TBU: 210529

cc: @lassl/authors

Albert 논문 등록

from word2vec to bert

• word2vec to masked language model
• RNN to Transformer

upgrade author design and add logo

• add author photo at authors page
• add favicon
• add lassl logo at about page

저자등록하기

블로그에 저자 추가

• 류인제

post 작성 후 로컬에서 확인이 안되는 문제 발생

• post 작성 후 로컬에서 bundle exec jekyll serve 실행 후에도 post를 확인할 수 없는 문제 발생