gyunggyung / mllmarxivtalk Goto Github PK

몇 가지 질문을 드려봅니다. 대답 가능하신 것만 해주세요.
검색, ChatGPT나 사람들에게 물어봐도 됩니다.
무엇을 하셔도 작성한 내용만 이해하시면 괜찮습니다.

기초

1. 본인이 가장 잘 아는 논문을 5문장 내외로 서술.
2. word2vec 관련 정보 최대한 쉽게 서술.
3. 본인의 관심 task를 10 문장 내외로 서술.
4. lstm, bert, gpt, t5 장단점, 한계, 차이, 특징은?
5. 형태소와 워드피스 등 토크나이저의 장단점은?
6. 논문을 20분 안에 읽거나 사전 학습 가능한지?
7. 스터디 시 항상 참여 가능한지?

심화

1. P-tuning에 대한 설명. V3가 나온다면 개선점은?
2. ∞-former는 이론상 1조 7500억개의 토큰을 손실 없이 생성할 수 있는가?
3. 본인이 생각하는 GPT-4 예상 파라미터 개수와 구조는?
4. retro, chatgpt 등 빅테크에서 나온 모델들의 비교 한계 분석.
5. 현 스터디 멤버 분석.
6. 원하는 질문.

https://www.nature.com/search?q=generative+AI%C2%A0&journal=

https://www.science.org/action/doSearch?AllField=generative+AI+

https://www.nature.com/articles/s41598-022-23656-1

https://www.nature.com/articles/d41586-023-00107-z

https://www.nature.com/articles/s41598-022-22222-z

https://www.nature.com/articles/s42256-019-0028-1

https://www.nature.com/articles/s42256-022-00539-8

https://www.nature.com/articles/s42256-022-00598-x

https://www.nature.com/articles/d41586-020-03416-9

https://www.nature.com/articles/s42256-022-00591-4

https://www.nature.com/articles/s42256-021-00310-5

https://www.nature.com/articles/s41587-023-01695-x

https://www.nature.com/articles/s42256-022-00593-2

https://www.nature.com/articles/s41598-022-23325-3

https://www.nature.com/articles/s41598-021-01295-2

https://www.nature.com/articles/s41598-022-20698-3

https://www.nature.com/articles/s41467-019-10933-3

https://www.nature.com/articles/s41587-020-0417-3

https://www.nature.com/articles/s41587-020-0418-2

https://www.nature.com/articles/s42256-022-00564-7

https://www.nature.com/articles/s41551-021-00689-x

https://www.nature.com/articles/s42256-023-00613-9

https://www.nature.com/articles/s41746-022-00634-5

https://www.nature.com/articles/s41551-021-00771-4

https://www.science.org/doi/10.1126/sciadv.abh1303

https://www.science.org/doi/10.1126/sciadv.abg3338

https://www.science.org/doi/10.1126/sciadv.aaz4169

https://www.science.org/doi/10.1126/sciadv.aat9004

https://www.science.org/doi/10.1126/sciadv.aav2761

https://www.science.org/doi/10.1126/science.aat2663

https://www.science.org/doi/10.1126/sciadv.abm6127

https://www.nature.com/articles/d41586-023-00423-4

https://www.science.org/doi/10.1126/science.adg7879

https://www.nature.com/articles/369719a0

https://www.science.org/doi/10.1126/science.222.4629.1224

https://www.nature.com/articles/d41586-023-00340-6

https://www.science.org/doi/10.1126/science.add8258

https://www.science.org/doi/10.1126/science.adg4246

https://www.science.org/content/article/dark-energy-supermassive-black-holes-physicists-spar-over-radical-idea

https://www.nature.com/articles/nature14539

https://www.nature.com/articles/nature16961

https://chrome.google.com/webstore/detail/arxivgpt/fbbfpcjhnnklhmncjickdipdlhoddjoh?hl=en&authuser=0

우리 스터디 청강을 하고 싶으신 분들은 여기에 오세요! 초대, 공유 해주셔도 됩니다. 참고로 세미나 발표식의 스터디를 할 때만 (1주일에 1회 정도) 청강을 진행할 거 같습니다. 더 자세한 것은 슬렉에서

https://join.slack.com/t/llm-edg7544/shared_invite/zt-1r65qi61c-7qyD4JON8gNbT1j89CNjYw

스터디에 참여해도 될지 고민하는 분들께, 몇 가지 질문을 드려봅니다. 대답 가능하신 것만 해주세요.

검색이나 chatgpt나 무엇을 쓰든, 작성한 내용을 이해만 하시면 괜찮습니다.

기초

1. lstm, bert, gpt, t5 장단점 한계 차이 특징
2. 가장 흥미롭게 읽은 논문 5문장 요약
3. sdt를 쓰면 좋을 때와 아닐 때
4. 모든 것을 end to end로 하는 게 좋은가?
5. 파라미터 사이즈 1조 개 이상의 모델을 돌릴 때 필요한 서버는?
6. 현 최대의 파라미터 수를 가진 모델은?
7. P-tuning 에 대한 설명과 개선점. V3가 나온다면 개선점은?
8. 강화학습을 nlp task에 쓴 모델 설명 5개
9. 멀티 모달, 멀티 랭기지, 멀티 테스크가 항상 좋은가?
10. 형태소와 워드피스 등 토크나이저의 장단점
11. 논문을 20분 안에 읽거나 사전 학습 가능 여부
12. 스터디 시 항상 참여 가능한가?

심화

1. ∞-former는 이론상 1조 7500억개의 토큰을 손실 없이 생성할 수 있는가?
2. Gpt4의 파라미터 개수와 구조
3. Show Don’t Tell 을 한국어로 적용하는 방법
4. retro gpt3 비교 한계 분석
5. T5 T0 비교 한계 의미 가치 분석
6. You는 어떤 모델로 만들었는가?
7. 우주의 모양은?
8. 1경년 후에 무슨 일이 일어나는가?
9. 순간이동을 누가 언제 어떻게 왜 구현 했는가?
10. 영생하는 동물과 한계는?
11. 다음 빅뱅을 버티는 방법
12. 역대 최연소 교수의 최고의 논문은?
13. https://www.nature.com/articles/d41586-023-00340-6 https://www.nature.com/articles/d41591-023-00014-w https://www.nature.com/articles/s42256-022-00593-2 분석 요약
14. 현 스터디 멤버 분석
15. P-tuning 시 I love you로 고정해도 같은 성능이 나오는가?
16. https://arxiv.org/abs/2009.01325 https://arxiv.org/abs/2203.02155 분석 및 chatgpt 구조 분석
17. https://arxiv.org/pdf/2301.00704v1.pdf https://arxiv.org/pdf/2301.12597v1.pdf 비교 분석

참고로 저는 90프로 이상의 답변은 바로 됩니다. 나머지는 약 2, 3개는 검색이 필요합니다. 팀원 중 많은 분이, 검색 시 완벽한 답변이 가능합니다.

기초 답변이 완벽하거나, 심화에서 올바른 접근을 하면 합류. 전부 완벽하면 모시고, 애매하면 인터뷰, 아니면 탈락.

• 책 제목: 프로메터우스와 바드의 꿈.
• 논문과 프로젝트:
  • P-Tuning V3, 인공지능과 인간의 뇌의 한계,
  • 파라미터 1조개 이상 모델을 성능을 내는 100B 모델.
  • 영화 웹툰 등 시계열 이미지 생성.
  • LSTM, GPT, BERT, T5 초 경량화 및 각 테스크 별 성능 비교.
• 스터디: 최신 LLM 대화 경량화 강화학습 등 https://github.com/gyunggyung/LMMArxivTalk

네이처 사이언스 급의 무언가를 같이 만들고, 노벨상 급을 받고, 조 단위를 벌며 세상을 바뀝시다.

LMMArxivTalk에서 LLMArxivTalk으로 변경.

아마 홍보한 링크들이 의미를 잃고 취업을 완료한 후에 진행 예정.