jjuun0 / diffusers

🤗 Diffusers: State-of-the-art diffusion models for image and audio generation in PyTorch

♥️ About me

• 안녕하세요! 세상에 편리하고, 재밌는 서비스를 제공하는 AI Research Engineer, 이준형입니다.

😄 Career

• 한성대학교 IT융합공학부 졸업 (2016.03 ~ 2023.02)
• 학부연구생 @ Visual Intelligence Lab (2020.10 ~ 2023.02)
• AI Research Engineer @ EASYWITH (2023.03~)

---

🛠 Tech Stack 🛠

         

---

Project

💡 Generation, Style Transfer (2022.03 ~ 2022.06)

• Generative Stylization using Non-linear Style Mixing via Layer-wise Transformers link
  • 전자공학회 KCI 우수등재

💸 Object Tracking (2021.05 ~ 2022.08)

• 플렌옵틱 영상에서의 다수의 객체 추적-1

  • Semantic 속성을 부여: 학습된 VGG 모델을 통해 탐색 영역의 특징을 추출하여 타겟에 초점이 맞춰진 영역을 찾는 것을 제안함.
  • 모델의 추적 성능 향상: RPN 앙상블을 통해 모델의 추론 값의 큰 변화를 줄여 작은 변화를 이끔.
  • 추적 속도 향상: 프레임별로 객체의 가속도를 측정하여 속도가 줄어드는 구간은 건너뜀.

• 플렌옵틱 영상에서의 다수의 객체 추적-2

  • 정확도를 높이기 위한 cyclic shifted shifted window 기반 CSWinTT 모델로 변경
  • 추적 성능 향상
    • 모델의 confidence 값으로 타겟 객체 업데이트를 통해 타겟의 외형이 변하는 것을 잘 파악함.
    • 동적 탐색 영역 제한을 통해 타겟에 초점이 맞춰진 여러 포컬 이미지로 타겟의 추적 정확도를 높임.

---

Activity

🤗 HuggingFace Hackathon

• Colorful illustration
  • SDXL 1.0 모델을 lora 방법으로 finetuning 하여 colorful한 스타일로 생성 가능

🏅 2022 국방 AI 경진대회(AI Connect)

• code
• 예선 (8등/110팀)
  • 주제: 항공 이미지 데이터를 활용한 건물 변화 탐지
  • 역할: 데이터 분석 및 전처리(불균형 데이터 CutMix, Augmentation으로 데이터 4000장 증강해 균형 맞춤)
• 본선 (7등/10팀)
  • 주제: 화상 이미지 노이즈 제거 (Restoration, Denoising)
  • 역할: 데이터 분석 및 데이터 셋 재구성후 모델 학습

🥉 코딩 챌린지 3등 (학부 대상)

📚 가짜연구소 스터디

• Vision Transformer 스터디 (2022.09 ~ 2022.12)
  • Tokens-to-Token ViT 발표자료
• Diffusers 번역 (2023.06 ~ 2023.07)
  • diffusers commit
• Text-to-Image Generation 스터디 (2023.08 ~ 2023.12)

📖 교내 학술 동아리 (2022.03 ~ 2023.02)

• 코딩테스트 스터디
• 세미나 (로컬 환경에서 오픈 소스의 딥러닝 모델 작동)

🎶 한이음 프로젝트 (2021.03 ~ 2021.11)

• 독거 노인 혹은 1인 가구를 위한 출입 기록, 안전 감지 서비스
  • ACK 2021 논문 개제
• 스마트 분리수거(플라스틱, 유리, 캔)

자율 주행 데이터 구축 사업

• 데이터 검증