kcmi113 / genie_crawler

⚙️ Enviroment setting

cd genie_crawler
conda init
(base) . ~/.bashrc
(base) conda create -n crawling python=3.10 -y
(base) conda activate crawling
(crawling) pip install -r requirements.txt

🔨 How to set pre-commit config

pip install pre-commit
# Used in case of locale related errors
# apt install locales locales-all 
pre-commit install

💡 How to run

python main.py

genie_crawler's Issues

[BUG] list index out of range : Error is occured at id {id_number}

Background

-플레이리스트는 존재하지만 그 안에 속한 노래나 정보는 없어 크롤러가 중간에 멈추는 현상이 발생합니다.

To Do

• error가 발생하는 index 저장
• error가 발생해도 다음 index로 넘어갈 수 있도록 변경

[CHORE] 프로젝트 초기 환경 설정

Background

• 프로젝트를 위한 초기 환경을 설정합니다.

To Do

• Issue templates
• PR template
• pre-commit
• requirements
• 레포 생성 이전에 작성한 코드 업로드

[FEAT] 앨범 상세 정보 크롤링 구현

Background

• 앨범 발매일, 앨범 이미지를 수집합니다.

[FEAT] 음악 상세 정보 크롤링 로그 추가

Background

• 음악 상세 정보를 실제로 크롤링에 사용하기 위해 로그를 추가합니다.

[FEAT] 발매일 크롤링 속도 최적화

Background

• 속도 최적화
• 셀레니움 → requests 끗.

[BUG] 앨범 이미지 재수집 코드 추가

Background

• 플레이리스트에 수록된 곡을 수집하는 단계에서 앨범 이미지가 누락된 경우가 있었습니다
• 앨범 이미지가 누락된 곡에 대해서만 앨범 이미지를 다시 수집할 필요가 있어보입니다.

To Do

• 앨범 이미지가 정상적으로 수집되지 않은 경우에 대해 이미지를 다시 수집하는 코드 추가

[DOCS+CHORE] Add Chrome and Chrome driver instruction

Background

• 본 코드에는 크롬과 드라이버에 대한 설치방법이 적혀있지 않아 추가하고자 합니다.

To Do

• 크롬과 드라이버 설치 방법 README에 추가
• no-gui 환경에서 돌아갈 수 있게 sandbox 제거 옵션 추가

[FEAT] CSV 파일 생성 기능 추가

Background

• 프로젝트를 위해 크롤링한 데이터를 csv 형태로 저장하는 코드를 추가해야 합니다.

To Do

• playlist csv 생성
• playlist-song interaction csv 생성
• song csv 생성

[FEAT] 음악 상세 정보 크롤링 좋아요 추가

Background

• 음악 상세 정보 크롤링에 누락된 좋아요를 추가합니다.
• 셀레니움 대신 request를 써서 1인 무쌍을 가능하게 합니다.

[FEAT] 음악 상세 정보 크롤링 구현

Background

• 음악 상세 정보 크롤링을 구현합니다.
• 필요시 더 많은 이슈를 생성하겠습니다.

See Also

• Jira Issue