snunlp / kr-sbert Goto Github PK

해당 모델을 위해 학습된 tokenizer는 따로 불러올 수 없을까요?
padding 처리를 위해 tokenizer를 사용해야 할 것 같은데, pre-trained tokenizer에 관한 내용은 나와있지 않아 문의 드립니다.

tokenizer=BertTokenizer("./KR-SBERT/KR-SBERT-V40K-klueNLI-augSTS/0_Transformer/vocab.txt")

혹시나 해서 이런식으로 불러와봤지만, 제대로 토크나이징을 하지 못하고 있네요

안녕하세요, 최근 SBERT를 git clone 했을 때 pytorch_model.bin파일이 없어 오류(관련 링크)가 나서 문의 드립니다.

22년 2월 경 pytorch_model.bin파일이 삭제된 기록을 보았는데

이유가 무엇인지 궁금합니다.

현재 requirements 에는

We recommend Python 3.6 or higher, scikit-learn v0.23.2 or higher and sentence-transformers v0.4.1 or higher.

으로 설명되어있으나

실제 구동시에는 sentence-transformer v1.1.0 이 아닌 경우 구동이 불가능합니다.
(버전이 낮은경우(0.4.1), 최신버전인 경우에도 불가능)

감사합니다.

시연 환경
python 3.7, torch 1.10, cuda 11.4
OS: ubuntu20.04
GPU: RTX3090