coranholmes / pt_chatbot

A pytorch implemented chatbot which supports Chinese 中文聊天机器人

蒙获嘉瑞，赐兹祉福。

Hi, I am Weiling.

• 🔭 I’m currently working on Large Language Model.
• 🌱 I’m interested in multimodal learning.
• 📫 How to reach me: LinkedIn

pt_chatbot's Issues

gensim_fasttext.mod文件如何生成

gensim_fasttext.mod如何生成的呢？
我现在正在用小黄鸡的语料进行测试，请问gensim_fasttext.mod是什么文件？自己训练的吗
哪里有相关的训练代码或者训练好的模型的下载地址？

使用pytorch1.4.0会跳出警告

pt_chatbot/model.py

Line 213 in b6e7416

mask = torch.ByteTensor(mask)

使用pytorch 1.4.0会跳出
Warning: masked_scatter_ received a mask with dtype torch.uint8, this behavior is now deprecated,please use a mask with dtype torch.bool instead. (masked_scatter__cuda at ..\aten\src\ATen\native\cuda\LegacyDefinitions.cpp:57)
修改成这样就可解决
mask = torch.ByteTensor(mask).bool()

构建Voc的时候直接把句子当word ？

Voc类（model.py中）的addSentence函数没有使用分词工具对传入的句子进行分词，
只用了split(' ')，请问您的语料是分好词的吗？这里似乎直接把一个句子当成一个word了？
还是我哪里梳理错了。

def addSentence(self, sentence):
    for word in sentence.split(' '):  # 这里的sentence就是一个句子，大部分句子中间应该没有空格吧
        self.addWord(word)

def addWord(self, word):
    if word not in self.word2index:
        self.word2index[word] = self.num_words
        self.word2count[word] = 1
        self.index2word[self.num_words] = word
        self.num_words += 1
    else:
        self.word2count[word] += 1