yanwii / chinsesner-pytorch

基于BI-LSTM+CRF的中文命名实体识别 Pytorch

chinsesner-pytorch's Issues

what does the START_TAG and STOP_TAG mean?

请教用batch计算的原因

谢谢你分享的代码，关于原理想请教一些问题：
1.我看了pytorch官方的demo做了一些修改，实际训练过程非常慢。你这里改成batch的形式，lstm用batch的方式，crf层通过for循环累加loss，是为了提高性能，还是为了避免单样本训练不收敛？
2.你这里的loss是通过相加的方式，我初学pytorch，想问一下自动求导机制是会去平均梯度的吗？

self.tag 和self.tag_map是否未合并

data_manager,py line 74
target.append(self.tag_map.get(tag, 0))

而这里的self.tag_map
self.tag_map = {"O":0, "START":1, "STOP":2}

您好，换成自己的数据集之后，是不是还需要用自己的数据集训练出params.pkl文件

您好，换成自己的数据集之后，是不是还需要用自己的数据集训练出params.pkl文件，请问怎么基于自己的数据集训练pkl模型呢

为什么训练和验证集的精确和召回都接近1了呢？

epoch [7] |███████████████████ | 23/30
loss 1.50
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [7] |████████████████████ | 24/30
loss 0.59
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [7] |████████████████████ | 25/30
loss 1.23
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [7] |█████████████████████ | 26/30
loss 1.24
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [7] |██████████████████████ | 27/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [7] |███████████████████████ | 28/30
loss 1.52
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [7] |████████████████████████ | 29/30
loss 0.90
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [7] |█████████████████████████| 30/30
loss 0.95
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] | | 1/30
loss 0.55
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |█ | 2/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |██ | 3/30
loss 0.59
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |███ | 4/30
loss 0.65
eval
ORG recall 0.92 precision 1.00 f1 0.96
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |████ | 5/30
loss 0.87
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |█████ | 6/30
loss 1.21
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |█████ | 7/30
loss 0.70
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |██████ | 8/30
loss 1.84
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |███████ | 9/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |████████ | 10/30
loss 1.86
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |█████████ | 11/30
loss 0.83
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |██████████ | 12/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |██████████ | 13/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |███████████ | 14/30
loss 1.21
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |████████████ | 15/30
loss 0.56
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |█████████████ | 16/30
loss 0.84
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |██████████████ | 17/30
loss 0.86
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |███████████████ | 18/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |███████████████ | 19/30
loss 0.55
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |████████████████ | 20/30
loss 0.86
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |█████████████████ | 21/30
loss 0.59
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |██████████████████ | 22/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |███████████████████ | 23/30
loss 1.45
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |████████████████████ | 24/30
loss 0.56
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |████████████████████ | 25/30
loss 1.21
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |█████████████████████ | 26/30
loss 1.17
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |██████████████████████ | 27/30
loss 0.55
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |███████████████████████ | 28/30
loss 1.49
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |████████████████████████ | 29/30
loss 0.82
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [8] |█████████████████████████| 30/30
loss 0.89
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] | | 1/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |█ | 2/30
loss 0.53
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |██ | 3/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |███ | 4/30
loss 0.56
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |████ | 5/30
loss 0.82
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |█████ | 6/30
loss 1.15
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |█████ | 7/30
loss 0.50
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |██████ | 8/30
loss 1.77
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |███████ | 9/30
loss 0.52
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |████████ | 10/30
loss 1.81
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |█████████ | 11/30
loss 0.80
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |██████████ | 12/30
loss 0.53
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |██████████ | 13/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |███████████ | 14/30
loss 1.15
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |████████████ | 15/30
loss 0.53
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |█████████████ | 16/30
loss 0.81
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |██████████████ | 17/30
loss 0.84
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |███████████████ | 18/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |███████████████ | 19/30
loss 0.52
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

epoch [9] |████████████████ | 20/30
loss 0.86
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00

怎么开始使用这个code，先运行那个py文件

想请问一下可以按照这个格式换成英文数据集进行训练吗

想在conll-2003上面试试看，请问可以按照您的数据格式替换训练即可吗，还是说还需要有别的地方进行改动

DELETED

My account was compromised, as a result many spam issues got created across multiple repos. I am deleting all such issues. Please check my tweet: https://x.com/arghyac35/status/1729721954909684064?s=20

这个是怎么回事啊大佬

一个拼写错误tasg": ["ORG", "PER"]

main.py中有个不太明显的拼写错误“"tasg": ["ORG", "PER"]”应该改为
"tags": ["ORG", "PER"]

请问您的系统环境是多少呢？对于python、pytorch和CUDA

模型训练的疑问

• 感谢作者

• 我这里有个小疑问：
  

  ChinsesNER-pytorch/model.py

  Line 61 in b0af634

  self.hidden = self.init_hidden()

• 在model.py的__get_lstm_features中，如上代码所示，为什么每次调用这个函数，总是要初始化一下hidden？

• 这样模型会不会每次调用都是从随机值开始学习呢？

您好，这个可以更换自己的训练集吗，我想训练一些医学方面的数据

运行完train或者predict没有反应

你好，我这里输入完指令也不报错，但是没有反应，请问怎么办

关于数据处理的问题

想知道 START、STOP 这些 tag 的用途是什么，更换数据集时 model.py 是不是也要做修改

How to add word and character信息到features中？

您好，

我在看了您的代码后 发现您写的特别好，现在想询问下，是否可以加入Word或者Character的信息到输入呢？这样的话features更多更全面一些吧？

谢谢啦！