yanwii / chinsesner-pytorch Goto Github PK
View Code? Open in Web Editor NEW基于BI-LSTM+CRF的中文命名实体识别 Pytorch
chinsesner-pytorch's Issues
您好，换成自己的数据集之后，是不是还需要用自己的数据集训练出params.pkl文件
您好，换成自己的数据集之后，是不是还需要用自己的数据集训练出params.pkl文件，请问怎么基于自己的数据集训练pkl模型呢
DELETED
My account was compromised, as a result many spam issues got created across multiple repos. I am deleting all such issues. Please check my tweet: https://x.com/arghyac35/status/1729721954909684064?s=20
想请问一下可以按照这个格式换成英文数据集进行训练吗
想在conll-2003上面试试看，请问可以按照您的数据格式替换训练即可吗，还是说还需要有别的地方进行改动
关于数据处理的问题
想知道 START、STOP 这些 tag 的用途是什么，更换数据集时 model.py 是不是也要做修改
模型训练的疑问
-
感谢作者
-
我这里有个小疑问：
Line 61 in b0af634
-
在
model.py的__get_lstm_features中，如上代码所示，为什么每次调用这个函数，总是要初始化一下hidden？ -
这样模型会不会每次调用都是从随机值开始学习呢？
运行完train或者predict没有反应
你好，我这里输入完指令也不报错，但是没有反应，请问怎么办
How to add word and character信息到features中？
您好，
我在看了您的代码后 发现您写的特别好，现在想询问下，是否可以加入Word或者Character的信息到输入呢？这样的话features更多更全面一些吧？
谢谢啦！
what does the START_TAG and STOP_TAG mean?
为什么训练和验证集的精确和召回都接近1了呢？
epoch [7] |███████████████████ | 23/30
loss 1.50
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [7] |████████████████████ | 24/30
loss 0.59
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [7] |████████████████████ | 25/30
loss 1.23
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [7] |█████████████████████ | 26/30
loss 1.24
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [7] |██████████████████████ | 27/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [7] |███████████████████████ | 28/30
loss 1.52
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [7] |████████████████████████ | 29/30
loss 0.90
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [7] |█████████████████████████| 30/30
loss 0.95
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] | | 1/30
loss 0.55
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█ | 2/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |██ | 3/30
loss 0.59
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |███ | 4/30
loss 0.65
eval
ORG recall 0.92 precision 1.00 f1 0.96
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |████ | 5/30
loss 0.87
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█████ | 6/30
loss 1.21
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█████ | 7/30
loss 0.70
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |██████ | 8/30
loss 1.84
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |███████ | 9/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |████████ | 10/30
loss 1.86
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█████████ | 11/30
loss 0.83
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |██████████ | 12/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |██████████ | 13/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |███████████ | 14/30
loss 1.21
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |████████████ | 15/30
loss 0.56
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█████████████ | 16/30
loss 0.84
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |██████████████ | 17/30
loss 0.86
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |███████████████ | 18/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |███████████████ | 19/30
loss 0.55
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |████████████████ | 20/30
loss 0.86
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█████████████████ | 21/30
loss 0.59
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |██████████████████ | 22/30
loss 0.57
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |███████████████████ | 23/30
loss 1.45
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |████████████████████ | 24/30
loss 0.56
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |████████████████████ | 25/30
loss 1.21
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█████████████████████ | 26/30
loss 1.17
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |██████████████████████ | 27/30
loss 0.55
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |███████████████████████ | 28/30
loss 1.49
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |████████████████████████ | 29/30
loss 0.82
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [8] |█████████████████████████| 30/30
loss 0.89
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] | | 1/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |█ | 2/30
loss 0.53
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |██ | 3/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |███ | 4/30
loss 0.56
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |████ | 5/30
loss 0.82
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |█████ | 6/30
loss 1.15
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |█████ | 7/30
loss 0.50
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |██████ | 8/30
loss 1.77
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |███████ | 9/30
loss 0.52
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |████████ | 10/30
loss 1.81
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |█████████ | 11/30
loss 0.80
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |██████████ | 12/30
loss 0.53
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |██████████ | 13/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |███████████ | 14/30
loss 1.15
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |████████████ | 15/30
loss 0.53
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |█████████████ | 16/30
loss 0.81
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |██████████████ | 17/30
loss 0.84
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |███████████████ | 18/30
loss 0.54
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |███████████████ | 19/30
loss 0.52
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
epoch [9] |████████████████ | 20/30
loss 0.86
eval
ORG recall 1.00 precision 1.00 f1 1.00
PER recall 1.00 precision 1.00 f1 1.00
请问您的系统环境是多少呢？对于python、pytorch和CUDA
您好，这个可以更换自己的训练集吗，我想训练一些医学方面的数据
这个是怎么回事啊大佬
请教用batch计算的原因
谢谢你分享的代码，关于原理想请教一些问题：
1.我看了pytorch官方的demo做了一些修改，实际训练过程非常慢。你这里改成batch的形式，lstm用batch的方式，crf层通过for循环累加loss，是为了提高性能，还是为了避免单样本训练不收敛？
2.你这里的loss是通过相加的方式，我初学pytorch，想问一下自动求导机制是会去平均梯度的吗？
怎么开始使用这个code，先运行那个py文件
一个拼写错误tasg": ["ORG", "PER"]
main.py中有个不太明显的拼写错误“"tasg": ["ORG", "PER"]”应该改为
"tags": ["ORG", "PER"]
self.tag 和self.tag_map是否未合并
data_manager,py line 74
target.append(self.tag_map.get(tag, 0))
而这里的self.tag_map
self.tag_map = {"O":0, "START":1, "STOP":2}
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.