lawsonabs / flat-ner

code for ACL2020:《FLAT: Chinese NER Using Flat-Lattice Transformer》 我注释&修改&添加了部分源码，使得大家更容易复现这个代码。

English 中文

Flat-Lattice-Transformer

code for ACL 2020 paper: FLAT: Chinese NER Using Flat-Lattice Transformer.

Models and results can be found at our ACL 2020 paper FLAT: Chinese NER Using Flat-Lattice Transformer.

Requirement:

Python: 3.7.3
PyTorch: 1.2.0
FastNLP: 0.5.0
Numpy: 1.16.4

you can go here to know more about FastNLP.

How to run the code?

1. Download the character embeddings and word embeddings.

   Character and Bigram embeddings (gigaword_chn.all.a2b.{'uni' or 'bi'}.ite50.vec) : Google Drive or Baidu Pan

   Word(Lattice) embeddings:

   yj, (ctb.50d.vec) : Google Drive or Baidu Pan

   ls, (sgns.merge.word.bz2) : Baidu Pan

2. Modify the paths.py to add the pretrained embedding and the dataset

3. Run following commands

python preprocess.py (add '--clip_msra' if you need to train FLAT on MSRA NER dataset)
cd V0 (without Bert) / V1 (with Bert)
python flat_main.py --dataset <dataset_name> (ontonotes, msra, weibo or resume)

If you want to record experiment result, you can use fitlog:

pip install fitlog
fitlog init V0
cd V0
fitlog log logs

then set use_fitlog = True in flat_main.py.

you can go here to know more about Fitlog.

Cite:

bibtex

---

运行环境:

Python: 3.7.3
PyTorch: 1.2.0
FastNLP: 0.5.0
Numpy: 1.16.4

你可以在 这里 深入了解 FastNLP 这个库.

如何运行？

1. 请下载预训练的embedding

   从Google Drive 或 Baidu Pan 下载字和 Bigram 的 embedding (gigaword_chn.all.a2b.{'uni' or 'bi'}.ite50.vec)

   从Google Drive 或 Baidu Pan 下载词的 embedding (ctb.50d.vec)(yj)

   从Baidu Pan 下载词的embedding (sgns.merge.bigram.bz2)(ls)

2. 修改 paths.py 来添加预训练的 embedding 和你的数据集

3. 运行下面的代码

python preprocess.py (add '--clip_msra' if you need to train FLAT on MSRA NER dataset)
cd V0 (without Bert) / V1 (with Bert)
python flat_main.py --dataset <dataset_name> (ontonotes, msra, weibo or resume)

如果你想方便地记录和观察实验结果, 你可以使用fitlog:

pip install fitlog
fitlog init V0
cd V0
fitlog log logs

然后把flat_main.py里的 use_fitlog 设置为 True 就行 你可以在 这里 深入了解 Fitlog 这个工具

引用:

bibtex

flat-ner's Issues

Unresolved reference 'LSTM_SeqLabel_True'

这个怎么解决呀

数据集的格式

请问一下数据集需要什么格式的，BIO标注还是BMES

未标记文本预测

你好，请问如何使用fastNLP在实体抽取中对未标记的文本进行预测？

V1 训练过程中,metric 突然大幅度下降,loss 大幅度升高

我在训练V1的版本时,20 epoch时准确率 95,但是 21 epoch时,准确率突然变成0,并且loss大幅度增加,请问是什么原因造成的呢.
我是在google colab上训练的.

Step:15300 {"metric": {"data_test": {"SpanFPreRecMetric": {"f": 0.940422, "pre": 0.936701, "rec": 0.944172}, "label_acc": {"acc": 0.954106}}}, "step": 15300, "epoch": 20} Step:16065 {"metric": {"SpanFPreRecMetric": {"f": 0.0, "pre": 0.0, "rec": 0.0}, "label_acc": {"acc": 0.263499}}, "step": 16065, "epoch": 21} Step:16065 {"metric": {"data_test": {"SpanFPreRecMetric": {"f": 0.0, "pre": 0.0, "rec": 0.0}, "label_acc": {"acc": 0.289205}}}, "step": 16065, "epoch": 21}

test结果

你好，最近在用这个代码，想请教一下如何得到test结果对应的标签呢

预测结果输出

我想使用fastNLP.core.predictor函数输出预测结果，但输出的value值为类似这种格式：{'pred': [array([[10, 14, 11, 2, 2, 2]])]}，没有找到能直接输出文本结果的方法，请问作者有没有比较好的方法？

OntoNotes数据集

您好， OntoNotes数据集有下到吗，能发我一份吗？

数据集请求

请问下能提供下数据集么？不是很清除里面的变化诶。。。