Comments (4)
这里是只用到了两个特征,主要是出于在效果等价的情况下节省显存的考虑,因为我们现在用的是一层的transformer嘛,过了transformer之后得到的词的表示我们是不需要的,只需要用字的表示去做标签分类,由于字的长度始终是1,所以ss和ee就足以携带字和词之间的位置关系了。但是对于两层及以上的transformer,ss和ee不足以建模词与词之间的位置关系,这个时候就需要用到4个相对位置特征了
from flat-lattice-transformer.
好的,明白啦,谢谢你的回复~
from flat-lattice-transformer.
后得到的词的表示我们是不需要的,只需要用字的表示去做标签分类,由于字的长度始终是1,所以ss和ee就足以携带字和词之间的位置关系了。但是对于两层及以
为什么“过了transformer之后得到的词的表示我们是不需要的”??? 是因为词的embedding都是从字典中找到训练好的表示吗?
from flat-lattice-transformer.
后得到的词的表示我们是不需要的,只需要用字的表示去做标签分类,由于字的长度始终是1,所以ss和ee就足以携带字和词之间的位置关系了。但是对于两层及以
为什么“过了transformer之后得到的词的表示我们是不需要的”??? 是因为词的embedding都是从字典中找到训练好的表示吗?
我们最终只需要在字token上做序列标注
from flat-lattice-transformer.
Related Issues (20)
- 请问一下大佬,这个模型可以进行多任务学习吗?我看很多论文多任务学习都是基于BiLSTM-CRF模型框架的? HOT 1
- 请问针对自己的数据,如何挖掘得到相应数据的词典数据lexicon? HOT 2
- 请问, V1/flat_main.py 里 datasets['train'].apply 的作用是什么? 为什么不是apply( ) ? HOT 2
- transformer的残差add 貌似错误 HOT 1
- 请问可以分享下词典为lk时,复现结果的参数吗?
- 仿照msar训练自己的数据集出现的问题 HOT 1
- 预训练问题
- 使用自定义数据集,训练过程SpanFPreRecMetric各项指标值均为0该如何解决 HOT 2
- report的实验结果是best result还是average? HOT 2
- 读取vocab文件时编码问题
- 载入数据问题:load_msra_ner_without_dev HOT 3
- 官方提供的数据集是不是不全呀? HOT 3
- flat_main.py为什么把测试集直接赋值给了验证集了呢 HOT 1
- 请问该模型能用于生产嘛?感觉模型太大,无法部署
- `LSTM_SeqLabel_True( )`从头到尾没见定义过,咋用?????????????
- 请问参数pos_norm的含义是什么呀?
- 在自己的数据上出现错误
- 吐了
- FileNotFoundError: [Errno 2] No such file or directory: HOT 4
- 数据集提问 HOT 1
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from flat-lattice-transformer.