关于bert用于三元组的疑问 about kg-bert

[yao8839836]

@lushishuai

你好，三个句子type_ids: 0 0 0 0 1 1 0 0 0 0 不是BERT自带的，是我根据segment id的定义，以及预训练BERT只有两种segment id的现实设计的。

虽然用于三元组与BERT预训练的上下句有不一致之处，但输入很相似，BERT预训练仍然有助于三个句子间关系的推断，且预训练BERT已被成功应用于文本摘要等多句子任务。例如：

Liu, Y. and Lapata, M., 2019, November. Text Summarization with Pretrained Encoders. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (pp. 3721-3731).

由于是微调预训练BERT，实体词只参与微调，没有被mask。