请教下作者xu-song， case里面中文句子打分，用的是分词后的模型，还是单字的模型呢。 about bert-as-language-model

[xu-song]

1. case里的中文句子打分，用的是单字模型。当然也可以先分词，然后用whole word mask的方式预测概率。

另外看到一些评论说， bert不能作为语言模型对句子合理性打分，记得是bert 官方的回复， 您怎么理解。

是，bert对句子打分不严谨。test.zh.md中在缺陷里也提到了，这里对句子打分是简单的近似，并不符合基于markov的联合概率分布。有一定的参考意义，但不能作为严格意义上的ppl。

BERT is not able to model the joint probability using the product rule as in autoregressive models