蒸馏后学生模型乱码 about textbrewer

[airaria]

输出乱码是指？是解码结果完全错误，但还是passage中的一个span吗？还是解码结果完全不是一个原文中的span?

[peixin-lin]

输出乱码是指？是解码结果完全错误，但还是passage中的一个span吗？还是解码结果完全不是一个原文中的span?

一开始是输出了一些无意义的字符，后来调大学习率之后编程重复输出同一个汉字，并且不同的输入会是同样的输出（跟老师模型表现差异很大），请问你们的学习率和epoch是用的什么数值，或者是有其他哪个重要的超参数影响比较大吗

[airaria]

learning rate = 1e-4
epochs = 30
temperature = 8
不使用matches，用BasicDistiller就可以得到正常的结果。

不过不像是超参设置原因，更像是数据前处理或解码不当，你可以检查下数据预处理、模型输出（logits和loss）和adaptor定义

[peixin-lin]

learning rate = 1e-4
epochs = 30
temperature = 8
不使用matches，用BasicDistiller就可以得到正常的结果。

不过不像是超参设置原因，更像是数据前处理或解码不当，你可以检查下数据预处理、模型输出（logits和loss）和adaptor定义=

数据处理和模型解码方式老师模型和学生模型是一致的，老师模型的表现是正常的，是蒸馏后的学生模型才表现异常，adaptor的定义是没问题的。
不知道是不是任务不同的原因，我的任务是一个闲聊对话的生成任务，即输入只有问题然后输出一个回答的形式，跟squad的数据集还是差别比较大，请问你们有做过相关的工作吗？

[airaria]

learning rate = 1e-4
epochs = 30
temperature = 8
不使用matches，用BasicDistiller就可以得到正常的结果。
不过不像是超参设置原因，更像是数据前处理或解码不当，你可以检查下数据预处理、模型输出（logits和loss）和adaptor定义=

数据处理和模型解码方式老师模型和学生模型是一致的，老师模型的表现是正常的，是蒸馏后的学生模型才表现异常，adaptor的定义是没问题的。
不知道是不是任务不同的原因，我的任务是一个闲聊对话的生成任务，即输入只有问题然后输出一个回答的形式，跟squad的数据集还是差别比较大，请问你们有做过相关的工作吗？

抱歉，没有做过相关工作。
会不会和kd_loss的计算方式不对有关系？比如，最近发现TextBrewer无法处理多标签分类任务。
所以我的意思是，有可能原先代码中的kd_loss的计算方式并没有考虑到你们的任务输出格式。
当然你们具体的任务设置的我也不清楚，我也只能做些猜测。

[stale]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.

[stale]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.