WizardCoder-Python-7B模型精度问题 about mergelm

[yule-BUAA]

你好，

我们使用的命令是一致的，运行时不需要设置特定的超参数。

可以确认下是否由下面两个原因引起：

1. 下载的wizardcoder-python-7b模型是否正确？如果按照这个repository的代码复现性能低，可以尝试下通过WizardLM中的说明进行复现，看是否会发生性能上的变化；
2. 检查下使用的vllm版本，我使用的是0.1.4，不确定是否会因为使用不同的版本而影响模型inference的性能。

[llwx593]

我检查了下是否是模型问题或者vllm版本问题，发现似乎并不是这两个问题导致的。然后我对比了下wizardlm官方仓库和您的仓库推理human_eval任务的区别（wizardlm官方仓库似乎只提供了wizardcoder-python-34b的eval脚本)，发现有两点不一样：

1. temperature; wizardlm仓库设置是0.2，mergelm设置的是0.0
2. decoding_style; wizardlm仓库设置是loops=100，mergelm是loops=1

目前我正在测试wizardlm仓库的精度，但我想问下是否可能和上面两个参数相关？

[yule-BUAA]

我在运行时，temperature为0.0保证输出使用确定性的greedy策略，loops设置为1也不影响模型效果。感觉应该也不是两个参数的问题。

请问你有尝试WizardCoder-Python-13B或者WizardCoder-Python-34B吗？他们的性能是否可以复现？

[llwx593]

调整vllm版本为0.1.4，transformer版本为4.33.1后精度正常。感谢。