测试指标和原文有出入 about hat

[chxy95]

2倍mod2, 3倍mod3, 4倍mod4

[Zency-Sun]

我刚刚按照您给的方法进行了新的测试，使用Set5数据集测试了HAT_SRx2.pth、HAT_SRx3.pth、HAT_SRx4.pth，结果如下：
2023-03-01 19:09:39,193 INFO: Loading HAT model from ./experiments/pretrained_models/HAT_SRx2.pth, with param key: [params_ema]. 2023-03-01 19:09:39,283 INFO: Model [HATModel] is created. 2023-03-01 19:09:39,283 INFO: Testing Set5... 2023-03-01 19:09:42,956 INFO: Validation Set5 # psnr: 38.6039 Best: 38.6039 @ HAT_SRx2 iter # ssim: 0.9629 Best: 0.9629 @ HAT_SRx2 iter
2023-03-01 19:12:24,515 INFO: Loading HAT model from ./experiments/pretrained_models/HAT_SRx3.pth, with param key: [params_ema]. 2023-03-01 19:12:24,607 INFO: Model [HATModel] is created. 2023-03-01 19:12:24,607 INFO: Testing Set5... 2023-03-01 19:12:26,698 INFO: Validation Set5 # psnr: 35.0567 Best: 35.0567 @ HAT_SRx3 iter # ssim: 0.9328 Best: 0.9328 @ HAT_SRx3 iter
2023-03-01 19:12:56,934 INFO: Loading HAT model from ./experiments/pretrained_models/HAT_SRx4.pth, with param key: [params_ema]. 2023-03-01 19:12:57,023 INFO: Model [HATModel] is created. 2023-03-01 19:12:57,023 INFO: Testing Set5... 2023-03-01 19:12:59,043 INFO: Validation Set5 # psnr: 33.0383 Best: 33.0383 @ HAT_SRx4 iter # ssim: 0.9055 Best: 0.9055 @ HAT_SRx4 iter

• x2的测试结果为PSNR=38.60，SSIM=0.9629，PSNR比论文少0.03，SSIM比论文少0.0001。
• x3的测试结果为PSNR=35.06，SSIM=0.9328，PSNR与论文一致，SSIM比论文少0.0001。
• x4的测试结果为PSNR=33.04，SSIM=0.9055，PSNR与论文一致，SSIM比论文少0.0001。

请问结果有差别可能的原因是什么？测试的结果在可接受的范围之内吗？您认为测试结果在±多少范围内可接受？期待您的回答！

[chxy95]

目前这个测试结果应该可接受的。不过有0.03的差异确实还是挺奇怪的。我这边测试是没问题的，可能数据来源不完全一样，有一些细微差别。你可以先用release的结果验证一下计算函数是不是有区别。

[Zency-Sun]

我同意您的观点，可能是数据来源的问题或是计算函数的问题，但我更认同前者。
我上次测试使用的是RCAN下载的数据集，他们的数据集是使用matlab生成的GTmod2/3/4/8，见该链接
请问您在准备测试集的时候使用的方法和RCAN一致吗？如果方便的话可以分享一下程序吗？
期待您的回复！

[chxy95]

https://github.com/XPixelGroup/BasicSR/blob/master/scripts/matlab_scripts/generate_bicubic_img.m

[Zency-Sun]

感谢您的回复，我使用BasicSR的原图，使用matlab生成GT与Bicubic，分别在Set5、Set14、BSD100、Urban100、Manga109上测试x2x3x4，发现结果均与您的结果一致，再次感谢你们精彩的工作！