在使用论文中提出的Fisher-diag方式进行Hessian估计时会提示Trying to backward through the graph a second time about brecq

[ariescts]

另外，文章中提到，对H(z)的估计方式是采用的g(z)^2，但代码实现中是采用的(|g(z)|+1)^2，由于g(z)本身数值很小，所得到的近似矩阵实际与单位阵并无差别，这是否意味着fisher-diag和mse本质上是同一种reconstruction loss?

[blueardour]

阅读代码的时候，可以看到mse还是Fisher-diag是可以配置的。不过好奇使用这两个对精度的影响有多大？ 论文里貌似没这两组的ablation study.

[junhyukso]

I'm also curios about effect of empirical fisher loss. anyone test it ?