VRAM burst in 1.1.5 about waifu2x-caffe

[lltcggie]

ver 1.1.6で直ったと思います。 lltcggie/caffe@3132bce
試してみてください。

[chungexcy]

In 1.16 ver., this bug is still there.
When crop_size = 720 or 540 or even smaller 240, the VRAM is fully used (4GB) in benchmark and then drops back to the normal level.
But when crop_size = 576, this number seems trigger the bug.

I test cudnnFindConvolutionForwardAlgorithm() on ubuntu caffe. I didn't see a huge VRAM burst and past crop-size=1024.

[lltcggie]

強制終了は起こりましたか？
ver 1.1.6ではVRAMの最大容量を超えないように実装を変更しました。
なので、一時的にギリギリまでVRAMが使われるのは仕様です。

[chungexcy]

Yes, force stop happened. in 1.1.6. Same error reason in the log file.
I think forced stop caused by the exceeding the maximum VRAM is not the fundamental reason. Is it possible to figure out why benchmark might use extra VRAM sometimes?

[lltcggie]

なるほど、まだ強制終了が発生するんですね。
cudnnFindConvolutionForwardAlgorithmEx()を使用することで、cuDNN内で使われるVRAMの量を完全に制御したつもりだったんですけどね...
今はフリーのVRAMの最大9割をワークスペース用に確保するようにしているので、最低限200MBは残すようにしてみます。

[lltcggie]

なるほど、まだ強制終了が発生するんですね。
cudnnFindConvolutionForwardAlgorithmEx()を使用することで、cuDNN内で使われるVRAMの量を完全に制御したつもりだったんですけどね...
今はフリーのVRAMの最大9割をワークスペース用に確保するようにしているので、最低限200MBは残すようにしてみます。