zhangxiaoya / fb

Multi-frame super-resolution via sub-pixel.

Hi there 👋

Thanks for stopping by, this is Ryan Cheung, an algorithm developer and data scientist based in Beijing, CN.

Language / Frameworks / Tools I've worked with

📈 My GitHub Stats

fb's Issues

报了很多错误

CMakeFiles/FBSR.dir/build.make:62: recipe for target 'CMakeFiles/FBSR.dir/src/LKOFlow/LKOFlow.cpp.o' failed
make[2]: *** [CMakeFiles/FBSR.dir/src/LKOFlow/LKOFlow.cpp.o] Error 1
CMakeFiles/Makefile2:67: recipe for target 'CMakeFiles/FBSR.dir/all' failed
make[1]: *** [CMakeFiles/FBSR.dir/all] Error 2
Makefile:83: recipe for target 'all' failed
make: *** [all] Error 2

Error display output when testing with color images

I tried testing with color image but the output image couldn't display properly. There is problem with color channel (I guess). Could you please advise how to solve it with many thanks.

Compile with opencv4

hi

thanks for the great repo!

Please note that you should make sure you have opencv compiled with the contributory modules, which are now separate from the core opencv code base. So watch out when compiling opencv.

For those interested in compiling this repo with opencv4, you need to change 2 details:

1. in src/SuperResolution/SuperResolutionBase.cpp replace #include <opencv2/contrib/contrib.hpp> by include #include <opencv2/opencv.hpp>

2. In src/SuperResolution/FrameBuffer/FrameBuffer.cpp, replace CV_BGR2GRAY by COLOR_BGR2RGB

That is is, it should compile fine. Hoping this helps someone.

i've got a problem，counldn't find FBSR.lib

关于Z中未定义的像素，如何填充？

您好，有几个问题想请教一下：
1、最终的尺寸为什么是 ([w,h]+1)*srFactor-1, 即增加了srFactor-1个像素
这里[w,h]指的是对齐后经过crop裁减边缘输入给FastRobustSR函数的图像尺寸，在您的实现中，高分辨率网格的左侧以及上侧分别额外填充了(srFactor-1)个0，这是有什么特殊考虑吗？我尝试着去除这些像素，并且相应地修改了UpdateZAndA()中的部分代码，没有发现这个额外的部分有什么作用。

FB/src/SuperResolution/SuperResolutionBase.cpp

Line 245 in f857674

Size newSize((originalWidth + 1) * srFactor - 1, (originalHeight + 1) * srFactor - 1);

2、关于Z中未定义像素，如何填充？
在构建模糊图像Z时，需要将对齐后的LR图像根据其相对于基帧的位移，投射到高分辨率网格中。在这一过程中，如果高分辨率网格中对应位置没有符合所需要的位移的LR图像，就会被以0填充，即使之后会经过中值滤波，但在某些情况下（例如图片数目过少、位移单一），Z中仍然会出现空洞，导致最终结果中产生空洞。
在Fast and Rubust MultiFrame Superresulotion文章中，作者提出对于这种未定义的情况，可以使用插值进行填补，但我不确定应该在迭代前即MedianAndShift()中就填充Z中未定义的像素，还是应在迭代后再替换Z中未定义的像素。

1）我尝试在迭代后再替换Z中未定义的像素。即将得到的结果中不包含左上方黑色填充的区域，覆盖至基帧的Lanczos插值的中心（避免裁减的影响），覆盖时考虑利用markMat作为掩膜，但是效果不佳，空洞并未完全消除。

并且我发现结果中空洞的位置并不与maskMat一致，这可能是由于UpdateZAndA()中的中值滤波去除了部分0值吗？如下面代码所示：

FB/src/SuperResolution/SuperResolutionBase.cpp

Line 88 in f857674

Mat medianFrame(frames[0].rows, frames[0].cols, CV_32FC1);

2）我认为在空洞较少时，直接在最终的结果中使用中值滤波能得到可以接受的结果。

对于这个问题，您有什么建议吗？

3、这段代码中，行列像素的起始位置令我有点困惑，rows start from Y[i] + srFactor - 1 but cols start from X[i] + srFactor - 0。
我认为c的起始位置应为 X[i] + srFactor - 1，以避开左侧的0填充，这是否更为合理？

FB/src/SuperResolution/SuperResolutionBase.cpp

Line 162 in f857674

for (auto r = Y[i] + srFactor - 1; r < rowCount; r += srFactor)

if the project use CUDA

@zhangxiaoya thanks for your great work. I want to if build OpenCV needs CUDA. and you don't open your's dependence, is there only Opencv and opencv_contrib used.