<div dir="ltr"><div>Hi Yang,<br>Thanks a lot for sharing the data. I have good news. I could reproduce the bug and I have solutions. First, about your dataset: it's a huge dataset and the hannY requires zero padding in both x and y. Because of this, cufft has to take the 2D FFT of projection subsets that are 4095x2048x16. Quite big!<br></div><div>When I ran it on my cuda 7.0, I immediately got:<br><br>itk::ExceptionObject (0x8b9cb30)<br>Location: "void CUDA_fft_convolution(const int3&, const int2&, float*, cufftComplex*)" <br>File: /home/srit/src/rtk/rtk/code/rtkCudaFFTConvolutionImageFilter.cu<br>Line: 97<br>Description: itk::ERROR: CUFFT ERROR #2<br><br>i.e., a GPU alloc issue, even if I have the largest possible memory on a nvidia desktop computer. Then, I ran it with cuda 6.5 and I got no error message but a result similar to yours.<br></div><div>Conclusions:<br></div><div>- if you add the option --subsetsize 1 to your rtkfdk command line, that should reconstruct correctly<br></div><div>- if you upgrade cuda, you should get an understandable error message,<br></div><div>- I don't think I'm going to look for a solution because the pb is probably in cufft but if someone is willing to, be my guest!<br></div><div>Simon<br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 16, 2015 at 4:47 PM, Yang-Kyun Park <span dir="ltr"><<a href="mailto:theday79@gmail.com" target="_blank">theday79@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Hi Simon,<div><br></div><div>For better understanding, I'm attaching the problematic case including projection files, geometry file(xml) and reconstructed images.(please find the GDrive links. The file size is ~800 MB)</div><div>This is phantom data and there is no patient information in it.</div><div><br></div><div>Regarding the fftw library, I'm using [fftw-3.3.4-dll64].</div><div><br></div><div>By the way, I found another clue. When I've tried it with a head phantom image (full-fan, ~ 190 projections), there was no problem. Is there any possibility that DDF and parker short filter play some roles on this issue?</div><div><br></div><div>Feel free to let me know if further data is needed.</div><div><br></div><div>Thanks!</div><div><br></div><div>Yang</div><div><br></div><div>​<br><div class="gmail_chip gmail_drive_chip" style="width:396px;min-height:18px;max-height:18px;background-color:#f5f5f5;padding:5px;color:#222;font-family:arial;font-style:normal;font-weight:bold;font-size:13px;border:1px solid #ddd;line-height:1"><a href="https://drive.google.com/file/d/0BxuP3mON9V-qbVdQd0luc1lIb2M/view?usp=drive_web" style="display:inline-block;overflow:hidden;text-overflow:ellipsis;white-space:nowrap;text-decoration:none;padding:1px 0px;border:none;width:100%" target="_blank"><img style="vertical-align:bottom;border:none" src="https://ssl.gstatic.com/docs/doclist/images/icon_9_archive_list.png"> <span dir="ltr" style="color:#15c;text-decoration:none;vertical-align:bottom">FFTW_issue.zip</span></a></div>​<br></div></div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 16, 2015 at 10:07 AM, Simon Rit <span dir="ltr"><<a href="mailto:simon.rit@creatis.insa-lyon.fr" target="_blank">simon.rit@creatis.insa-lyon.fr</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div>Hi,<br></div>Thanks. It's really weird... When you run the tests with FFTW (compiling the "test" target), do they fail?<br>Can you provide your geometry file? It might be specific to this geometry.<br></div>Thanks again for looking into this issue, we'll find what's the problem.<br></div>Simon<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 16, 2015 at 3:54 PM, Yang K Park <span dir="ltr"><<a href="mailto:theday79@gmail.com" target="_blank">theday79@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div link="blue" vlink="purple" lang="EN-US"><div><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Hi Simon,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Sorry for the late response.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">As you suggested, I’ve tried rtkramp+CUDA with only one projection and it was successfully done for both w/ FFTW and w/o FFTW.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">(Two results were exactly same.)<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Regarding  the CUDA version, I’m using v6.5.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Thanks a lot for the help!<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d">Yang<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1f497d"><u></u> <u></u></span></p><p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"> <a href="mailto:simon.rit@gmail.com" target="_blank">simon.rit@gmail.com</a> [mailto:<a href="mailto:simon.rit@gmail.com" target="_blank">simon.rit@gmail.com</a>] <b>On Behalf Of </b>Simon Rit<br><b>Sent:</b> Thursday, November 12, 2015 5:59 PM</span></p><div><div><br><b>To:</b> Yang K Park <<a href="mailto:theday79@gmail.com" target="_blank">theday79@gmail.com</a>><br><b>Cc:</b> <a href="mailto:rtk-users@openrtk.org" target="_blank">rtk-users@openrtk.org</a><br><b>Subject:</b> Re: [Rtk-users] rtkfdk doesn't work correctly after a recent update<u></u><u></u></div></div><p></p><div><div><p class="MsoNormal"><u></u> <u></u></p><div><div><div><div><div><p class="MsoNormal">Hi,<u></u><u></u></p></div><p class="MsoNormal">Ok. Can you try rtkramp with only one projection? Then you shouldn't encounter this regions issue (that should be solved one day but that's a different story). <u></u><u></u></p></div><p class="MsoNormal">Can you also indicate which version of CUDA you're using?<u></u><u></u></p></div><p class="MsoNormal">FYI, we use ITK for the FFT of the kernel of the ramp filter and cufft for the FFT of the projections. So if they are not in the same format, you're in trouble and that might be the issue here... The weird part is that I didn't reproduce this problem on linux (with and without FFTW) but it might be a CUDA version difference. I'll give it another try tomorrow when you provide the CUDA version.<u></u><u></u></p></div><p class="MsoNormal">Thanks again for reporting the issue,<br>Simon<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal">On Thu, Nov 12, 2015 at 11:39 PM, Yang K Park <<a href="mailto:theday79@gmail.com" target="_blank">theday79@gmail.com</a>> wrote:<u></u><u></u></p><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in"><div><div><p>Hi Simon,<u></u><u></u></p><p> <u></u><u></u></p><p>Thanks for the advice. The current RTK was compiled with FFTW to use the phase extraction feature from Amsterdam shroud.<u></u><u></u></p><p> <u></u><u></u></p><p>Regarding your suggestions,<u></u><u></u></p><p> <u></u><u></u></p><p style="margin-left:.5in">1)<span style="font-size:7.0pt">      </span>rtkramp w/ or w/o CUDA:<u></u><u></u></p><p>(command line: “ rtkramp --path projPath --regexp .*.his --hardware cuda --output Ramp_wCUDA.mha” )<u></u><u></u></p><p> <u></u><u></u></p><p>Then, I have encountered following error.<u></u><u></u></p><p>“CudaFFTRampImageFilter<..> CudaFFTConvolutionImageFilter assumes that input requested and buffered regions are equal.”<u></u><u></u></p><p> <u></u><u></u></p><p><img src="cid:image001.png@01D12054.683599E0" height="88" width="646" border="0"><u></u><u></u></p><p> <u></u><u></u></p><p>Without CUDA, it was successfully done.<u></u><u></u></p><p> <u></u><u></u></p><p style="margin-left:.5in">2)<span style="font-size:7.0pt">      </span>I’ve re-compiled <u>ITK w/o FFTW</u> and built RTK again. r<u>tkfdk worked fine.</u><u></u><u></u></p><p style="margin-left:.75in">-<span style="font-size:7.0pt">          </span>I’ve also repeated “rtkramp+CUDA” with this rtk version and the error was same as above.<u></u><u></u></p><p style="margin-left:.75in"> <u></u><u></u></p><p>In conclusion, my <u>FFTW seems to affect CUDA-based fdk reconstruction only</u>.<u></u><u></u></p><p>But I do need FFTW for the phase extraction. What should I do?<u></u><u></u></p><p> <u></u><u></u></p><p>Thanks.<u></u><u></u></p><p><span style="color:#888888"> <u></u><u></u></span></p><p><span style="color:#888888">Yang<u></u><u></u></span></p><div><div><p> <u></u><u></u></p><p> <u></u><u></u></p><p>-----Original Message-----<br>From: <a href="mailto:simon.rit@gmail.com" target="_blank">simon.rit@gmail.com</a> [mailto:<a href="mailto:simon.rit@gmail.com" target="_blank">simon.rit@gmail.com</a>] On Behalf Of Simon Rit<br>Sent: Wednesday, November 11, 2015 4:16 PM<br>To: Yang K Park <<a href="mailto:theday79@gmail.com" target="_blank">theday79@gmail.com</a>><br>Cc: <a href="mailto:rtk-users@openrtk.org" target="_blank">rtk-users@openrtk.org</a><br>Subject: Re: [Rtk-users] rtkfdk doesn't work correctly after a recent update<u></u><u></u></p><p> <u></u><u></u></p><p>Hi,<u></u><u></u></p><p>I didn't manage to reproduce the two problems on linux with the same ITK version.<u></u><u></u></p><p>For point 1, did you copy itkMacro.h by hand? Because I don't see how replacing <itkMacro.h> by "itkMacro.h" can help if itkMacro.h is not in the same folder as rtkCudaUtilities.hcu For point 2, no clue. Do you use FFTW? It looks like a ramp filter issue. Can you try rtkramp --path projPath --regexp .*.his, with and without --hardware cuda? Maybe you can provide your geometry file in case it's a specific geometric issue.<u></u><u></u></p><p>Simon<u></u><u></u></p><p> <u></u><u></u></p><p>On Wed, Nov 11, 2015 at 7:50 PM, Yang K Park <<a href="mailto:theday79@gmail.com" target="_blank"><span style="color:windowtext;text-decoration:none">theday79@gmail.com</span></a>> wrote:<u></u><u></u></p><p>> Hi all,<u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> I’ve updated rtk with the up-to-date revision and have encountered a <u></u><u></u></p><p>> couple of problems.<u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> 1.       Compile error: RTK couldn’t find itkMacro.h while it compiled<u></u><u></u></p><p>> rtkCudaUtilities.hcu. It was solved by a minor fetching:<u></u><u></u></p><p>> <u></u><u></u></p><p>> #include <itkMacro.h>   à #include "itkMacro.h" in rtkCudaUtilities.hcu<u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> 2.       Output of rtkfdk with CUDA was not the same as before. It was very<u></u><u></u></p><p>> blurry as seen in the attached image.<u></u><u></u></p><p>> <u></u><u></u></p><p>> a.       With “FDK with CPU” or “SART with CUDA”, there was no problem.<u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> I’m using VS2013 with win7, itk4.8.1.<u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> The command line I used was :<u></u><u></u></p><p>> <u></u><u></u></p><p>> rtkfdk --geometry 1111.xml --path projPath --verbos --regexp .*.his <u></u><u></u></p><p>> --output output.mha --spacing 1,1,1 --dimension 400,200,400 --hardware <u></u><u></u></p><p>> cuda --pad 1 --hann 5 --hannY 5<u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> Does anyone have any idea about this?<u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> Thanks.<u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> Yang<u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> <u></u><u></u></p><p>> _______________________________________________<u></u><u></u></p><p>> Rtk-users mailing list<u></u><u></u></p><p>> <a href="mailto:Rtk-users@public.kitware.com" target="_blank"><span style="color:windowtext;text-decoration:none">Rtk-users@public.kitware.com</span></a><u></u><u></u></p><p>> <a href="http://public.kitware.com/mailman/listinfo/rtk-users" target="_blank"><span style="color:windowtext;text-decoration:none">http://public.kitware.com/mailman/listinfo/rtk-users</span></a><u></u><u></u></p><p>> <u></u><u></u></p></div></div></div></div></blockquote></div><p class="MsoNormal"><u></u> <u></u></p></div></div></div></div></div></blockquote></div><br></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>