<div dir="ltr">Thanks Dave. Haven' t looked at your email in detail (will do in a moment) but another thought would be some sort of limit we are hitting on the indices (MAX_INT or MAX_<TYPE>) being used when dealing with very large dataset such as yours. <div><br></div><div>Would it be possible for you to try OpenGL2 backend? </div><div><br></div><div>- Aashish</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Sep 10, 2015 at 10:55 AM, David Trudgian <span dir="ltr"><<a href="mailto:david.trudgian@utsouthwestern.edu" target="_blank">david.trudgian@utsouthwestern.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Berk (and others), thanks for your replies!<br>
<span class=""><br>
> This is pretty awesome. I am assuming that this has something to do with<br>
> things not fitting on the GPU memory or exceeding some texture memory<br>
> limitation. Can you provide some more details?<br>
<br>
</span>Sure - thanks for your help.<br>
<span class=""><br>
> * Which version of ParaView are you using?<br>
<br>
</span>This is with Paraview 4.3.1<br>
<span class=""><br>
> * It sounds like you have multiple GPUs and multiple nodes. What is the<br>
> setup? Are you running in parallel with MPI?<br>
<br>
</span>Have tried in two ways, both are using MPI (OpenMPI/1.8.3 on an InfiniBand FDR<br>
network):<br>
<br>
Setup 1) Paraview 4.3.1 pvserver is running with MPI across multiple cluster<br>
nodes, each with a Tesla K20 GPU. Only up to 4 nodes total, each one has a<br>
single Tesla K20. Have used various numbers of MPI tasks. The machines are 16<br>
physical cores, with hyper-threading on for 32 logical cores. 256GB RAM and the<br>
Tesla K20 has 5GB.<br>
<br>
... when this didn't work we did suspect out of GPU memory. Since we have a<br>
limited number of GPU nodes then decided to try the CPU approach...<br>
<br>
Setup 2) Paraview 4.3.1 rebuilt with OSMESA support, to run pvserver on a larger<br>
number of cluster nodes without any GPUs. These are 16 or 24 core machines with<br>
128/256/384GB RAM. Tried various numbers of nodes (up to 16) and<br>
MPI tasks per node, allowing for OSMESA threading per the docs/graphs on the<br>
Paraview wiki page.<br>
<br>
Watching the pvserver processes when running across 16 nodes I wasn't seeing<br>
more than ~2GB RAM usage per process. Across 16 nodes I ran with 8 tasks per<br>
node, so at 2GB each this is well under the minimum of 128GB RAM per node.<br>
<span class=""><br>
> * If you are running parallel with MPI and you have multiple GPUs per node,<br>
> did you setup the DISPLAYs to leverage the GPUs?<br>
<br>
</span>As above, only 1 GPU per node, or 0 when switched to the OSMESA approach to try<br>
with across more nodes.<br>
<br>
As mentioned before, we can view a smaller version of the data without issue on<br>
both GPU and OSMESA setups. I just opened a 4GB version (approx 25% of full size)<br>
using the OSMESA setup on a single node (8 MPI tasks) without issue. The<br>
responsiveness is really great - but the 16GB file is a no-go even scaling up<br>
across 16 nodes. The VTI itself seems fine, as slices and surface look as<br>
expected.<br>
<br>
Thanks again for any and all suggestions!<br>
<br>
DT<br>
<div class="HOEnZb"><div class="h5"><br>
> On Wed, Sep 9, 2015 at 5:00 PM, David Trudgian <<br>
> <a href="mailto:david.trudgian@utsouthwestern.edu">david.trudgian@utsouthwestern.edu</a>> wrote:<br>
><br>
> > Hi,<br>
> ><br>
> > We have been experimenting with using Paraview to display very volumes<br>
> > from very<br>
> > large TIFF stacks generated by whole-brain microscopy equipment. The test<br>
> > stack<br>
> > has dimensions of 5,368x10,695x150. Stack is assembled in ImageJ from<br>
> > individual<br>
> > TIFFs, exported as a RAW and loaded into paraview. Saved as a .vti for<br>
> > convenience. Can view slices fine in standalone paraview client on a 256GB<br>
> > machine.<br>
> ><br>
> > When we attempt volume rendering on this data across multiple nodes with<br>
> > MPI<br>
> > nothing appears in the client. Surface view works as expected. On<br>
> > switching to<br>
> > volume rendering the client's display will show nothing. There are no<br>
> > messages<br>
> > from the client or servers - no output.<br>
> ><br>
> > This is happening when running pvserver across GPU nodes with NVIDIA Tesla<br>
> > cards, or using CPU only with OSMESA. pvserver memory usage is well below<br>
> > what<br>
> > we have on the nodes - no memory warnings/errors.<br>
> ><br>
> > Data is about 17GB, 8 billion cells. If we downsize to ~4GB or ~9GB then<br>
> > we can<br>
> > get working volume rendering. The 17GB never works regardless of scaling<br>
> > nodes/mpi processes. The 4/9GB will work on 1 or 2 nodes.<br>
> ><br>
> > Am confused by the lack of rendering, as we don't have memory issues, or an<br>
> > other messages at all. Am wondering if there are any inherent limitation,<br>
> > or I'm<br>
> > missing something stupid.<br>
> ><br>
> > Thanks,<br>
> ><br>
> > Dave Trudgian<br>
> ><br>
> ><br>
> > _______________________________________________<br>
> > Powered by <a href="http://www.kitware.com" rel="noreferrer" target="_blank">www.kitware.com</a><br>
> ><br>
> > Visit other Kitware open-source projects at<br>
> > <a href="http://www.kitware.com/opensource/opensource.html" rel="noreferrer" target="_blank">http://www.kitware.com/opensource/opensource.html</a><br>
> ><br>
> > Please keep messages on-topic and check the ParaView Wiki at:<br>
> > <a href="http://paraview.org/Wiki/ParaView" rel="noreferrer" target="_blank">http://paraview.org/Wiki/ParaView</a><br>
> ><br>
> > Search the list archives at: <a href="http://markmail.org/search/?q=ParaView" rel="noreferrer" target="_blank">http://markmail.org/search/?q=ParaView</a><br>
> ><br>
> > Follow this link to subscribe/unsubscribe:<br>
> > <a href="http://public.kitware.com/mailman/listinfo/paraview" rel="noreferrer" target="_blank">http://public.kitware.com/mailman/listinfo/paraview</a><br>
> ><br>
<br>
</div></div><span class="HOEnZb"><font color="#888888">--<br>
David Trudgian Ph.D.<br>
Computational Scientist, BioHPC<br>
UT Southwestern Medical Center<br>
Dallas, TX 75390-9039<br>
Tel: <a href="tel:%28214%29%20648-4833" value="+12146484833">(214) 648-4833</a><br>
</font></span><div class="HOEnZb"><div class="h5"><br>
<br>
_______________________________________________<br>
Powered by <a href="http://www.kitware.com" rel="noreferrer" target="_blank">www.kitware.com</a><br>
<br>
Visit other Kitware open-source projects at <a href="http://www.kitware.com/opensource/opensource.html" rel="noreferrer" target="_blank">http://www.kitware.com/opensource/opensource.html</a><br>
<br>
Please keep messages on-topic and check the ParaView Wiki at: <a href="http://paraview.org/Wiki/ParaView" rel="noreferrer" target="_blank">http://paraview.org/Wiki/ParaView</a><br>
<br>
Search the list archives at: <a href="http://markmail.org/search/?q=ParaView" rel="noreferrer" target="_blank">http://markmail.org/search/?q=ParaView</a><br>
<br>
Follow this link to subscribe/unsubscribe:<br>
<a href="http://public.kitware.com/mailman/listinfo/paraview" rel="noreferrer" target="_blank">http://public.kitware.com/mailman/listinfo/paraview</a><br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature"><div dir="ltr"><font face="trebuchet ms, sans-serif"><i>| Aashish Chaudhary <br>| Technical Leader         <br>| Kitware Inc.            <br></i></font><div><i><font face="trebuchet ms, sans-serif">| </font><a href="http://www.kitware.com/company/team/chaudhary.html" target="_blank">http://www.kitware.com/company/team/chaudhary.html</a></i></div></div></div>
</div>