<div dir="ltr">Thanks Utkarsh and Ashish for your replies. CC'ing some more people since it may be of interest to them too.<div><br></div><div>Writing pointwise for clarity. </div><div><br></div><div>1. Our pipeline involves TurboVNC, VirtualGL, and ParaView 5.2.0. We have a 4 walled CAVE-like system where each wall is driven by two projectors. We are doing mono and not stereo. The Paraview client connects to the remote HPC servers which have 512 GB of memory and GPUs. The data we have is in PVTU format.</div><div><br></div><div>2. I have ruled out TurboVNC and VirtualGL as the issue since it all works along with them in the pipeline when I don't use the CAVE mode. But can't be 100% certain about that either.</div><div><br></div><div>3. This setup works for small data sets (I have tested for a few million points) but I don't know what's the limit above which this error occurs. I can do some more testing to find out though. </div><div><br></div><div>3. Question: if this is a memory issue, I am assuming memory per CPU issue? Because system wide I have 512 GB and at no point while the data is trying to load I see more than 200 GB consumed. I mean, it could be a spike in memory and ParaView crashes so quickly that I can't see it in /proc/meminfo but I am not sure. </div><div><br></div><div>4. Question: If it is indeed a memory per CPU issue, do you think using more processes can help divide the workload? And on that note, my second question is that is it even possible to use more processes than displays defined in the PVX file? I have read about tiled displays and using tdx and tdy flags but that won't work in a CAVE mode I assume? Currently, I only use 8 processes, each driving one projector. But if there is a way to bump up my processes while providing only 8 displays in the PVX file, please do let me know.</div><div><br></div><div>5. Question: With regards to #4, I was actually trying to do tiled rendering in the sense that for each display in my PVX file (attached), I was defining two geometries (basically half of each). I did load up small data successfully like this and was able to use 16 processes, but ParaView still crashed with memory issues with the big data. </div><div><br></div><div>6. Question: On a related note, when I check the memory inspector while ParaView is connected in a CAVE mode, I see the attached picture (pvserver.png). This seems off since though I request 16 processes in this case, I see every process id twice in the memory inspector and apparently, only the first 8 processors work and the rest 8 don't do anything? </div><div><br></div><div>7. I just tested using my updated pvx file in which I tried tiling the walls and loaded a 100million points PVTU file, and I got different warnings and errors as attached (errors.png). I don't get any errors with a 10 million data points file and everything else same. I think these errors maybe due to  how MPI implements and handles memory? Not sure again.</div><div><br></div><div>Sorry if it is too much information in one email but just trying to figure out if this is indeed a limitation in the current implementation of ParaView in a CAVE mode. And if so, I would have to significantly cut down on my data size to get any results.</div><div><br></div><div>Appreciate all the help! </div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Mar 15, 2017 at 11:06 AM, Aashish Chaudhary <span dir="ltr"><<a href="mailto:aashish.chaudhary@kitware.com" target="_blank">aashish.chaudhary@kitware.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Faiz, <div><br></div><div>Can you remind us about your setup again so that we can see if something can be done to reduce per rank memory requirements? Also, I am assuming the current setup works if the data is small? </div><div><br></div><div><br></div></div><div class="HOEnZb"><div class="h5"><br><div class="gmail_quote"><div dir="ltr">On Wed, Mar 15, 2017 at 10:47 AM Utkarsh Ayachit <<a href="mailto:utkarsh.ayachit@kitware.com" target="_blank">utkarsh.ayachit@kitware.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">You may indeed be running into a limitation of current implementation.<br class="m_-2928490424862943507gmail_msg">
To support fast rendering requirements for CAVE, ParaView duplicates<br class="m_-2928490424862943507gmail_msg">
geometry between all rendering ranks. Seems like you're running out of<br class="m_-2928490424862943507gmail_msg">
memory during that process.<br class="m_-2928490424862943507gmail_msg">
<br class="m_-2928490424862943507gmail_msg">
On Mon, Mar 13, 2017 at 3:10 PM, Faiz Abidi <<a href="mailto:fabidi89@vt.edu" class="m_-2928490424862943507gmail_msg" target="_blank">fabidi89@vt.edu</a>> wrote:<br class="m_-2928490424862943507gmail_msg">
> Hi again community!<br class="m_-2928490424862943507gmail_msg">
><br class="m_-2928490424862943507gmail_msg">
> I have been testing Paraview 5.2.0 in a CAVE mode with pretty big data (1+<br class="m_-2928490424862943507gmail_msg">
> billion points) while remotely connected to some HPC servers.<br class="m_-2928490424862943507gmail_msg">
><br class="m_-2928490424862943507gmail_msg">
> PROBLEM: In CAVE mode, I get the below error when I try to change mode from<br class="m_-2928490424862943507gmail_msg">
> "Outline" to "Points". Same issue while doing other things as well like<br class="m_-2928490424862943507gmail_msg">
> applying a Glyph (Sphere), etc.<br class="m_-2928490424862943507gmail_msg">
><br class="m_-2928490424862943507gmail_msg">
> ERROR: terminate called after throwing an instance of 'std::bad_alloc'<br class="m_-2928490424862943507gmail_msg">
> what():  std::bad_alloc<br class="m_-2928490424862943507gmail_msg">
><br class="m_-2928490424862943507gmail_msg">
> The same issue doesn't occur if I don't use the CAVE mode in that I simple<br class="m_-2928490424862943507gmail_msg">
> connect a Paraview client with the HPC servers and don't pass any pvx file.<br class="m_-2928490424862943507gmail_msg">
><br class="m_-2928490424862943507gmail_msg">
> I read some similar online discussions pointing towards memory issues but<br class="m_-2928490424862943507gmail_msg">
> it's hard for me to believe that given  a) I have hundreds of gigs of memory<br class="m_-2928490424862943507gmail_msg">
> and most of it remains empty even with my big data loaded, b) the issue<br class="m_-2928490424862943507gmail_msg">
> doesn't occur when not in a CAVE mode.<br class="m_-2928490424862943507gmail_msg">
><br class="m_-2928490424862943507gmail_msg">
> Anyone experienced any such similar issues?<br class="m_-2928490424862943507gmail_msg">
><br class="m_-2928490424862943507gmail_msg">
> Thanks for all the help!<br class="m_-2928490424862943507gmail_msg">
> --<br class="m_-2928490424862943507gmail_msg">
> Faiz Abidi | Master's Student at Virginia Tech | <a href="http://www.faizabidi.com" rel="noreferrer" class="m_-2928490424862943507gmail_msg" target="_blank">www.faizabidi.com</a> |<br class="m_-2928490424862943507gmail_msg">
> <a href="tel:(540)%20998-6636" value="+15409986636" class="m_-2928490424862943507gmail_msg" target="_blank">+1-540-998-6636</a><br class="m_-2928490424862943507gmail_msg">
><br class="m_-2928490424862943507gmail_msg">
> ______________________________<wbr>_________________<br class="m_-2928490424862943507gmail_msg">
> Powered by <a href="http://www.kitware.com" rel="noreferrer" class="m_-2928490424862943507gmail_msg" target="_blank">www.kitware.com</a><br class="m_-2928490424862943507gmail_msg">
><br class="m_-2928490424862943507gmail_msg">
> Visit other Kitware open-source projects at<br class="m_-2928490424862943507gmail_msg">
> <a href="http://www.kitware.com/opensource/opensource.html" rel="noreferrer" class="m_-2928490424862943507gmail_msg" target="_blank">http://www.kitware.com/<wbr>opensource/opensource.html</a><br class="m_-2928490424862943507gmail_msg">
><br class="m_-2928490424862943507gmail_msg">
> Please keep messages on-topic and check the ParaView Wiki at:<br class="m_-2928490424862943507gmail_msg">
> <a href="http://paraview.org/Wiki/ParaView" rel="noreferrer" class="m_-2928490424862943507gmail_msg" target="_blank">http://paraview.org/Wiki/<wbr>ParaView</a><br class="m_-2928490424862943507gmail_msg">
><br class="m_-2928490424862943507gmail_msg">
> Search the list archives at: <a href="http://markmail.org/search/?q=ParaView" rel="noreferrer" class="m_-2928490424862943507gmail_msg" target="_blank">http://markmail.org/search/?q=<wbr>ParaView</a><br class="m_-2928490424862943507gmail_msg">
><br class="m_-2928490424862943507gmail_msg">
> Follow this link to subscribe/unsubscribe:<br class="m_-2928490424862943507gmail_msg">
> <a href="http://public.kitware.com/mailman/listinfo/paraview" rel="noreferrer" class="m_-2928490424862943507gmail_msg" target="_blank">http://public.kitware.com/<wbr>mailman/listinfo/paraview</a><br class="m_-2928490424862943507gmail_msg">
><br class="m_-2928490424862943507gmail_msg">
______________________________<wbr>_________________<br class="m_-2928490424862943507gmail_msg">
Powered by <a href="http://www.kitware.com" rel="noreferrer" class="m_-2928490424862943507gmail_msg" target="_blank">www.kitware.com</a><br class="m_-2928490424862943507gmail_msg">
<br class="m_-2928490424862943507gmail_msg">
Visit other Kitware open-source projects at <a href="http://www.kitware.com/opensource/opensource.html" rel="noreferrer" class="m_-2928490424862943507gmail_msg" target="_blank">http://www.kitware.com/<wbr>opensource/opensource.html</a><br class="m_-2928490424862943507gmail_msg">
<br class="m_-2928490424862943507gmail_msg">
Please keep messages on-topic and check the ParaView Wiki at: <a href="http://paraview.org/Wiki/ParaView" rel="noreferrer" class="m_-2928490424862943507gmail_msg" target="_blank">http://paraview.org/Wiki/<wbr>ParaView</a><br class="m_-2928490424862943507gmail_msg">
<br class="m_-2928490424862943507gmail_msg">
Search the list archives at: <a href="http://markmail.org/search/?q=ParaView" rel="noreferrer" class="m_-2928490424862943507gmail_msg" target="_blank">http://markmail.org/search/?q=<wbr>ParaView</a><br class="m_-2928490424862943507gmail_msg">
<br class="m_-2928490424862943507gmail_msg">
Follow this link to subscribe/unsubscribe:<br class="m_-2928490424862943507gmail_msg">
<a href="http://public.kitware.com/mailman/listinfo/paraview" rel="noreferrer" class="m_-2928490424862943507gmail_msg" target="_blank">http://public.kitware.com/<wbr>mailman/listinfo/paraview</a><br class="m_-2928490424862943507gmail_msg">
</blockquote></div>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Faiz Abidi | Master's Student at Virginia Tech | <a href="http://www.faizabidi.com" target="_blank">www.faizabidi.com</a> | <span style="font-size:small">+1-540-998-6636</span></div></div></div></div></div></div></div>
</div>