<div dir="ltr">Thanks for clarification, Andy. The Catalyst user guide gives the impression that it is also designed for live visualization of huge parallel data, which is kind of misleading if all data are sent via a single TCP connection between simulation and render server. I'd suggest you point this out in the user guide, could have saved us lots of headaches searching for the bottleneck.<div>Kolja<br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Oct 30, 2017 at 5:21 PM, Andy Bauer <span dir="ltr"><<a href="mailto:andy.bauer@kitware.com" target="_blank">andy.bauer@kitware.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Currently Catalyst sends its data to pvserver through sockets which will not likely not utilize an HPC's fast interconnect. We hope to address this in the future using ADIOS but I don't have a timetable on when that will be done.</div><div class="HOEnZb"><div class="h5"><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Oct 28, 2017 at 12:57 PM, Kolja Petersen <span dir="ltr"><<a href="mailto:petersenkolja@gmail.com" target="_blank">petersenkolja@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Oct 28, 2017 at 5:07 PM, Andy Bauer <span dir="ltr"><<a href="mailto:andy.bauer@kitware.com" target="_blank">andy.bauer@kitware.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">FYI: pvserver will likely be run in a separate MPI job if you're doing a Live connection.<br></div></blockquote><div><br></div><div>Yes, so the pvserver MPI job will have one MPI_COMM_WORLD, and the Catalyst enabled simulation will have a different MPI_COMM_WORLD.</div><div><br></div><div>The question is how does Catalyst send its data to the other communicator? Afaik, their is no connection between the two unless the second communicator is spawned from the first by MPI_Comm_spawn().</div><div>Kolja</div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"></div><div class="m_855867828153281922m_7252639088068342803HOEnZb"><div class="m_855867828153281922m_7252639088068342803h5"><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Oct 28, 2017 at 11:05 AM, Andy Bauer <span dir="ltr"><<a href="mailto:andy.bauer@kitware.com" target="_blank">andy.bauer@kitware.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div>Hi,<br><br></div>Catalyst by default uses MPI_COMM_WORLD of the existing MPI library that the simulation code is linked with. You can use another MPI communicator as well. An example of that is in the Examples/Catalyst/MPISubCommun<wbr>icatorExample source directory.<br><br></div>Best,<br></div>Andy<br></div><div class="gmail_extra"><br><div class="gmail_quote"><div><div class="m_855867828153281922m_7252639088068342803m_8074193057277525636h5">On Sat, Oct 28, 2017 at 7:50 AM, Kolja Petersen <span dir="ltr"><<a href="mailto:petersenkolja@gmail.com" target="_blank">petersenkolja@gmail.com</a>></span> wrote:<br></div></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div class="m_855867828153281922m_7252639088068342803m_8074193057277525636h5"><div dir="ltr">Hello,<br>I am trying to understand a Catalyst implementation detail.<br><br>Because parallel Catalyst may transfer huge data to a parallel pvserver, I thought the Catalyst processes would have themselves added to the pvserver's MPI communicator. However, MPI_Comm_spawn() is the only function that I know of for this task, and I find "MPI_Comm_spawn" nowhere in the code (searched case insensitive).<br><br>I thought that the standard Catalyst TCP port 22222 was only used for control messages between Catalyst and pvserver, and data exchange would go via MPI. But apparently there is no MPI connection between Catalyst and pvserver, and all data are sent via TCP:22222, which could explain observed network bottlenecks.<br><br>Can somebody clarify this implementation detail?<br>Thanks<span class="m_855867828153281922m_7252639088068342803m_8074193057277525636m_-3131324059908449437HOEnZb"><font color="#888888"><br>Kolja<br></font></span></div>
<br></div></div>______________________________<wbr>_________________<br>
Powered by <a href="http://www.kitware.com" rel="noreferrer" target="_blank">www.kitware.com</a><br>
<br>
Visit other Kitware open-source projects at <a href="http://www.kitware.com/opensource/opensource.html" rel="noreferrer" target="_blank">http://www.kitware.com/opensou<wbr>rce/opensource.html</a><br>
<br>
Please keep messages on-topic and check the ParaView Wiki at: <a href="http://paraview.org/Wiki/ParaView" rel="noreferrer" target="_blank">http://paraview.org/Wiki/ParaV<wbr>iew</a><br>
<br>
Search the list archives at: <a href="http://markmail.org/search/?q=ParaView" rel="noreferrer" target="_blank">http://markmail.org/search/?q=<wbr>ParaView</a><br>
<br>
Follow this link to subscribe/unsubscribe:<br>
<a href="http://public.kitware.com/mailman/listinfo/paraview" rel="noreferrer" target="_blank">http://public.kitware.com/mail<wbr>man/listinfo/paraview</a><br>
<br></blockquote></div><br></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div></div>
</blockquote></div><br></div>
</div></div></blockquote></div><br></div>