<div dir="ltr">It may be possible to do this with Catalyst. I would guess that nearly all of the complex work would need to be done in the adaptor to integrate this properly though.<br></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, May 18, 2016 at 11:17 AM,  <span dir="ltr"><<a href="mailto:u.utku.turuncoglu@be.itu.edu.tr" target="_blank">u.utku.turuncoglu@be.itu.edu.tr</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Yes, you are right. In this case, there will be two separate<br>
MPI_COMM_WORLD. Plus, one that covers all the resources (let's say that<br>
global MPI_COMM_WORLD). Actually, this kind of setup is very common for<br>
multi-physics applications such as fluid-structure interaction. So, is it<br>
possible to tight this kind of environment with Catalyst? I am not expert<br>
about Catalyst but it seems that there might be a problem in the rendering<br>
stage even underlying grids and fields are defined without any problem.<br>
<br>
Regards,<br>
<br>
--ufuk<br>
<div><div class="h5"><br>
> I'm not sure if this is exactly what the original user is referring to,<br>
> but it is possible to have two separate codes communicate using MPI<br>
> through the dynamic processes in MPI-2. Essentially, one program starts up<br>
> on N processors and begins running and gets an MPI_COMM_WORLD. It then<br>
> spawns another executable on M different processors and that new<br>
> executable will call MPI_INIT and also get its own MPI_COMM_WORLD. So you<br>
> have two, disjoint MPI_COMM_WORLD's that get linked together through a<br>
> newly created intercommunicator.<br>
><br>
><br>
> I've used this to couple a structural mechanics code to our fluid dynamics<br>
> solver for example. It sounds like that is similar to what is being done<br>
> here.<br>
><br>
><br>
> How that would interact with coprocessing is beyond my knowledge though.<br>
> It does sound like an interesting problem and one I would be very curious<br>
> to find out the details.<br>
><br>
><br>
> Tim<br>
><br>
><br>
> ________________________________<br>
> From: ParaView <<a href="mailto:paraview-bounces@paraview.org">paraview-bounces@paraview.org</a>> on behalf of Andy Bauer<br>
> <<a href="mailto:andy.bauer@kitware.com">andy.bauer@kitware.com</a>><br>
> Sent: Wednesday, May 18, 2016 10:52 AM<br>
> To: Ufuk Utku Turuncoglu (BE)<br>
> Cc: <a href="mailto:paraview@paraview.org">paraview@paraview.org</a><br>
> Subject: Re: [Paraview] capability of ParaView, Catalyst in distributed<br>
> computing environment ...<br>
><br>
> Hi,<br>
><br>
> I'm a bit confused. MPI_COMM_WORLD is the global communicator and as far<br>
> as I'm aware, can't be modified which means there can't be two different<br>
> communicators.<br>
><br>
> Catalyst can be set to use a specific MPI communicator and that's been<br>
> done by at least one code (Code_Saturne). I think they have a multiphysics<br>
> simulation as well.<br>
><br>
> Cheers,<br>
> Andy<br>
><br>
> On Wed, May 18, 2016 at 5:22 AM, Ufuk Utku Turuncoglu (BE)<br>
</div></div>> <<a href="mailto:u.utku.turuncoglu@be.itu.edu.tr">u.utku.turuncoglu@be.itu.edu.tr</a><mailto:<a href="mailto:u.utku.turuncoglu@be.itu.edu.tr">u.utku.turuncoglu@be.itu.edu.tr</a>>><br>
<div><div class="h5">> wrote:<br>
> Hi All,<br>
><br>
> I just wonder about the capability of ParaView, Catalyst in distributed<br>
> computing environment. I have little bit experience in in-situ<br>
> visualization but it is hard for me to see the big picture at this point.<br>
> So, i decided to ask to the user list to get some suggestion from the<br>
> experts. Hypothetically, lets assume that we have two simulation code that<br>
> are coupled together (i.e. fluid-structure interaction) and both of them<br>
> have their own MPI_COMM_WORLD and run on different processors (model1 runs<br>
> on MPI rank 0,1,2,3 and model2 runs on 4,5,6,7). What is the correct<br>
> design to create integrated in-situ visualization analysis (both model<br>
> contributes to same visualization pipeline) in this case? Do you know any<br>
> implementation that is similar to this design? At least, is it possible?<br>
><br>
> In this case, the adaptor code will need to access to two different<br>
> MPI_COMM_WORLD and it could run on all processor (from 0 to 7) or its own<br>
> MPI_COMM_WORLD (i.e. MPI ranks 8,9,10,11). Also, the both simulation code<br>
> have its own grid and field definitions (might be handled via defining<br>
> different input ports). Does it create a problem in Paraview, Catalyst<br>
> side, if the multiblock dataset is used to define the grids of the<br>
> components in adaptor. I am asking because some MPI processes (belongs to<br>
> adaptor code) will not have data for specific model component due to the<br>
> domain decomposition implementation of the individual models. For example,<br>
> MPI rank 4,5,6,7 will not have data for model1 (that runs on MPI rank<br>
> 0,1,2,3) and 0,1,2,3 will not have data for model2 (that runs on MPI rank<br>
> 4,5,6,7). To that end, do i need to collect all the data from the<br>
> components? If this is the case, how can i handle 2d decomposition<br>
> problem? Because, the adaptor code has no any common grid structure that<br>
> fits for all the model components.<br>
><br>
> Regards,<br>
><br>
> Ufuk Turuncoglu<br>
> _______________________________________________<br>
</div></div>> Powered by <a href="http://www.kitware.com" rel="noreferrer" target="_blank">www.kitware.com</a><<a href="http://www.kitware.com" rel="noreferrer" target="_blank">http://www.kitware.com</a>><br>
<div class="HOEnZb"><div class="h5">><br>
> Visit other Kitware open-source projects at<br>
> <a href="http://www.kitware.com/opensource/opensource.html" rel="noreferrer" target="_blank">http://www.kitware.com/opensource/opensource.html</a><br>
><br>
> Please keep messages on-topic and check the ParaView Wiki at:<br>
> <a href="http://paraview.org/Wiki/ParaView" rel="noreferrer" target="_blank">http://paraview.org/Wiki/ParaView</a><br>
><br>
> Search the list archives at: <a href="http://markmail.org/search/?q=ParaView" rel="noreferrer" target="_blank">http://markmail.org/search/?q=ParaView</a><br>
><br>
> Follow this link to subscribe/unsubscribe:<br>
> <a href="http://public.kitware.com/mailman/listinfo/paraview" rel="noreferrer" target="_blank">http://public.kitware.com/mailman/listinfo/paraview</a><br>
><br>
><br>
<br>
</div></div></blockquote></div><br></div>