<div dir="ltr">Thanks again, Utkarsh!<div><br></div><div>I believe I understand the difference now.</div><div><br></div><div>This is not happening for me because all my file are simple legacy .VTK files. Right?</div><div><br></div><div>XML formatted files have this capacity even though they are not <i>.P + (VTS, VTI, VTR)</i></div><div><i><br></i></div><div>1. How to transform my simple legacy VTK files in XML file format? Only rewriting them from the begginning?</div><div><br></div><div>2. Any thoughts on XML written files versus .PVTK generated by ParaView when saving data?</div><div><br></div><div>Thanks in advance,</div><div class="gmail_extra"><div><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div dir="ltr"><div><div><div><div><div><span><div style="color:rgb(0,0,0);font-family:"Helvetica Neue",Helvetica,Arial,"Lucida Grande",sans-serif,serif,EmojiFont;font-size:13px">Leonardo Pessanha<br>Laboratory of Computational Methods in Engineering </div><div style="color:rgb(0,0,0);font-family:"Helvetica Neue",Helvetica,Arial,"Lucida Grande",sans-serif,serif,EmojiFont;font-size:13px">Federal University of Rio de Janeiro - COPPE</div><div style="color:rgb(0,0,0);font-family:"Helvetica Neue",Helvetica,Arial,"Lucida Grande",sans-serif,serif,EmojiFont;font-size:13px">Rio de Janeiro, RJ, Brasil</div><div><br></div></span></div></div></div></div></div></div><div><div style="font-size:12.8px"></div><div style="font-size:12.8px"></div></div></div></div></div>
<br><div class="gmail_quote">2018-04-20 11:45 GMT-03:00 Utkarsh Ayachit <span dir="ltr"><<a href="mailto:utkarsh.ayachit@kitware.com" target="_blank">utkarsh.ayachit@kitware.com</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Leo,<br><br>Let's take 1 dataset type/reader type at a time. I am using 5.5 for all this discussion, just for simplicity.<br><br><b>1. Structured Grid (*.vts file)<br></b><br>In this case, the reader supports reading parts of the file on different ranks, thus even if you have single file, the reader does read sub-extents on each of the ranks. As an example, I simply loaded the <a href="https://data.kitware.com/api/v1/item/5ad9fa0f8d777f0685794b15/download" target="_blank">multicomb_0.vts</a> on multiple ranks, and I see it's indeed split among ranks.<div><br></div><div><img src="cid:ii_jg822qdf0_162e37a1c5b8bc76" width="473" height="412"></div><div><br></div><div>In this case, I believe non-compressed binary file format will be best since each rank can just read subset of the data its reading. For compressed formats, you'd need to read the the whole array for decompression. Having the data in pvts file with separate paritions does have the benefit of avoiding I/O contention since all ranks won't be opening the same files. So, I'd suggest experimenting for your intended scale. <br><div><br></div><div><b style="color:rgb(34,34,34);font-family:arial,sans-serif;font-size:small;font-style:normal;font-variant-ligatures:normal;font-variant-caps:normal;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration-style:initial;text-decoration-color:initial">2. Image Data (*.vti file)</b><br><br>You refer to structured points. I am not entirely sure of the lineage of structured points, but looking at the docs seems it's simply a subclass of vtkImageData, so I'll assume it's indeed that. The same is true for vti files as vts files. The reader reads subextents on ranks, even if the file is not split. </div><div><br></div><div><b>3. Rectilinear Grid (*.vtr file)</b></div><div><b><br></b></div><div>Same is true for<a href="https://data.kitware.com/api/v1/item/5ad9fccc8d777f0685794b18/download" target="_blank"> vtr files</a> too. The reader can read sub-extents.</div><div><br></div><div><img src="cid:ii_jg82glqt1_162e383fc34e6761" width="468" height="411"></div><div><br></div><div>Hope that helps.</div><span class="HOEnZb"><font color="#888888"><div><br></div><div>Utkarsh<br><br></div></font></span><div><div class="h5"><div>On Thu, Apr 19, 2018 at 9:43 PM, Léo Pessanha <<a href="mailto:leonardopessanha74@gmail.com" target="_blank">leonardopessanha74@gmail.com</a>> wrote:<br>><br>> Hi Utkarsh, thank you for the detailed explanation =)<br>><br>> I will definitely try out and see the different performances with compressed/decompressed data.<br>><br>> The data types are Structured Grid, Structured Points and Rectilinear Grid. All of them are written in VTK 2.0 version.<br>><br>> When loading in 2 ranks the data is loaded only in 1 rank (ID 0) consequently having only one color.<br>><br>><br>> Em qui, 19 de abr de 2018 22:29, Utkarsh Ayachit <<a href="mailto:utkarsh.ayachit@kitware.com" target="_blank">utkarsh.ayachit@kitware.com</a>> escreveu:<br>>>><br>>>> The options presented when saving data:<br>>>><br>>>><br>>>> - Data Mode: ASCII | BINARY | APPENDED<br>>>> - Encode Appended Data: TRUE | FALSE<br>>>> - Compressor Type:  NONE | ZLIB<br>>>><br>>>> What do the mean and how they affect performance?<br>>><br>>><br>>> These determine how the binary data (your arrays, point coordinates etc) is saved in the file. ASCII is not to be used to anything but small dataset for debugging. BINARY saves the data as binary, however it still needs to encode it (using base64) so that the XML can be parsed correctly. Generally, you want to pick APPENDED (where the binary data is added at the end of the XML header(ish) and then can be saved as raw binary dump without any encoding. No encoding implies you can't easily look at the file in a ASCII text editor, but will be easier to write and read since neither needs to do any processing to convert the binary data. For appended APPENDED or BINARY mode, compressor type allows you to pick a compression technique to use. This minimizes file size but adds computing cost of compressing /decompressing. It's a trade off between reading more from  the disk or spending more time decompressing it after reading form disk. Generally, reading form disk is slower, so you may still be better off compressing. 5.5 offer better compression options like LZ4 & LZMA which may be worth exploring too.<br>>><br>>> Before I answer your other questions, what type of data is this? Image data? Unstructured grid? When you load it on 2 ranks, if you color your surface by vtkProcessId, is it being read in as paritioned across two ranks or all of the data is on rank 0?<br>>><br>>> Utkarsh<br></div></div></div></div></div>
</blockquote></div><br></div></div>