<div dir="ltr">Hi Anton,<div><br></div><div>Let's debug this a big. I suspect that the thresholds are the issue here. Does this script work?</div><div><br></div><div><span style="font-size:12.499999046325684px">ext1    = 4640       # data extent along 1</span><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">ext2    = 4650       # data extent along 2</span><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">ext3    = 4650       # data extent along 3</span><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">ffile   = "./large/1000/zf5.raw" # fracture file</span><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">imsize1 = 1200         # size, in pixels, of the resulting image along 1</span><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">imsize2 = 1200         # size, in pixels, of the resulting image along 2</span><br style="font-size:12.499999046325684px"><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">cor1 = 0.5 * ext1</span><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">cor2 = 0.5 * ext2</span><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">cor3 = 0.5 * ext3</span><br style="font-size:12.499999046325684px"><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">from paraview.simple import *</span><br style="font-size:12.499999046325684px"><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px"># the extents start from zero, so need to lower</span><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px"># the upper extents by 1</span><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">cracks = ImageReader( FilePrefix= ffile )</span><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">cracks.DataExtent=[ 0, ext1-1, 0, ext2-1, 0, ext3-1 ]</span><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">cracks.DataByteOrder = 'LittleEndian'</span><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">cracks.DataScalarType = 'int'</span><br style="font-size:12.499999046325684px"><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">RenderView1 = GetRenderView()</span><br style="font-size:12.499999046325684px"><span style="font-size:12.499999046325684px">DataRepresentation1 = Show()</span><br style="font-size:12.499999046325684px"><br style="font-size:12.499999046325684px"></div><div>If this works, let's discuss how to avoid using Threshold but get the same result. The issue with Threshold is that it creates a volume as an unstructured grid, which is heavy-weight. For example, a ~40KB volume (one float variable) turns into a ~800KB if I extract all of it as an unstructured grid. It seems like all you need is to extract the interfaces between the grains, correct?</div><div><br></div><div>Best,</div><div>-berk</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Sep 21, 2015 at 10:50 AM, Anton Shterenlikht <span dir="ltr"><<a href="mailto:mexas@bris.ac.uk" target="_blank">mexas@bris.ac.uk</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">>From mexas Mon Sep 21 14:29:16 2015<br>
>To: <a href="mailto:paraview@paraview.org">paraview@paraview.org</a><br>
>Subject: 400GB dataset out of memory on 1k cores?<br>
>Reply-To: <a href="mailto:mexas@bris.ac.uk">mexas@bris.ac.uk</a><br>
<span class="">><br>
>I get OOM on a ~400GB raw dataset<br>
>that I process with a script below.<br>
>I use 24 core nodes with 64GB per node.<br>
>I tried using up to 1008 nodes.<br>
<br>
</span>error... 1008 cores (42 nodes).<br>
<span class="HOEnZb"><font color="#888888"><br>
Anton<br>
</font></span><div class="HOEnZb"><div class="h5">_______________________________________________<br>
Powered by <a href="http://www.kitware.com" rel="noreferrer" target="_blank">www.kitware.com</a><br>
<br>
Visit other Kitware open-source projects at <a href="http://www.kitware.com/opensource/opensource.html" rel="noreferrer" target="_blank">http://www.kitware.com/opensource/opensource.html</a><br>
<br>
Please keep messages on-topic and check the ParaView Wiki at: <a href="http://paraview.org/Wiki/ParaView" rel="noreferrer" target="_blank">http://paraview.org/Wiki/ParaView</a><br>
<br>
Search the list archives at: <a href="http://markmail.org/search/?q=ParaView" rel="noreferrer" target="_blank">http://markmail.org/search/?q=ParaView</a><br>
<br>
Follow this link to subscribe/unsubscribe:<br>
<a href="http://public.kitware.com/mailman/listinfo/paraview" rel="noreferrer" target="_blank">http://public.kitware.com/mailman/listinfo/paraview</a><br>
</div></div></blockquote></div><br></div>