Dave,<br><br>You should put this script in Utilities/Maintenance maybe with a better name:<br><br>TestFailures.py or<br>TestFailSummary.py<br>or ...<br><br>This is a great way to experiment with useful cdash scripts that might be added to cdash in the future.<br>
<br>Nice,<br><br>Bill<br><br><div class="gmail_quote">On Fri, Oct 5, 2012 at 2:38 PM, David E DeMarle <span dir="ltr"><<a href="mailto:dave.demarle@kitware.com" target="_blank">dave.demarle@kitware.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Howdy y'all,<br>
<br>
I've been working on cleaning the VTK dashboard lately and recently<br>
learned something that is really useful - that CDash's Web API is<br>
really powerful.<br>
<br>
See: <a href="http://public.kitware.com/Wiki/CDash:API" target="_blank">http://public.kitware.com/Wiki/CDash:API</a><br>
<br>
Using it I wrote the attached python script which scrapes last night's<br>
VTK test results and presents them in a test centric view, rather than<br>
cdash's native submitter centric view.<br>
<br>
The test centric view is more useful I think because it helps you to<br>
prioritize what _code_ or project feature is worst and should be fixed<br>
soonest, as opposed to what machine is performing worst. It also gives<br>
you a more realistic view of the state of the project, because it<br>
won't make you falsely believe, for instance, that there are at most<br>
the same number of problems as the worst dashboard shows. (20 or so vs<br>
70 today)<br>
<br>
Also, since it is a script it takes less than a second to generate the<br>
report, whereas if you build up the same list on your own manually by<br>
clicking on cdash's web pages it will take you about an hour on a<br>
project (and project state) like VTK today.<br>
<br>
If you run the script you will see that the worst tests are:<br>
<br>
vtkIOExportCxx-TestGL2PSExporterVolumeRaster-VerifyRasterizedPNG , 6 ,<br>
['Mac10.7.3-clang-release-x86_64-nightly_master', 'Win32-vs9-Shared',<br>
'Win64-VS10', 'Mac10.7.3-gcc-release-x86_64-nightly_master',<br>
'Win32-vs9-Static', 'Ubuntu-Valgrind']<br>
vtkInteractionStyleTcl-TestInteractorStyleTerrain , 7 , [...]<br>
vtkRenderingOpenGLCxx-TestGaussianBlurPass , 7 , [...]<br>
vtkCommonCore-TestXMLFileOutputWindow , 7 , [...]<br>
vtkRenderingOpenGLCxx-TestTranslucentLUTDepthPeelingPass , 7 , [...]<br>
! vtkRenderingVolumeTcl-gaussian , 10 , [...]<br>
! vtkIOGeometryTcl-TestXYZMol , 10 , [...]<br>
vtkIOSQLCxx-SQLiteTableReadWrite , 10 , [...]<br>
vtkRenderingOpenGLCxx-TestOffAxisStereo , 14 , [...]<br>
! vtkDomainsChemistryCxx-TestProteinRibbon , 19 , [...]<br>
<br>
Where the ones I've marked with ! have been fixed and thus should be<br>
off the most listed list tonight.<br>
<span><font color="#888888"><br>
David E DeMarle<br>
Kitware, Inc.<br>
R&D Engineer<br>
21 Corporate Drive<br>
Clifton Park, NY 12065-8662<br>
Phone: <a href="tel:518-881-4909" value="+15188814909" target="_blank">518-881-4909</a><br>
</font></span><br>_______________________________________________<br>
Powered by <a href="http://www.kitware.com" target="_blank">www.kitware.com</a><br>
<br>
Visit other Kitware open-source projects at <a href="http://www.kitware.com/opensource/opensource.html" target="_blank">http://www.kitware.com/opensource/opensource.html</a><br>
<br>
Follow this link to subscribe/unsubscribe:<br>
<a href="http://www.vtk.org/mailman/listinfo/vtk-developers" target="_blank">http://www.vtk.org/mailman/listinfo/vtk-developers</a><br>
<br>
<br></blockquote></div><br><br clear="all"><br>-- <br>Unpaid intern in BillsBasement at noware dot com<br><br>