<div>David,</div><div><br></div>What a useful script! I will be using this after every merge, that's for sure.<div>Thanks for your efforts.</div><div>If you get a testing space coverage done that will be really useful.</div>
<div><br></div><div>The useful thing about these scripts is they take such a short time to run.</div><div><br></div><div>Hey Bill, I remember the early dashboards, they were so concise and succinct. I tried for a long time to convince my work to use a similar process but it took a long time for people to realise the benefits of such an approach.</div>
<div><br></div><div>Regards</div><div>   Andrew</div><div><br>---------- Forwarded message ----------<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
From: David E DeMarle <<a href="mailto:dave.demarle@kitware.com">dave.demarle@kitware.com</a>><br>To: Bill Lorensen <<a href="mailto:bill.lorensen@gmail.com">bill.lorensen@gmail.com</a>><br>Cc: vtkdev <<a href="mailto:vtk-developers@vtk.org">vtk-developers@vtk.org</a>>, Kitware Developers <<a href="mailto:kitware-developers@kitware.com">kitware-developers@kitware.com</a>><br>
Date: Fri, 5 Oct 2012 15:49:10 -0400<br>Subject: Re: [vtk-developers] cdash API and VTK's most wanted list<br>Thanks for the slides they are quite informative.<br>
<br>
I'm hoping to find time to use cdash's web API to scrape out a testing<br>
space coverage view.<br>
<br>
That is I want to see what OS's, compilers and graphics drivers do we<br>
test on, as well as what wrapped languages, dependent libraries, and<br>
other cmake options do we exercise on them.<br>
<br>
>From a view of the test option space we can see what we cover and more<br>
importantly don't cover, and on what we cover, where we are having<br>
problems.<br>
<br>
Like the test view, you _can_ build up this information manually from<br>
cdash's pages, but it takes even longer to do so because the<br>
information is more widely scattered (at least for VTK).<br>
<br>
David E DeMarle<br>
Kitware, Inc.<br>
R&D Engineer<br>
21 Corporate Drive<br>
Clifton Park, NY 12065-8662<br>
Phone: <a href="tel:518-881-4909" value="+15188814909">518-881-4909</a><br>
<br>
<br>
On Fri, Oct 5, 2012 at 3:31 PM, Bill Lorensen <<a href="mailto:bill.lorensen@gmail.com">bill.lorensen@gmail.com</a>> wrote:<br>
> Dave,<br>
><br>
> Very nice. Back in the day, we used to generate a table with a row for each<br>
> test and a column for each build. A red/green box showed pass/fail. Made it<br>
> easy to see if it was a windows/linux/sun/hp/sgi... issue.<br>
><br>
> I'll look into TestXMLFIleOutputWindow which seems to be failing strangely<br>
> on all windows platform (except cygwin).<br>
><br>
> For a description of the eary origins of testing for vtk you might look at:<br>
> <a href="http://www.cdash.org/cdash/project/download/ExtremeTestingTalk.pdf" target="_blank">http://www.cdash.org/cdash/project/download/ExtremeTestingTalk.pdf</a><br>
><br>
><br>
> On Fri, Oct 5, 2012 at 2:38 PM, David E DeMarle <<a href="mailto:dave.demarle@kitware.com">dave.demarle@kitware.com</a>><br>
> wrote:<br>
>><br>
>> Howdy y'all,<br>
>><br>
>> I've been working on cleaning the VTK dashboard lately and recently<br>
>> learned something that is really useful - that CDash's Web API is<br>
>> really powerful.<br>
>><br>
>> See: <a href="http://public.kitware.com/Wiki/CDash:API" target="_blank">http://public.kitware.com/Wiki/CDash:API</a><br>
>><br>
>> Using it I wrote the attached python script which scrapes last night's<br>
>> VTK test results and presents them in a test centric view, rather than<br>
>> cdash's native submitter centric view.<br>
>><br>
>> The test centric view is more useful I think because it helps you to<br>
>> prioritize what _code_ or project feature is worst and should be fixed<br>
>> soonest, as opposed to what machine is performing worst. It also gives<br>
>> you a more realistic view of the state of the project, because it<br>
>> won't make you falsely believe, for instance, that there are at most<br>
>> the same number of problems as the worst dashboard shows. (20 or so vs<br>
>> 70 today)<br>
>><br>
>> Also, since it is a script it takes less than a second to generate the<br>
>> report, whereas if you build up the same list on your own manually by<br>
>> clicking on cdash's web pages it will take you about an hour on a<br>
>> project (and project state) like VTK today.<br>
>><br>
>> If you run the script you will see that the worst tests are:<br>
>><br>
>> vtkIOExportCxx-TestGL2PSExporterVolumeRaster-VerifyRasterizedPNG , 6 ,<br>
>> ['Mac10.7.3-clang-release-x86_64-nightly_master', 'Win32-vs9-Shared',<br>
>> 'Win64-VS10', 'Mac10.7.3-gcc-release-x86_64-nightly_master',<br>
>> 'Win32-vs9-Static', 'Ubuntu-Valgrind']<br>
>> vtkInteractionStyleTcl-TestInteractorStyleTerrain , 7 , [...]<br>
>> vtkRenderingOpenGLCxx-TestGaussianBlurPass , 7 , [...]<br>
>> vtkCommonCore-TestXMLFileOutputWindow , 7 , [...]<br>
>> vtkRenderingOpenGLCxx-TestTranslucentLUTDepthPeelingPass , 7 , [...]<br>
>> ! vtkRenderingVolumeTcl-gaussian , 10 , [...]<br>
>> ! vtkIOGeometryTcl-TestXYZMol , 10 , [...]<br>
>> vtkIOSQLCxx-SQLiteTableReadWrite , 10 , [...]<br>
>> vtkRenderingOpenGLCxx-TestOffAxisStereo , 14 , [...]<br>
>> ! vtkDomainsChemistryCxx-TestProteinRibbon , 19 , [...]<br>
>><br>
>> Where the ones I've marked with ! have been fixed and thus should be<br>
>> off the most listed list tonight.<br>
>><br>
>> David E DeMarle<br>
>> Kitware, Inc.<br>
>> R&D Engineer<br>
>> 21 Corporate Drive<br>
>> Clifton Park, NY 12065-8662<br>
>> Phone: 518-881-4909<br>
>><br>
>> _______________________________________________<br>
>> Powered by <a href="http://www.kitware.com" target="_blank">www.kitware.com</a><br>
>><br>
>> Visit other Kitware open-source projects at<br>
>> <a href="http://www.kitware.com/opensource/opensource.html" target="_blank">http://www.kitware.com/opensource/opensource.html</a><br>
>><br>
>> Follow this link to subscribe/unsubscribe:<br>
>> <a href="http://www.vtk.org/mailman/listinfo/vtk-developers" target="_blank">http://www.vtk.org/mailman/listinfo/vtk-developers</a><br>
>><br>
>><br>
><br>
><br>
><br>
> --<br>
> Unpaid intern in BillsBasement at noware dot com<br>
><br><br></blockquote></div>-- <br>___________________________________________<br>Andrew J. P. Maclean<br><br>___________________________________________<br>
</div>