<div dir="ltr">Since we are in a wishing mood - I wish we had two test modules for each source module. One for the end-to-end tests that do things like render to verify that some piece of code works. The other for proper unit tests that add no dependencies to the code to test it.<div><br><div><br></div></div></div><div class="gmail_extra"><br clear="all"><div><div class="gmail_signature">David E DeMarle<br>Kitware, Inc.<br>R&D Engineer<br>21 Corporate Drive<br>Clifton Park, NY 12065-8662<br>Phone: 518-881-4909</div></div>
<br><div class="gmail_quote">On Tue, Jul 28, 2015 at 2:49 PM, Shawn Waldon <span dir="ltr"><<a href="mailto:shawn.waldon@kitware.com" target="_blank">shawn.waldon@kitware.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Possibly add a way to avoid some of the duplicated code too.  Most of the tests set up some data and then use essentially the same 30 lines of code to create the Renderer, create the Window, create the Interactor, connect it all together, show the window, call Render() and start the interactor.  I normally just copy an existing test and modify it, but it would be nice if there were some way to avoid that to make creating a new test easier.<br></div><div class="gmail_extra"><br><div class="gmail_quote"><span class="">On Tue, Jul 28, 2015 at 2:32 PM, David Cole <span dir="ltr"><<a href="mailto:DLRdave@aol.com" target="_blank">DLRdave@aol.com</a>></span> wrote:<br></span><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">Sounds like we "just" need a wiki page / blog post / Source article /<br>
white-papery-thingy about C++ VTK testing.<br>
<br>
(And then a follow-on one for python.)<br>
<br>
Having a way to add a C++ unit test of a newly added VTK class will be<br>
great! (Adding them for all the existing classes will certainly be a<br>
chore, but it is finite, and will increase code coverage, although<br>
perhaps not as easily as any of us would like...)<br>
</span><span class=""><span><br>
<br>
<br>
On Tue, Jul 28, 2015 at 2:27 PM, Shawn Waldon <<a href="mailto:shawn.waldon@kitware.com" target="_blank">shawn.waldon@kitware.com</a>> wrote:<br>
> +1 to the test recipe.<br>
><br>
</span></span>> On Tue, Jul 28, 2015 at 2:22 PM, David E DeMarle <<a href="mailto:dave.demarle@kitware.com" target="_blank">dave.demarle@kitware.com</a>><span class=""><br>
<span>> wrote:<br>
>><br>
>> We've got years of layers of great but poorly described regression test<br>
>> infrastructure in the code today that makes it harder than it could be to<br>
>> make new tests. If this is yet another layer, I'm not in favor.<br>
>><br>
>> But if this makes adding tests tractable for newbies and we put together<br>
>> and post an easy but comprehensive recipe for adding tests along with this,<br>
>> then I'm very much in favor.<br>
>><br>
>><br>
>><br>
>><br>
>> David E DeMarle<br>
>> Kitware, Inc.<br>
>> R&D Engineer<br>
>> 21 Corporate Drive<br>
>> Clifton Park, NY 12065-8662<br>
</span></span>>> Phone: <a href="tel:518-881-4909" value="+15188814909" target="_blank">518-881-4909</a><br>
>><br>
>> On Tue, Jul 28, 2015 at 2:10 PM, Bill Lorensen <<a href="mailto:bill.lorensen@gmail.com" target="_blank">bill.lorensen@gmail.com</a>><span class=""><br>
<span>>> wrote:<br>
>>><br>
>>> I have been adding unit tests lately using old school vtk testing.<br>
>>> I'll be willing to kick the tires on David's framework.<br>
>>><br>
>>> My goal in these unit tests to get as close as 100% coverage as<br>
>>> possible, verifying results when possible. This includes exercising<br>
>>> Error and Warning code and checking the messages themselves.<br>
>>><br>
>>> I'll admit that I'm skeptical, but hopeful that adding a new test<br>
>>> framework will increase code coverage.<br>
>>><br>
>>> On Tue, Jul 28, 2015 at 1:34 PM, David Thompson<br>
</span></span><span class=""><span>>>> <<a href="mailto:david.thompson@kitware.com" target="_blank">david.thompson@kitware.com</a>> wrote:<br>
>>> > Hi David(s),<br>
>>> ><br>
>>> > I really like the single-header idea, especially the macros for testing<br>
>>> > whether values match to within a tolerance.<br>
>>> ><br>
>>> > My concerns are<br>
>>> ><br>
>>> > 1. The C++ Testing/Rendering/vtkTesting.h class which provides (or now<br>
>>> > that we have ExternalData, provided?) access to baseline images doesn't seem<br>
>>> > to fit into the FIXTURE macro. Is there a way to integrate it? Or a way to<br>
>>> > extend the vtkTesting class to be more usable by including methods similar<br>
>>> > to your macros?<br>
>>> ><br>
>>> > 2. One thing I dislike about most/all of the C++ test frameworks is<br>
>>> > that the error messages are assumed to be fixed and the methods often do not<br>
>>> > present a way to include the incorrect result as part of the failure<br>
>>> > message. It is nice that your macros include that. However, given that tests<br>
>>> > often fail on machines I don't have access to, it is really nice to<br>
>>> > encourage people to write useful messages. Macros like CHECK_CLOSE would be<br>
>>> > better if they accepted a message as a final argument, especially if the<br>
>>> > argument was passed to a std::ostream object the way<br>
>>> > vtkGenericWarningMacro() does so that people can (are forced to) provide<br>
>>> > more context about where the two numbers being compared come from.<br>
>>> ><br>
>>> >         David<br>
>>> ><br>
</span></span>>>> >> On Jul 28, 2015, at 10:43 AM, David Gobbi <<a href="mailto:david.gobbi@gmail.com" target="_blank">david.gobbi@gmail.com</a>><span class=""><br>
<span>>>> >> wrote:<br>
>>> >><br>
>>> >> Hi David (and David),<br>
>>> >><br>
>>> >> The only advantage of my unit test header is that it is a single<br>
>>> >> header<br>
>>> >> (a short one, too) with zero dependencies.  So it's easy to add to VTK<br>
>>> >> and it's trivial to maintain.<br>
>>> >><br>
>>> >> If either of you has a better solution, then go ahead and make a merge<br>
>>> >> request.  I'll review it for you ;)<br>
>>> >><br>
>>> >>  - David<br>
>>> >><br>
>>> >><br>
>>> >> On Tue, Jul 28, 2015 at 8:27 AM, David Thompson<br>
</span></span><span><span class="">>>> >> <<a href="mailto:david.thompson@kitware.com" target="_blank">david.thompson@kitware.com</a>> wrote:<br>
>>> >> Another project I work on has been using Bandit[1] to good effect.<br>
>>> >><br>
>>> >>         David<br>
>>> >><br></span>
>>> >> [1]:<a href="http://banditcpp.org/reference.html" rel="noreferrer" target="_blank">http://banditcpp.org/reference.html</a><br>
>>> >><br>
</span><span class=""><span>>>> >> On Jul 28, 2015, at 10:01 AM, David Cole via vtk-developers<br>
</span></span><span class=""><span>>>> >> <<a href="mailto:vtk-developers@vtk.org" target="_blank">vtk-developers@vtk.org</a>> wrote:<br>
>>> >><br>
>>> >> > A single header file unit testing solution sounds like a good thing.<br>
>>> >> ><br>
>>> >> > ... but ... seems like we could also take advantage of a<br>
>>> >> > well-established generally used unit testing framework (like gtest<br>
>>> >> > or<br>
>>> >> > CppUnit) just as easily, and not clutter the VTK source with<br>
>>> >> > yet-another-custom-thing-to-learn-about-VTKs-infrastructure.<br>
>>> >> ><br>
>>> >> > Would it be just as easy to add unit testing using an external unit<br>
>>> >> > testing package? Or are there things about that scenario that are<br>
>>> >> > overly complicated that having our own makes simpler...?<br>
>>> >> ><br>
>>> >> ><br>
>>> >> > David C.<br>
>>> >> ><br>
>>> >> ><br>
>>> >> ><br>
</span></span>>>> >> > On Mon, Jul 27, 2015 at 5:25 PM, David Gobbi <<a href="mailto:david.gobbi@gmail.com" target="_blank">david.gobbi@gmail.com</a>><br>
<span><span class="">>>> >> > wrote:<br>
>>> >> >> Hi All,<br>
>>> >> >><br>
>>> >> >> I've always enjoyed using the python unit testing framework in<br>
>>> >> >> "vtk.test".<br>
>>> >> >> It's been brought up on the list before, but it would be nice if<br>
>>> >> >> VTK<br>
>>> >> >> included a unit test framework for C++, as well.<br>
>>> >> >><br>
>>> >> >> For my work projects, I've been using a unit test header that I<br>
>>> >> >> wrote a year<br>
>>> >> >> and a half ago:<br></span>
>>> >> >> <a href="https://github.com/dgobbi/UnitTest/blob/master/UnitTest.h" rel="noreferrer" target="_blank">https://github.com/dgobbi/UnitTest/blob/master/UnitTest.h</a><br>
>>> >> >><br>
</span><span class=""><span>>>> >> >> It's a single header file that provides a collection of macros for<br>
>>> >> >> building<br>
>>> >> >> unit tests, it's meant to be innocuous and easy to use.  It could<br>
>>> >> >> go into<br>
>>> >> >> VTK as Testing/Core/vtkUnitTest.h and people could use it at their<br>
>>> >> >> leisure.<br>
>>> >> >><br>
>>> >> >> Any thoughts?<br>
>>> >> >><br>
>>> >> >> - David<br>
>>> >><br>
>>> >><br>
>>> ><br>
>>> > _______________________________________________<br>
</span></span>>>> > Powered by <a href="http://www.kitware.com" rel="noreferrer" target="_blank">www.kitware.com</a><br>
<span><span class="">>>> ><br>
>>> > Visit other Kitware open-source projects at<br></span>
>>> > <a href="http://www.kitware.com/opensource/opensource.html" rel="noreferrer" target="_blank">http://www.kitware.com/opensource/opensource.html</a><br>
>>> ><br>
</span><span><span class="">>>> > Search the list archives at:<br></span>
>>> > <a href="http://markmail.org/search/?q=vtk-developers" rel="noreferrer" target="_blank">http://markmail.org/search/?q=vtk-developers</a><br>
>>> ><br>
</span><span><span class="">>>> > Follow this link to subscribe/unsubscribe:<br></span>
>>> > <a href="http://public.kitware.com/mailman/listinfo/vtk-developers" rel="noreferrer" target="_blank">http://public.kitware.com/mailman/listinfo/vtk-developers</a><br>
>>> ><br>
>>><br>
>>><br>
>>><br>
</span><span class=""><span>>>> --<br>
>>> Unpaid intern in BillsBasement at noware dot com<br>
>>> _______________________________________________<br>
</span></span>>>> Powered by <a href="http://www.kitware.com" rel="noreferrer" target="_blank">www.kitware.com</a><br>
<span><span class="">>>><br>
>>> Visit other Kitware open-source projects at<br></span>
>>> <a href="http://www.kitware.com/opensource/opensource.html" rel="noreferrer" target="_blank">http://www.kitware.com/opensource/opensource.html</a><br>
>>><br>
</span><span>>>> Search the list archives at: <a href="http://markmail.org/search/?q=vtk-developers" rel="noreferrer" target="_blank">http://markmail.org/search/?q=vtk-developers</a><br>
>>><br>
</span><span><span class="">>>> Follow this link to subscribe/unsubscribe:<br></span>
>>> <a href="http://public.kitware.com/mailman/listinfo/vtk-developers" rel="noreferrer" target="_blank">http://public.kitware.com/mailman/listinfo/vtk-developers</a><br>
>>><br>
>><br>
>><br>
</span>>> _______________________________________________<br>
>> Powered by <a href="http://www.kitware.com" rel="noreferrer" target="_blank">www.kitware.com</a><br>
<span><span class="">>><br>
>> Visit other Kitware open-source projects at<br></span>
>> <a href="http://www.kitware.com/opensource/opensource.html" rel="noreferrer" target="_blank">http://www.kitware.com/opensource/opensource.html</a><br>
>><br>
</span><span>>> Search the list archives at: <a href="http://markmail.org/search/?q=vtk-developers" rel="noreferrer" target="_blank">http://markmail.org/search/?q=vtk-developers</a><br>
>><br>
</span><span><span class="">>> Follow this link to subscribe/unsubscribe:<br></span>
>> <a href="http://public.kitware.com/mailman/listinfo/vtk-developers" rel="noreferrer" target="_blank">http://public.kitware.com/mailman/listinfo/vtk-developers</a><br>
>><br>
>><br>
><br>
><br>
</span>> _______________________________________________<br>
> Powered by <a href="http://www.kitware.com" rel="noreferrer" target="_blank">www.kitware.com</a><br>
<span><span class="">><br>
> Visit other Kitware open-source projects at<br></span>
> <a href="http://www.kitware.com/opensource/opensource.html" rel="noreferrer" target="_blank">http://www.kitware.com/opensource/opensource.html</a><br>
><br>
</span><span>> Search the list archives at: <a href="http://markmail.org/search/?q=vtk-developers" rel="noreferrer" target="_blank">http://markmail.org/search/?q=vtk-developers</a><br>
><br>
</span><div><div><span class="">> Follow this link to subscribe/unsubscribe:<br></span>
> <a href="http://public.kitware.com/mailman/listinfo/vtk-developers" rel="noreferrer" target="_blank">http://public.kitware.com/mailman/listinfo/vtk-developers</a><br>
><br>
><br>
</div></div></blockquote></div><br></div>
</blockquote></div><br></div>