<div dir="ltr">+1 to the test recipe. <br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jul 28, 2015 at 2:22 PM, David E DeMarle <span dir="ltr"><<a href="mailto:dave.demarle@kitware.com" target="_blank">dave.demarle@kitware.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div>We've got years of layers of great but poorly described regression test infrastructure in the code today that makes it harder than it could be to make new tests. If this is yet another layer, I'm not in favor.<br></div></div><div><br></div>But if this makes adding tests tractable for newbies and we put together and post an easy but comprehensive recipe for adding tests along with this, then I'm very much in favor.</div></blockquote><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div> <br></div></div></blockquote><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div></div></div><div class="gmail_extra"><br clear="all"><div><div>David E DeMarle<br>Kitware, Inc.<br>R&D Engineer<br>21 Corporate Drive<br>Clifton Park, NY 12065-8662<br>Phone: <a href="tel:518-881-4909" value="+15188814909" target="_blank">518-881-4909</a></div></div>
<br><div class="gmail_quote"><span class="">On Tue, Jul 28, 2015 at 2:10 PM, Bill Lorensen <span dir="ltr"><<a href="mailto:bill.lorensen@gmail.com" target="_blank">bill.lorensen@gmail.com</a>></span> wrote:<br></span><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">I have been adding unit tests lately using old school vtk testing.<br>
I'll be willing to kick the tires on David's framework.<br>
<br>
My goal in these unit tests to get as close as 100% coverage as<br>
possible, verifying results when possible. This includes exercising<br>
Error and Warning code and checking the messages themselves.<br>
<br>
I'll admit that I'm skeptical, but hopeful that adding a new test<br>
framework will increase code coverage.<br>
</span><div><div><span class=""><br>
On Tue, Jul 28, 2015 at 1:34 PM, David Thompson<br></span><span class="">
<<a href="mailto:david.thompson@kitware.com" target="_blank">david.thompson@kitware.com</a>> wrote:<br>
> Hi David(s),<br>
><br>
> I really like the single-header idea, especially the macros for testing whether values match to within a tolerance.<br>
><br>
> My concerns are<br>
><br>
> 1. The C++ Testing/Rendering/vtkTesting.h class which provides (or now that we have ExternalData, provided?) access to baseline images doesn't seem to fit into the FIXTURE macro. Is there a way to integrate it? Or a way to extend the vtkTesting class to be more usable by including methods similar to your macros?<br>
><br>
> 2. One thing I dislike about most/all of the C++ test frameworks is that the error messages are assumed to be fixed and the methods often do not present a way to include the incorrect result as part of the failure message. It is nice that your macros include that. However, given that tests often fail on machines I don't have access to, it is really nice to encourage people to write useful messages. Macros like CHECK_CLOSE would be better if they accepted a message as a final argument, especially if the argument was passed to a std::ostream object the way vtkGenericWarningMacro() does so that people can (are forced to) provide more context about where the two numbers being compared come from.<br>
><br>
>         David<br>
><br></span><span class="">
>> On Jul 28, 2015, at 10:43 AM, David Gobbi <<a href="mailto:david.gobbi@gmail.com" target="_blank">david.gobbi@gmail.com</a>> wrote:<br>
>><br>
>> Hi David (and David),<br>
>><br>
>> The only advantage of my unit test header is that it is a single header<br>
>> (a short one, too) with zero dependencies.  So it's easy to add to VTK<br>
>> and it's trivial to maintain.<br>
>><br>
>> If either of you has a better solution, then go ahead and make a merge<br>
>> request.  I'll review it for you ;)<br>
>><br>
>>  - David<br>
>><br>
>><br></span><span class="">
>> On Tue, Jul 28, 2015 at 8:27 AM, David Thompson <<a href="mailto:david.thompson@kitware.com" target="_blank">david.thompson@kitware.com</a>> wrote:<br>
>> Another project I work on has been using Bandit[1] to good effect.<br>
>><br>
>>         David<br>
>><br></span>
>> [1]:<a href="http://banditcpp.org/reference.html" rel="noreferrer" target="_blank">http://banditcpp.org/reference.html</a><span class=""><br>
>><br>
>> On Jul 28, 2015, at 10:01 AM, David Cole via vtk-developers <<a href="mailto:vtk-developers@vtk.org" target="_blank">vtk-developers@vtk.org</a>> wrote:<br>
>><br>
>> > A single header file unit testing solution sounds like a good thing.<br>
>> ><br>
>> > ... but ... seems like we could also take advantage of a<br>
>> > well-established generally used unit testing framework (like gtest or<br>
>> > CppUnit) just as easily, and not clutter the VTK source with<br>
>> > yet-another-custom-thing-to-learn-about-VTKs-infrastructure.<br>
>> ><br>
>> > Would it be just as easy to add unit testing using an external unit<br>
>> > testing package? Or are there things about that scenario that are<br>
>> > overly complicated that having our own makes simpler...?<br>
>> ><br>
>> ><br>
>> > David C.<br>
>> ><br>
>> ><br>
>> ><br></span><span class="">
>> > On Mon, Jul 27, 2015 at 5:25 PM, David Gobbi <<a href="mailto:david.gobbi@gmail.com" target="_blank">david.gobbi@gmail.com</a>> wrote:<br>
>> >> Hi All,<br>
>> >><br>
>> >> I've always enjoyed using the python unit testing framework in "vtk.test".<br>
>> >> It's been brought up on the list before, but it would be nice if VTK<br>
>> >> included a unit test framework for C++, as well.<br>
>> >><br>
>> >> For my work projects, I've been using a unit test header that I wrote a year<br>
>> >> and a half ago:<br></span>
>> >> <a href="https://github.com/dgobbi/UnitTest/blob/master/UnitTest.h" rel="noreferrer" target="_blank">https://github.com/dgobbi/UnitTest/blob/master/UnitTest.h</a><span class=""><br>
>> >><br>
>> >> It's a single header file that provides a collection of macros for building<br>
>> >> unit tests, it's meant to be innocuous and easy to use.  It could go into<br>
>> >> VTK as Testing/Core/vtkUnitTest.h and people could use it at their leisure.<br>
>> >><br>
>> >> Any thoughts?<br>
>> >><br>
>> >> - David<br>
>><br>
>><br>
><br>
> _______________________________________________<br></span>
> Powered by <a href="http://www.kitware.com" rel="noreferrer" target="_blank">www.kitware.com</a><br>
><br>
> Visit other Kitware open-source projects at <a href="http://www.kitware.com/opensource/opensource.html" rel="noreferrer" target="_blank">http://www.kitware.com/opensource/opensource.html</a><br>
><br>
> Search the list archives at: <a href="http://markmail.org/search/?q=vtk-developers" rel="noreferrer" target="_blank">http://markmail.org/search/?q=vtk-developers</a><span class=""><br>
><br>
> Follow this link to subscribe/unsubscribe:<br></span>
> <a href="http://public.kitware.com/mailman/listinfo/vtk-developers" rel="noreferrer" target="_blank">http://public.kitware.com/mailman/listinfo/vtk-developers</a><br>
><br>
<br>
<br>
<br>
</div></div><span class=""><span><font color="#888888">--<br>
Unpaid intern in BillsBasement at noware dot com<br>
</font></span></span><div><div>_______________________________________________<br>
Powered by <a href="http://www.kitware.com" rel="noreferrer" target="_blank">www.kitware.com</a><br>
<br>
Visit other Kitware open-source projects at <a href="http://www.kitware.com/opensource/opensource.html" rel="noreferrer" target="_blank">http://www.kitware.com/opensource/opensource.html</a><br>
<br>
Search the list archives at: <a href="http://markmail.org/search/?q=vtk-developers" rel="noreferrer" target="_blank">http://markmail.org/search/?q=vtk-developers</a><span class=""><br>
<br>
Follow this link to subscribe/unsubscribe:<br>
</span><a href="http://public.kitware.com/mailman/listinfo/vtk-developers" rel="noreferrer" target="_blank">http://public.kitware.com/mailman/listinfo/vtk-developers</a><br>
<br>
</div></div></blockquote></div><br></div>
<br>_______________________________________________<br>
Powered by <a href="http://www.kitware.com" rel="noreferrer" target="_blank">www.kitware.com</a><br>
<br>
Visit other Kitware open-source projects at <a href="http://www.kitware.com/opensource/opensource.html" rel="noreferrer" target="_blank">http://www.kitware.com/opensource/opensource.html</a><br>
<br>
Search the list archives at: <a href="http://markmail.org/search/?q=vtk-developers" rel="noreferrer" target="_blank">http://markmail.org/search/?q=vtk-developers</a><br>
<br>
Follow this link to subscribe/unsubscribe:<br>
<a href="http://public.kitware.com/mailman/listinfo/vtk-developers" rel="noreferrer" target="_blank">http://public.kitware.com/mailman/listinfo/vtk-developers</a><br>
<br>
<br></blockquote></div><br></div></div>