On Mon, Jul 4, 2011 at 7:17 AM, Julien Jomier <span dir="ltr"><<a href="mailto:julien.jomier@kitware.com">julien.jomier@kitware.com</a>></span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">
Hi Olivier,<div class="im"><br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
1°) Why not considering CPU times instead of Wall-clock times ?  Is it<br>
really difficult to implement (maybe more related to CTest than CDash) ?<br>
</blockquote>
<br></div>
This is related to CTest. I'll let Dave or Zach (in CC) comment on this.</blockquote><div><br></div><div>We measure wall time because we can.</div><div><br></div><div>We could consider measuring the CPU time when running tests with ctest, but what we would need to implement that successfully is code that works on all the platforms where ctest currently works that measures that for us. I'm not aware of any such code that works on Linux, Mac, Windows and all the Unix flavors where ctest presently works. I'm sure it could be developed using platform specific techniques and ifdefs, but it's not there right now.</div>
<div><br></div><div>However, as ctest is part of an open source project, with contributors from all around the world ... we would welcome a contribution like that, if one should become available.</div><div><br></div><div>
<br></div><div>Thanks,</div><div>David C.</div><div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;"><div class="im"><br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
2°) Let's consider we have a 'Test time # max failures before flag =<br>
3'.  On the third day with higher test times, are the two first ones<br>
with test time failures considered in the average ?  I hope not because<br>
with a coefficient of 0.3 in the average, times before three days ago<br>
are almost negligible.  I already noticed that test failures not due to<br>
time are not taken into account into the average.<br>
</blockquote>
<br></div>
No the previous failed status are not considered in the average.<div class="im"><br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
3°)  From documentation on vtk website:<br>
<br>
A test is defined as failing if it verifies the following: if previousSD<br>
<  thresholdSD then previousSD = thresholdSD.<br>
<br>
  if  currentTime>  previousMean+multiplier*<u></u>previousSD.<br>
<br>
<br>
In my case, with following parameters:<br>
Test time SD (coefficient): 4.0<br>
Test time SD threshold : 1<br>
Test time # max failure before flag : 1<br>
<br>
And for a given test (reported on CDash - testcase report - exucution<br>
time(s) line):<br>
- mean:31.29<br>
- std:2.72<br>
- Execution time : 36.26<br>
<br>
=>  previous SD>  threshold =>  threshold not taken into account<br>
=>  previous mean + multiplier*previous SD = 31.29 + 4*2.72 = 42.17>  36.26<br>
<br>
==>  Test time should be OK but is reported as failed and flagged on main<br>
CDash page !??<br>
Maybe reported mean and std  are not the previous ones but current<br>
ones.  If I go on the previous report, it's reported mean 29.16 -<br>
std:0.0.  Maybe this previous 0.0 is used.  But clearly on test times<br>
graph, there is a standard deviation (oscillates between 29 and 41<br>
during last month).<br>
</blockquote>
<br></div>
The average/SD are not recomputed when you change the threshold. From the question 2) you see that if before the threshold was not meeting the requirement, the average and SD were never computed based on historical values. This is probably why you got std:0.0. You should wait a couple of days and see if that helps.<div class="im">
<br>
<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
4°) html link in project configuration in testing tab - in description<br>
of 'test standard deviation' and 'test standard deviation threshold',<br>
link to test timing description on the WIKI is wrong; maybe due to the<br>
fact that I'm using CDash 1.6.2<br>
</blockquote>
<br></div>
I added this in the bug tracker. Thanks for the report.<br><font color="#888888">
<br>
Julien<br>
</font></blockquote></div><br>