<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Sep 29, 2020 at 12:31 PM Sébastien Dinot <<a href="mailto:sebastien.dinot@csgroup.eu">sebastien.dinot@csgroup.eu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
  
    
  
  <div>
    <p>Dear CDash community,</p>
    <p>Let's take the test result below as an example:</p>
    <p><a href="https://open.cdash.org/test/252217127" target="_blank">https://open.cdash.org/test/252217127</a><br>
    </p>
    <p>I have some questions related to the "Acceptable Range" serie,
      which appear on the "Test Time" graph:</p>
    <ol>
      <li>
        <p>How is set exactly this "Acceptable Range", which seems to be
          a dynamically calculated trend?</p>
      </li>
      <li>
        <p>Is it possible to change this threshold and to give it a
          fixed value?</p>
      </li>
      <li>
        <p>What happens when the "Execution Time" of a test exceeds the
          "Acceptable Range"? Does CDash display any particular
          information on the dashboard? Does it send a notification to
          developers?</p>
      </li>
    </ol>
    <p>I did not find any information on this subject, neither in the
      project documentation, nor on any other web site.</p></div></blockquote><div><br></div><div><br></div><div><div>There's a little bit of documentation for this feature here:</div><div><a href="https://public.kitware.com/Wiki/CDash:Design#Test_Timing">https://public.kitware.com/Wiki/CDash:Design#Test_Timing</a></div><div><br></div><div>The idea is that CDash maintains a rolling average of how long each test takes to run on a per-site, per-build basis, and uses this to automatically detect performance regressions.</div></div><div><br></div><div><div>To use a fixed value instead, the <a href="https://cmake.org/cmake/help/latest/prop_test/TIMEOUT.html">test timeout property</a> is probably more appropriate.</div><div></div></div><div><br></div><div>You can enable/disable this feature & tweak the numbers that go into this formula by visiting the "Testing" tab on your project's Settings page. When this feature is enabled, CDash will send emails about tests that violate the "time status" check. They will also show up as red on the dashboard.</div></div></div>