<div dir="ltr">I think that it is totally fine to have leading edge 3rd party code tested in Nightly Expected. As long as we can move them to Nightly when they regress and the fix is taking some time to come. I agree with Sean that if it is in Nightly, it may not be noticed. Of course, Nightly would be green ideally :-) Even better, there would be no Nightly Expected, just Nightly and Experimental.<div>

<br></div><div style>-berk</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Wed, Mar 20, 2013 at 2:19 PM, Sean McBride <span dir="ltr"><<a href="mailto:sean@rogue-research.com" target="_blank">sean@rogue-research.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">On Wed, 20 Mar 2013 14:07:01 -0400, David E DeMarle said:<br>
<br>
>I like the idea of having the nightly expected being just for the<br>
>particular platforms and dependency releases we explicitly support.<br>
><br>
>I also like the fact that when submitters like these test dev head of our<br>
>deps we know when there is trouble brewing.<br>
><br>
>The problem we just hit is that it isn't obvious from a quick glance at the<br>
>dashboard which test releases and which don't. A new dashboard section<br>
>would make it obvious. The nightly section itself could fill that roll if<br>
>we all agree now that that is what it is for and remember that from now<br>
>on. Another problem is that the NIghtly section hasn't been maintained well<br>
>enough for us to know if the dashboards in there _should_ be passing. As it<br>
>is now we treat Nightly like an experimental section and for the most part<br>
>ignore it.<br>
<br>
</div>My Rogue7 dashboards are also testing using a top-of-tree build of clang (though the clang build itself is not built nightly, just manually every few weeks).<br>
<br>
This occasionally produces a little non-green if clang regresses in some way.<br>
<br>
I also have the impression that it would be lost in noise if it was not in 'expected', since the 'nightly' section is not so green.<br>
<br>
Cheers,<br>
<span class="HOEnZb"><font color="#888888"><br>
--<br>
____________________________________________________________<br>
Sean McBride, B. Eng                 <a href="mailto:sean@rogue-research.com">sean@rogue-research.com</a><br>
Rogue Research                        <a href="http://www.rogue-research.com" target="_blank">www.rogue-research.com</a><br>
Mac Software Developer              Montréal, Québec, Canada<br>
<br>
<br>
</font></span></blockquote></div><br></div>