<div dir="ltr"><div>This is a follow-on from my recent email, but I think it is a new discussion. A <span class="gmail-separator"></span><a href="https://github.com/Kitware/kwiver/blob/master/vital/types/detected_object.cxx#L42"><strong class="gmail-final-path">detected_object</strong></a><b><span class="gmail-final-path"> </span></b><span class="gmail-final-path">has a </span><span class="gmail-final-path">confidence associated with it, but it also carries a <b><a href="https://github.com/Kitware/kwiver/blob/master/vital/types/detected_object_type.h#L52">detected_object_type</a></b>, which lets you specify scores for a number of different classification types. As of now, neither <span class="gmail-final-path">documentation nor implementation enforces any </span>correlation between the confidence and the individual class scores. It seems one of the major use cases for confidence is sorting a <b>detected_object_set</b> based on each <b>detected_object.confidence</b>, but this is very confusing in cases where there are multiple classes associated with the <b>detect_object_type</b>. Detectors with an associated classifier for many classes is becoming more and more common for us. For example, we might have a faster-rcnn detector that returns a score for <i>background</i>, <i>person</i>, <i>car</i>, <i>person-holding-gun</i>, etc., and in which case, it isn't clear what the most-useful specification of the overall detection's confidence would be.<br></span></div><div><span class="gmail-final-path"><br></span></div><div><span class="gmail-final-path">I think the current state of things is a recipe for mistakes and confusion. One option is to just decide on a convention and document it thoroughly. Alternatively, we could just remove reference to confidence and require looking into the detected_object_type scores. Though, <span class="gmail-final-path">I'm not sure I understand all the use cases</span> that this would break.</span></div><div><span class="gmail-final-path"><br></span></div><div><span class="gmail-final-path">Best,</span></div><div><span class="gmail-final-path">Matt<br></span></div></div>