Track C
Assure
GeplantHow do we know each output is good enough, at runtime, before it ships?
Diese Seite beschreibt unsere Forschungsagenda. Statusangaben zeigen, was geplant, in Bearbeitung oder abgeschlossen ist.
Warum das wichtig ist
Eine günstige, aber falsche Antwort kostet mehr als eine verzögerte oder zurückgehaltene.
Orchestrierung steuert, wo eine Anfrage läuft. Qualitätsorchestrierung steuert, ob das Ergebnis gut genug ist, als Regelkreis. Qualität wird als geführtes Servicelevel behandelt.
Richtungen
- 1.Qualitätsverträge: akzeptable Qualität, Fehlerkosten, Enthaltungsregel.
- 2.Laufzeitschätzung: Verifier, Selbstkonsistenz, Anbieterübergreifende Übereinstimmung, Graphkonsistenz.
- 3.Kaskaden mit kalibrierten Methoden: zuerst das günstige Modell, Eskalation unterhalb des Vertrags.
- 4.Zuverlässigkeit der Bewertenden.
- 5.Drift-Überwachung.
- 6.Geschlossene Lernschleife.
Qualitätskaskade
KonzeptionellGünstiges Modell, Qualitätsschätzung, dann Ausliefern, Eskalieren oder Enthalten. Konzeptionell. Keine Zahlen an den Pfeilen.
Das Diagramm steht auch als Tabelle darunter.
Als Tabelle anzeigen
| Schritt | Ergebnis |
|---|---|
| Günstiges Modell | Qualitätsschätzung |
| Bestanden | Ausliefern |
| Unter Vertrag | Stärkeres Modell |
| Weiter darunter | Enthalten |
Ende-zu-Ende-Pipeline
KonzeptionellExtract, Ground, Route, Assure, Learn, mit Rückkopplung von Learn auf Route und Assure.
Das Diagramm steht auch als Tabelle darunter.
Als Tabelle anzeigen
| Schritt | Speist |
|---|---|
| Extract | Ground |
| Ground | Route |
| Route | Assure |
| Assure | Learn |
| Learn | Route, Assure |
Geplante Metriken
Metriknamen aus der Forschungsagenda. Werte bleiben ausstehend, bis results.json eine Zeile hat.
Cost per correct answer
Ausstehend
Abstention-adjusted accuracy
Ausstehend
Calibration error
Ausstehend
Escalation rate
Ausstehend
Time to detect drift
Ausstehend
Das Diagramm steht auch als Tabelle darunter.
Als Tabelle anzeigen
| Metrik | Wert |
|---|---|
| Cost per correct answer | Ausstehend |
| Abstention-adjusted accuracy | Ausstehend |
| Calibration error | Ausstehend |
| Escalation rate | Ausstehend |
| Time to detect drift | Ausstehend |
Verbunden mit
Mit HOPN Lab arbeiten
Forschende können sich über EHOPn bewerben. Die Agenda ist öffentlich. Ergebnisse bleiben ausstehend, bis Messungen vorliegen.