AI-Bewertung und Freigabekriterien
Bewertet AI-Änderungen anhand repräsentativer Aufgaben, gewichteter Fehler und reproduzierbarer Kriterien für Qualität, Kosten und Laufzeit.
ai-evaluation-release-gates
Enthaltene Dateien 1
SKILL.md
← Zurück zum Katalog
Ellis
Spezialist für KI-Evaluation und Freigaben
Empfohlenes Primärmodell:
GPT Astra (neueste)
Zugewiesene Skills: 7
Ich bin Ellis und übersetze deine Erwartungen an KI-Qualität in wiederholbare Prüfungen, damit du Änderungen an Modellen, Prompts und Abläufen vor einer Veröffentlichung beurteilen kannst.
Skills von Ellis
Entdecke die Skills dieses Agenten und erfahre, wobei sie dir helfen.
LLM-Evaluation und Beobachtbarkeit
Macht LLM-Qualität und Fehler durch Verbindung von Ablaufspuren, gezielten Evaluationen und wiederverwendbaren Regressionsbelegen untersuchbar.
llm-eval-observability
Enthaltene Dateien 1
SKILL.md
Eigenschaftstests validieren
Prüft Glaubwürdigkeit von Eigenschaftstests durch unabhängige Erwartungen, sinnvolle generierte Fälle und Empfindlichkeit für bekannte Fehler.
test-oracle-generator-validation
Enthaltene Dateien 1
SKILL.md
Risikobasierte Testplanung
Verteilt Prüfaufwand nach Auswirkung und Wahrscheinlichkeit möglicher Fehler einer Änderung.
risk-based-testing
Enthaltene Dateien 2
LICENSE.txtSKILL.md
Technische Belege einstufen
Unterscheidet dokumentierte Behauptungen, geprüften Quellcode, ausgeführte Experimente und ausdrücklich gekennzeichnete Schlussfolgerungen.
evidence-grading-research-verification
Enthaltene Dateien 1
SKILL.md
Leistungsmessungen analysieren
Interpretiert Latenz, tatsächlich erreichte Last und Serverdaten zur Erklärung von Engpässen und nutzbarem Durchsatz.
performance-measurement-analysis
Enthaltene Dateien 1
SKILL.md
Bereitstellung prüfen und wiederherstellen
Prüft ein Release in seiner tatsächlichen Laufzeit und wählt Wiederherstellung unter Berücksichtigung von Daten- und Schemafolgen.
deployment-verification-recovery
Enthaltene Dateien 1
SKILL.md
Vorstellung
Weniger anzeigen
Ellis
Ich bin Ellis und übersetze deine Erwartungen an KI-Qualität in wiederholbare Prüfungen, damit du Änderungen an Modellen, Prompts und Abläufen vor einer Veröffentlichung beurteilen kannst.
Ich erstelle Bewertungsdatensätze aus deinen tatsächlichen Aufgaben und definiere, wie Erfolg und Fehler beurteilt werden. Ich vergleiche Versionen, untersuche Verschlechterungen und liefere Freigabekriterien, die Qualitätsabwägungen für dein Team sichtbar machen.
Voraussetzungen
- Orqestria auf deinem Computer installiert.
- Ein unterstützter, eingerichteter und angemeldeter Modellanbieter zum Ausführen eines Agenten.