Orqestria Letöltés
← Vissza a katalógushoz

Skill · 1.0.0 verzió

LLM-értékelés és megfigyelhetőség

Végrehajtási nyomot célzott értékeléshez és újrahasználható regressziós bizonyítékhoz kapcsolva teszi vizsgálhatóvá az LLM minőségét és hibáját.

llm-eval-observability

Nézd meg, miben segít

Mikor hasznos?

Akkor használd, ha romlik az ágens válasza, eszközválasztása vagy befejezési működése, és az ok nem világos.

Miben segít neked?

  • Hierarchikusan követi az ágensfutást, fordulót, eszközt és felhasználást.
  • Szerződéstesztet, rögzített lépésmenetet és eredményértékelést kapcsol össze.
  • Külön osztályozza a kontextus-, eszköz-, futtató- és modellhibát.

Például ezt kérheted

Tárj fel feladatregressziót, és készíts értékelési mintát a kitakart nyomvonalból. Játsszd vissza a hibás eszközsorozatot régi és új verzión. Rögzítsd az elvárt eredményt, és az első eltérést osztályozd általános modellhibáztatás helyett.

Részletes dokumentáció

Itt a skill eredeti útmutatóját, példáit és ellenőrzési szempontjait olvashatod az eredeti nyelven.

Részletek…Összecsukás

LLM Evaluation & Observability

Treat prompts, tool schemas, context compaction rules, and model selections as testable software artifacts. Never ship or modify agent behavior on "vibes"—verify changes with structured traces and reproducible evaluations.

Hierarchical Trace Instrumentation

Instrument every agent run as a correlated tree of spans (run_id $\rightarrow$ turn_id $\rightarrow$ llm_call / tool_call / retrieval_call):

Span Type Required Attributes to Record
agent.run run_id, agent_role, workflow_phase, status, stop_reason, turn_count, total_cost_usd, wall_time_ms
llm.generate provider, model, prompt_version, temperature, effort, ttft_ms, latency_ms, input_tokens, output_tokens, cache_read_input_tokens, cache_creation_input_tokens, finish_reason
agent.tool_call tool_name, tool_call_id, latency_ms, is_error, error_code, output_bytes, was_truncated, retry_count
agent.compaction tokens_before, tokens_after, turns_compacted, compaction_latency_ms

Support privacy-safe payload capture: store full prompt/response bodies in access-controlled artifact storage keyed by content hash so engineers can replay any failing turn without leaking secrets into standard metrics indices.

Three-Tier Evaluation Strategy

Combine fast deterministic checks with trajectory and outcome graders:

  1. Deterministic Unit & Contract Evals (CI on every PR):
    • Schema conformance of structured outputs and tool call arguments.
    • Exact assertion checks on deterministic fixtures (e.g., forbidden tools never called, required citation IDs present, no injected instructions followed).
  2. Trajectory & Tool-Selection Evals (Recorded / Mocked Tools):
    • Replay a golden conversation prefix up to turn $T$ and assert that the next turn selects the expected tool category, passes valid parameters, and completes within step/token budgets (pass@k and pass^k for reliability across multiple trials).
  3. End-to-End Outcome & Rubric Evals:
    • Grade the final artifact (e.g., tests pass in sandbox, SQL query returns expected rows, or pairwise LLM-as-judge rubric with explicit binary criteria and reference answers).
    • Calibrate any LLM judge against human-labeled golden examples and measure agreement before trusting automated scores.

Failure Diagnosis & Flywheel

When diagnosing a failing agent run:

  • Classify the root cause precisely: Context Deficit (needed info missing or compacted away), Tool Contract Flaw (ambiguous schema or unhelpful error message), Runtime/Control Bug (premature stop, timeout, broken state resume), or Model Capability Limit (reasoning failure despite clean context).
  • Convert every production bug or regression into a permanent anonymized fixture in the evaluation dataset before closing the fix.

Csomagban lévő fájlok 1

  • SKILL.md

A skillcsomag bemutatása

llm-eval-observability

llm-eval-observability: AI-ügynökfunkciókat épít egyértelmű eszközszerződésekkel, szabályozott jogosultságokkal, tartós állapottal és követhető modellműködéssel.

Részletek…Összecsukás

llm-eval-observability

llm-eval-observability: AI-ügynökfunkciókat épít egyértelmű eszközszerződésekkel, szabályozott jogosultságokkal, tartós állapottal és követhető modellműködéssel.

A teljes skillt és a hozzá tartozó fájlokat tartalmazza (1 fájl). Az alábbi eredeti leírás rögzíti a pontos alkalmazási területét.

A skill eredeti leírása (a forrás nyelvén)

Use when instrumenting LLM and agent runs, designing offline or online evaluations, building regression datasets from production traces, or diagnosing agent failures, latency bottlenecks, and quality regressions.

Telepítsd a skillt, nézd át a forrását és a megbízhatósági beállításait, majd engedélyezd a megfelelő projektben vagy ügynöknél.

Előfeltételek

  • A számítógépedre telepített Orqestria.