Správné volání nestačí, selhávají argumenty

Agent Seer ukazuje, že u tool-calling agentů nestačí hlídat správný nástroj. Rozhodují i parametry a koherence dialogu — a právě na nich selhávají hrubé benchmarky založené jen na názvech funkcí.

---

Stačí vám ověřit, že agent sáhl po správném nástroji? Vůbec ne. U systémů napojených na více nástrojů se láme kvalita až na parametrech a koherentním toku dialogu. Ruční benchmarky jsou navíc drahé, pomalé a s API rychle zastarávají. Právě to řeší výzkum Agent Seer od Harishe Karumuriho, Maheshe Vemuly a Davida Lopese Pegny.

Ruční benchmarky tool-using agentů a vstupy Agent Seer

Autoři studie konstatují, že ručně tvořené scénáře se napříč ekosystémy nástrojů škálují špatně a rychle zastarávají s API. Zároveň ukazují, že Agent Seer pracuje jen s jednou MCP specifikací, bez příkladů, bez živých nástrojů a bez domain-specific tuningu.

Z dat vyplývá, že právě tato vstupní omezení mají z benchmarkování udělat přenositelný proces napříč doménami. My v tom čteme hlavně posun v metodě: nejde o další ruční sadu úloh, ale o využití specifikace jako podkladu pro hodnocení.

Tím se otevírá otázka, jak se ze samotného popisu nástroje skládají scénáře a dialogy, a kde se v nich láme kvalita. Na to navazuje další část.

Jádro postupu Agent Seer: schémata, scénáře, výstupy a dialogy

Autoři ukazují, že MCP specifikace nesou latentní sémantické informace, které stačí k syntéze evaluace. Proces nejprve obohacuje schémata, pak z nich generuje hodnoticí scénáře a syntetické výstupy nástrojů.

Následně tento postup rozšiřuje scénáře do dialogů na fiktivních datech. Z dat vyplývá, že realistické hodnocení tool-using agentů nemusí stát na ručně navržených scénářích ani na živém spouštění nástrojů.

My z toho čteme hlavně přesné vymezení vstupů: rozhoduje samotná specifikace, ne až shoda názvu nástroje. Právě tato linka připravuje půdu pro evaluaci napříč doménami a velikostmi toolsetů.

Způsob evaluace na sedmi MCP specifikacích

Autoři ověřovali syntetický evaluační proces na sedmi MCP specifikacích z různých domén a při různě velkých sadách nástrojů. Zjištění stavěli na dvou kritériích: správnosti volání nástrojů a konverzační koherenci.

Z dat vyplývá, že takto vytvořené scénáře vykazují silnou správnost volání i koherenci dialogu. My v tom vidíme hlavně praktickou zprávu: při srovnání benchmarků nestačí sledovat jen počet nástrojů, ale i strukturu parametrických schémat.

Výsledky napříč sedmi MCP specifikacemi a role parametrických schémat

Autoři zjistili, že syntetický proces drží silnou kvalitu napříč všemi oblastmi. U malých a středních specifikací navíc dosáhl úplného pokrytí nástrojů. To platí při testu nad 7 MCP specifikacemi.

Data zároveň ukazují, že hlavní rozdíly ve kvalitě nevysvětluje velikost sady nástrojů sama o sobě. Silněji souvisí se složitostí parametrických schémat. My v tom čteme praktický rozdíl: nejde jen o počet nástrojů, ale o to, jak přesně jejich argumenty zachytíme.

Právě tady se ukazuje slabé místo hodnocení. Nejčastější selhání se soustředí do přesnosti hodnot argumentů, zatímco hrubé metriky názvů to neodhalí. Tím se připravuje půda pro další část, kde se podíváme na limity tohoto typu měření.

Selhání v přesnosti argumentů a limity hrubých metrik

Autoři uvádějí, že dominantní slabina nedokonalých scénářů leží v přesnosti hodnot argumentů. My z dat čteme, že problém není v názvu nástroje jako takovém, ale v tom, zda sedí konkrétní parametry.

Tento typ chyby hrubé metriky založené jen na shodě názvů nástrojů neodhalí. My proto vidíme jasné vymezení: pokud měříme jen volání podle názvu, přehlédneme nejcitlivější místo evaluace.

Závěr studie tak pro praxi znamená, že metriky postavené pouze na shodě názvů jsou příliš hrubé. My potřebujeme sledovat i přesnost argumentů, jinak nám slabé scénáře projdou jako dostatečně kvalitní.

Co si z toho vzít do evaluace tool-calling agentů

Na hlavní otázku data odpovídají poměrně jasně: ano, z pouhých specifikací nástrojů lze vytvořit realistické a použitelné hodnoticí scénáře pro tool-calling agenty. Zároveň ale platí, že kvalita takového benchmarku nestojí jen na tom, zda agent „volá správnou funkci“. Rozhodující je, jak přesně pracuje s parametry a zda naše metrika umí zachytit právě tuhle vrstvu. Pro běžnou marketingovou praxi z toho plyne nepříjemná, ale důležitá věc: můžeme mít test, který na papíře vypadá robustně, a přesto přehlíží chyby, jež v reálném provozu rozbijí workflow, reporting nebo napojení na data.

My bychom si z výsledků měli odnést hlavně to, že při posuzování agentů napojených na nástroje může být zavádějící přeceňovat velikost toolsetu a podceňovat složitost parametrických schémat. Studie podle dat naznačuje, že právě argumenty jsou místo, kde se kvalita láme nejčastěji, zatímco hrubé metriky založené jen na názvu nástroje to neodhalí. Prakticky to znamená, že pokud benchmark měří jen „správné volání“, může nám dávat falešný pocit jistoty. My proto vidíme jako klíčové zpochybnit, jestli naše evaluace opravdu hodnotí přesnost práce s parametry, nebo jen počet zásahů do nástrojů.

Zdroj: machinelearning.apple.com

---