Obsah se štítkem: benchmark

Články

Aktivita klame, audit ukáže slabé kanály

Máte aktivitu, reporty i „úspěšné“ posty — a přesto netušíte, co skutečně vydělává? Bez auditu jen přeléváte rozpočet mezi kanály, které vypadají dobře, ale byznysu nepomáhají.

GEO teze platí, důkazy selhávají

Když GEO čísla vypadají přesvědčivě, ale měří jiné publikum, jiný jmenovatel a starý model, rozpočet padá na dekoraci. Kolik vašich „důkazů“ by obstálo po kontrole?

Model nestačí, když pipeline brzdí koordinace

Více GPU, rychlejší model — a přesto se to zadrhne dřív, než začne inference. U 600 TB dat často nepadá výkon na modelu, ale na orchestrace, storage a dekódování. Kde vám mizí čas a GPU?

Správné volání nestačí, selhávají argumenty

Když agent zavolá správný nástroj, ještě nic nevyhrál. Benchmarky, které sledují jen názvy funkcí, často maskují chyby v parametrech — a právě tam se v praxi rozbíjí celý workflow.

Levná kaskáda selhává na konzistenci výstupu

Levnější model na první pokus zní chytře, ale v DeepSWE právě tohle nejčastěji klame. Když hodnotíte jen pass@1, můžete přeplatit routing i rozpočet — a přitom lepší výsledek leží v kaskádě s retry.