Levná kaskáda selhává na konzistenci výstupu

GLM-5.3 Flash není jen levnější alternativa. V DeepSWE mění profil výkonu: při kaskádě s testy poráží plný model v poměru cena/výkon a ukazuje, kdy se vyplatí začít levněji.

---

Překvapivé je, že levnější GLM-5.3 Flash na DeepSWE neprohrává hlavně schopností, ale konzistencí. Pokud vy v produkční pipeline hodnotíte modely jen podle pass@1, můžete špatně nastavit routing i rozpočet. Kaskáda Flash nejdřív a plný model až po odmítnutí testy dává 80,9 % za 1,70 USD na úkol, zatímco samotný plný model 69,0 % za 3,99 USD.

Praktické rozhodnutí pro nasazení: kdy začít levnějším modelem, kdy sáhnout po plném a jak funguje kaskáda

Z dat vyplývá, že kaskáda s levnějším modelem a přepnutím na plný po odmítnutí ověřovatelem dala 80,9 % za 1,70 USD na úkol. Samotný plný model dosáhl 69,0 % za 3,99 USD. My proto nečteme routing jen jako úsporu, ale jako řízení spolehlivosti výstupu.

Levnější model dává smysl tam, kde úloha snese více pokusů a systém umí poznat neúspěch. Naopak plný model volíme, když záleží na prvním pokusu a není prostor spoléhat na validaci nebo testy. Tato zjištění platí pro benchmark, ne pro každý coding workflow.

Autoři zároveň ukazují, že Flash má vyšší míru porušení již funkčního základu, takže před přijetím diffu potřebuje regresní běh. My v praxi čteme benchmark jako podporu pro výchozí vrstvu přes levnější model a přepnutí na plný model tam, kde rozhoduje jistota.

Výkon, cena a rychlost obou variant v jednom bloku

Z dat vyplývá, že plný model vyřešil 69,0 % úloh za 3,99 USD na rollout, zatímco levnější varianta dosáhla 63,4 % za 0,24 USD. Rozdíl v prvním pokusu je větší než při více pokusech: 69,0 % vs. 63,4 % a pak 87,6 % vs. 85,0 %.

Levnější varianta je tedy přibližně 17× levnější a na 100 USD vyřeší 264 úloh, zatímco plný model 17. My z toho čteme silnější provozní efekt tam, kde rozhoduje cena za výsledek, ne jednorázová špička.

Rychlost tento obraz potvrzuje: plný model potřeboval 35 min, levnější varianta 26 min, přesto běžely téměř stejně dlouho — 125 vs. 123 kroků. Rozdíl tedy nevzniká kratší prací, ale levnějším krokem a kratším časem na krok: 17,0 s proti 12,5 s.

pass@1 versus pass@4 v benchmarku DeepSWE

V testu se ukázalo, že plný model vede v pass@1 s 69,0 % proti 63,4 %. Z dat ale zároveň vyplývá, že rozdíl se s opakováním rychle zmenšuje: 81,1 % vs. 77,1 % v pass@2, 85,4 % vs. 82,1 % v pass@3 a 87,6 % vs. 85,0 % v pass@4.

My z toho čteme, že pass@1 přeceňuje jednorázový lesk a podhodnocuje obnovitelnost úspěchu. Levnější varianta tu nevypadá jako zmenšená kopie plného modelu, ale jako jinak rozložený výkon. Pro deployment proto my čteme benchmark přes pass@k, ne jen přes první pokus.

Toto zjištění platí pro tento benchmark, ne jako univerzální pravidlo pro všechny modely. V další části proto navážeme na to, co se stane s pokrytím úloh při opakování.

Destilace snížila konzistenci, ne schopnost řešit úlohy

Data ukazují, že z 48 úloh, které plný model zvládl 4/4, levnější varianta neudělala žádnou neřešitelnou. U úloh, které plný model vyřešil alespoň jednou, udržela 93 z 99 úloh, tedy 94 %.

V testu zároveň platí, že „solidních“ úloh bylo 48 vs. 39 a „zdí“ 14 vs. 17. Korelace na úkol dosáhla 0,61 a unie pokrytí byla 102 z 113, tedy 90,3 %. My z toho čteme hlavně posun v konzistenci.

Levnější varianta tedy neztratila základní schopnost úlohy řešit, ale častěji klopýtá na okrajích distribuce. Pro praxi to znamená, že opakované pokusy mohou velkou část rozdílu vrátit a že výsledky musíme číst podle robustness konkrétní úlohy.

Levnější varianta méně často mění delší běh ve výhru

Z dat vyplývá, že plný model proměnil delší běhy ve výhru v 61 % případů, zatímco levnější varianta jen v 46 %. My z toho čteme nižší schopnost přetavit další pokus v lepší výsledek.

Současně levnější varianta vykazuje nižší variabilitu kroků. V praxi to znamená menší ochotu měnit průběh práce, i když delší běh běží dál. Pro rozhodování o kaskádě je to důležité hlavně u úloh, kde má retry opravdu zlepšovat výsledek.

Zisky a ztráty podle domén a jazyků

Data ukazují, že levnější varianta zaostává hlavně u úloh náročných na první pokus, JavaScript a dotazovací či konfigurační úlohy. Naopak získává v konkurenci a odolnosti, v Pythonu, datovém modelování a protokolech.

V doménách vyhrává plný model v 5 z 8 případů, levnější varianta ve 3 z 8. V jazycích vede plný model ve 4 případech, levnější varianta jen v 1, tedy v Pythonu. My to čteme jako směrový rozdíl, ne absolutní verdikt.

U jazykových řezů musíme být opatrní. JavaScriptový vzorek má jen 5 úloh a srovnání tam táhne jediný úkol. Proto tyto závěry nepřeháníme a bereme je jako vodítko pro další testování, ne jako univerzální pravdu.

Regresní brána jako ochrana proti porušení funkčního základu

Data z benchmarku ukazují, že levnější varianta častěji porušila už funkční základ: 6,9 % oproti 4,4 % u plného modelu. My to nečteme jako drobný detail ceny, ale jako samostatné provozní riziko.

To znamená, že při nasazení musíme oddělit úsporu od bezpečnosti změny. Autoři z dat vyvozují potřebu regresní brány a plné testovací sady před přijetím diffu.

Routing proto nemá stát jen na ceně a výkonu. My v něm musíme počítat i s regresním rizikem, jinak levnější vrstva může zhoršit už vyřešené úlohy.

Metodika DeepSWE a limity závěrů

Z dat DeepSWE vyplývá srovnání na 113 úlohách, se 4 pokusy na konfiguraci a celkem 900 spuštění. Autoři pracovali s veřejně dostupnými trajektoriemi, takže výsledky vážeme na DeepSWE v1.1 a tuto konkrétní sadu.

Benchmark měří opakované chování modelu, ne jen jednorázový výstup. Rozdělení bylo 452 běhů plné varianty a 448 běhů levnější varianty. My proto čteme rozdíly jako platné pro tuto konfiguraci, ne jako univerzální pravdu.

U doménových a jazykových řezů navíc počítáme s malými vzorky. JavaScript stojí jen na 5 úlohách, takže některé závěry bereme směrově. Pro praxi to znamená opatrnost při přenosu do jiných coding workflows.

Co si z DeepSWE odnést pro routing v praxi

My z dat nečteme, že by GLM-5.3 Flash byl jen „horší“ verze plného modelu. Spíš vidíme, že ztrácí hlavně konzistenci na první pokus, zatímco schopnost úlohu vůbec vyřešit si drží překvapivě blízko plné variantě. To je pro běžnou marketingovou a produktovou praxi důležité: když umíme výstup testovat, validovat a případně poslat na retry, levnější vrstva může fungovat jako výchozí stupeň kaskády. Plný model pak dává větší smysl jako eskalace pro těžké zbytky, pro first-try reliability a pro situace, kde chyba na první pokus stojí víc než samotný výpočet.

Odpověď na hlavní otázku tedy zní: GLM-5.3 Flash není jen levnější, ale mění profil schopností natolik, že se vyplatí jako první stupeň kaskády právě tam, kde máme regresní test, routing a možnost chybu vrátit. My bychom z toho udělali rozhodovací rámec, ne dogma: levná vrstva pro dobře kontrolované úlohy, plná varianta pro riskantní nebo kritické výstupy a regresní brána jako povinná pojistka proti tomu, že úspora znehodnotí už fungující řešení.

FAQ

Je GLM-5.3 Flash jen levnější, nebo mění profil schopností?
My z dat čteme, že mění profil schopností hlavně v konzistenci a stabilitě na první pokus, ne v základní schopnosti úlohy řešit.

Kdy dává smysl začít levnějším modelem?
My bychom z benchmarku odvodili, že hlavně tam, kde umíme výstup ověřit, případně zopakovat a včas eskalovat dál.

Proč je regresní test tak důležitý?
Protože levnější varianta může častěji narušit už funkční základ. My tedy potřebujeme bránu, která ochrání to, co už funguje, před levnou chybou v další verzi routing logiky.

Zdroj: together.ai

---