Agent Arena: Claude Opus 5 prowadzi, ale metryki mają różnych liderów

Agent Arena pokazuje problem, którego nie widać w zwykłych rankingach modeli: agent może świetnie kończyć zadania, a jednocześnie gorzej reagować na poprawki albo częściej gubić się po błędzie narzędzia. Według tablicy z 19 sierpnia 2026 r. pierwsze miejsce ogółem zajmuje Claude Opus 5 (High), ale każda z pięciu składowych ma innego lidera.

To nie jest drobny szczegół metodologiczny. W praktyce oznacza, że pytanie „który model jest najlepszym agentem?” jest źle postawione, dopóki nie wiadomo, czy ważniejsze jest ukończenie zadania, przyjmowanie korekt, odzyskiwanie po błędach powłoki, zadowolenie użytkownika czy poprawne korzystanie z dostępnych narzędzi.

• tablica obejmuje 51 modeli i 1 913 847 sesji;
• liderem ogólnym jest Claude Opus 5 (High) z wynikiem 12,47% ±1,54 p.p.;
• Claude Opus 5 (Max) prowadzi w potwierdzonym ukończeniu zadania;
• GPT-5.6 Sol (xHigh) zbiera najwięcej pochwał względem skarg;
• GPT-5.5 (xHigh) najlepiej odzyskuje sprawność po błędach Bash;
• GLM 5.2 (Max) Arena wskazuje jako lidera unikania halucynacji narzędzi.

Co właściwie mierzy Agent Arena

Klasyczne tablice Arena opierają się przede wszystkim na porównywaniu dwóch odpowiedzi i głosach użytkowników. Agent Arena działa inaczej. Użytkownik prowadzi jedną, często wieloetapową sesję, a model-orkiestrator decyduje, kiedy użyć wyszukiwarki, terminala, plików lub innego narzędzia. To zachowanie w toku pracy, a nie tylko jakość końcowej odpowiedzi, staje się przedmiotem pomiaru.

Arena losowo przydziela orkiestrator do sesji i analizuje ślady działania. Zespół nazywa tę metodę causal tracing: próbuje oszacować, jak wybór konkretnego modelu zmienia wynik wobec przeciętnego modelu w aktualnej puli. To ważne rozróżnienie względem zwykłego benchmarku AI z niezmiennym zestawem pytań.

Ranking ogólny jest obecnie równą średnią pięciu sygnałów. Każdy wnosi więc taki sam udział, choć opisuje inną część pracy:

1. Confirmed Success — czy użytkownik ostatecznie potwierdził wykonanie zadania.
2. Praise vs Complaint — czy w danym zadaniu pochwały przeważały nad wyraźnymi skargami.
3. Steerability — czy po korekcie użytkownika kolejna próba została przyjęta.
4. Bash Recovery — jak sprawnie agent wrócił do działającego polecenia po własnym błędzie w powłoce.
5. Tool Hallucination — czy model próbował wywołać narzędzie, którego nie ma, albo wygenerował wadliwą nazwę wywołania.

Claude Opus 5 prowadzi, ale przewaga nie jest rozstrzygająca

W widoku ogólnym na pierwszym miejscu widnieje Claude Opus 5 (High). Warto jednak czytać nie tylko kolejność, lecz również margines błędu, liczbę sesji i koszt zadania. Stan tablicy z 19 sierpnia 2026 r. wyglądał następująco:

Przedziały ufności trzech pierwszych wariantów Claude wyraźnie się nakładają. Nawet przedział Kimi K3 częściowo zachodzi na zakres lidera. Pierwsze miejsce jest zatem poprawnym opisem kolejności na tablicy, ale nie dowodem na dużą i statystycznie bezsporną przewagę.

Sam Claude Opus 5 ma przy tym dwa profile w czołówce. Wariant High kosztował w medianie 2,15 USD na zadanie, a Max 3,26 USD. Droższy Max częściej prowadził użytkownika do potwierdzonego końca zadania, lecz High uzyskał lepszą średnią pięciu sygnałów.

Pięć sygnałów, pięciu liderów

Najciekawsza część tablicy zaczyna się po odejściu od jednej liczby. W każdym sygnale prowadzi inny wariant:

Najszerszy margines błędu ma wynik GPT-5.6 Sol dla pochwał i skarg. 22,20% brzmi precyzyjnie, lecz przedział ±5,11 p.p. każe zachować ostrożność przy porównywaniu bliskich modeli. W sygnale halucynacji narzędzi wiele pozycji ma po zaokrągleniu tę samą wartość 1,14%, dlatego etykieta lidera dla GLM 5.2 (Max) nie oznacza widocznej przepaści nad konkurentami.

Różne liczebności także mają znaczenie. Pochwała lub skarga pojawia się tylko w części zadań, natomiast błędne wywołania narzędzi można wykrywać automatycznie w znacznie większym zbiorze zdarzeń. To jeden z powodów, dla których nie należy porównywać szerokości przedziałów bez kontekstu.

Procent nie oznacza surowej skuteczności

Najłatwiejszy błąd interpretacyjny polega na odczytaniu 18,52% jako odsetka wszystkich ukończonych zadań. Agent Arena raportuje coś innego: szacowaną zmianę w punktach procentowych po zastąpieniu przeciętnego orkiestratora konkretnym modelem. Dodatni wynik oznacza poprawę względem dynamicznej bazy.

Dotyczy to również Tool Hallucination. Nie należy pisać, że GLM zmyśla narzędzia w 1,14% przypadków. W tym sygnale naturalnie lepsza jest niższa częstość błędu, a tablica przedstawia zorientowaną poprawę wobec modelu bazowego.

Baza zmienia się razem z zestawem modeli. Gdy do Areny trafia nowy, mocny orkiestrator, średnia rośnie i wyniki pozostałych mogą spaść, nawet jeśli ich zachowanie się nie pogorszyło. Dodatkowo nowsze obserwacje otrzymują większą wagę. Ranking jest więc migawką, a nie certyfikatem przypisanym modelowi raz na zawsze.

Jak dobierać model do zadania

Dla osoby wybierającej agenta wniosek jest bardziej użyteczny niż sama kolejność. Jeżeli najważniejsze jest domykanie długiego zadania i uzyskanie jawnego potwierdzenia, warto przyjrzeć się Claude Opus 5 (Max). Gdy praca wymaga częstych korekt, lepszym sygnałem będzie Steerability, gdzie prowadzi Opus 5 (High). W zadaniach terminalowych interesujący jest GPT-5.5 (xHigh), bo najlepiej wypada w odzyskiwaniu sprawności po nieudanym poleceniu Bash.

To nadal wskazówki, nie gwarancje. Wynik dotyczy modeli działających w konkretnym Agent Mode i z jego zestawem narzędzi. Inny system prompt, uprawnienia, pamięć, mechanizm ponawiania lub interfejs narzędziowy mogą zmienić zachowanie tego samego modelu. Podobną ostrożność warto zachować przy czytaniu wyników dotyczących Gemini 3.7 Flash w kodowaniu i agentach.

Arena dodała też filtry Code, Chat i Work oraz pomiar kosztu zadania. To krok w dobrą stronę, ponieważ model numer jeden dla pracy biurowej nie musi być numerem jeden przy debugowaniu. Kategorie nie są jednak rozłączne: jedno zadanie może zostać oznaczone jako Code i Work. W analizie 1,7 mln sesji zadania Work stanowiły 69,1%, Chat 39,0%, a Code 38,8%, więc sumy przekraczają 100%.

Koszt na zadanie mówi więcej niż cena miliona tokenów

Agent może mieć tani cennik wejścia i wyjścia, ale wykonać wiele kroków, długo obrabiać kontekst albo prowokować użytkownika do kolejnych poprawek. Agent Arena dlatego pokazuje medianowy koszt rzeczywistego zadania. W pierwszej piątce ogólnej Kimi K3 (Max) kosztował 0,64 USD, czyli około pięć razy mniej niż Claude Opus 5 (Max) przy 3,26 USD.

Nie jest to jednak kontrolowany eksperyment cenowy. Arena segmentuje prawdziwe sesje na zadania i uwzględnia najwyżej trzy pierwsze zadania, aby ograniczyć wpływ narastającego kontekstu. Nadal różnią się trudność poleceń, liczba tur i zachowanie użytkowników. Koszt P50 najlepiej traktować jako wskazówkę z rzeczywistego ruchu, a nie obietnicę rachunku w innym produkcie.

Ograniczenia, których nie wolno zgubić

Losowy przydział modelu wzmacnia wnioskowanie przyczynowe wewnątrz Areny, ale nie rozwiązuje wszystkich problemów. Użytkownicy Agent Mode nie muszą reprezentować wszystkich firm i zastosowań. Pięć sygnałów jest zestawem dobranych wskaźników zastępczych; równe ważenie ich w wyniku ogólnym jest decyzją projektową, a nie prawem natury.

Potwierdzenie sukcesu może zależeć od cierpliwości użytkownika. Pochwały i skargi trzeba rozpoznać w języku naturalnym. Steerability ocenia najbliższą reakcję na korektę, ale niekoniecznie jakość całego produktu. Bash Recovery premiuje sprawne wyjście z awarii, lecz agent, który rzadziej powoduje błędy, może mieć mniej okazji do zdobycia tego sygnału. Przed wdrożeniem warto więc połączyć dane Areny z własnymi zadaniami testowymi i szerszą oceną wiarygodności modeli AI.

Jeden ranking jest początkiem decyzji

Agent Arena nie daje jednego prostego zwycięzcy i właśnie dlatego jest użyteczna. Claude Opus 5 (High) prowadzi w wyniku ogólnym, ale Opus 5 (Max), GPT-5.6 Sol, GPT-5.5 i GLM 5.2 mają przewagę w innych zachowaniach. Dla użytkownika ważniejsza od numeru przy nazwie modelu jest odpowiedź na pytanie, który rodzaj błędu będzie najdroższy w jego pracy.

Najrozsądniejszy sposób korzystania z tablicy to wybranie kategorii zadania, sprawdzenie właściwego sygnału, porównanie przedziałów ufności i dopiero na końcu kosztu. Ranking ogólny nadaje się do stworzenia krótkiej listy kandydatów. Ostateczny wybór powinny potwierdzić własne testy na tym samym harnessie, narzędziach i poziomie uprawnień, które trafią do produkcji.