W ostatnich dniach coraz częściej mówi się o nowym modelu Chat o1, który wzbudza zachwyt swoimi zaawansowanymi zdolnościami rozumowania oraz wyjątkowymi wynikami w testach.
Wielu ekspertów z branży zauważa jego wszechstronność i przewagę w wielu zadaniach, jednak warto dokładnie przyjrzeć się, jak ten model wypada na tle innych, takich jak Claude 3.5 Sonnet, GPT-4o, Gemini 1.5 Pro oraz Llama 3 70B. Czy rzeczywiście Chat o1 zasługuje na miano lidera? Właśnie to chcemy sprawdzić.
Dzięki szczegółowemu porównaniu wyników w różnorodnych testach – od rozumowania na poziomie akademickim, przez zadania programistyczne, po zaawansowane umiejętności matematyczne – mamy nadzieję, że znajdziecie dla Chat o1 najwłaściwsze zastosowania. Analiza wyników pozwoli lepiej zrozumieć, w jakich obszarach ten model naprawdę się sprawdza, a gdzie może nieco ustępować rywalom.
Zestawmy wyniki w popularnych testach:
| Model | Average | MMLU | GPQA | MMMU | HumanEval | MATH |
|---|---|---|---|---|---|---|
| Chat o1 | 84.50% | 92.30% | 77.30% | 78.10% | 89.00% | 94.80% |
| o1-preview | n/a | 90.80% | 73.30% | n/a | n/a | 85.50% |
| GPT-4o (0513) | 75.92% | 88.70% | 53.60% | 69.10% | 90.20% | 76.60% |
| GPT-4 Turbo (0409) | 73.20% | 86.50% | 48.00% | 63.10% | 90.20% | 72.20% |
| Claude 3.5 Sonnet | 79.85% | 88.70% | 59.40% | 68.30% | 92.00% | 71.10% |
| Claude 3 Opus | 72.88% | 86.80% | 50.40% | 59.40% | 84.90% | 60.10% |
| GPT-4o Mini | 67.36% | 82.00% | 40.20% | 59.40% | 87.20% | 70.20% |
| GPT-4 (0314) | 67.36% | 86.40% | 35.70% | 56.80% | 67.00% | 52.90% |
| Gemini 1.5 Pro | 64.18% | 81.90% | 46.20% | 62.20% | 71.90% | 58.50% |
| Llama 3 70B | 63.90% | 82.00% | 39.50% | — | 81.70% | 50.40% |
| Gemini Ultra | 62.28% | 83.70% | 35.70% | 59.40% | 74.40% | 53.20% |
| Gemini 1.5 Flash | 62.92% | 78.90% | 39.50% | 56.10% | 67.50% | 67.70% |
| Claude 3 Sonnet | 62.30% | 79.00% | 46.40% | 53.10% | 73.00% | 43.10% |
| Claude 3 Haiku | 61.88% | 75.20% | 40.10% | 50.20% | 75.90% | 38.90% |
| Gemini Pro | 58.88% | 71.80% | 27.90% | 62.20% | 67.70% | 32.60% |
| Mistral Large | 57.70% | 81.20% | 35.10% | — | 45.10% | 45.00% |
| GPT-3.5 | 50.60% | 70.00% | 28.10% | — | 48.10% | 34.10% |
| Llama 3 8B | 54.20% | 68.40% | 34.20% | — | 62.00% | 30.00% |
| Mixtral 8×7B | 48.60% | 70.60% | 37.20% | — | 40.20% | 28.40% |
Przypomnij sobie co dane testy AI sprawdzają.
Chat o1 vs Claude 3.5 Sonnet
| Model | MMLU | GPQA | MMMU | HumanEval | MATH |
|---|---|---|---|---|---|
| Chat o1 | 92.30% | 77.30% | 78.10% | 89.00% | 94.80% |
| Claude 3.5 | 88.70% | 59.40% | 68.30% | 92.00% | 71.10% |
W porównaniu między Chat o1 a Claude 3.5 Sonnet, model o1 wygrywa w większości testów, z wyjątkiem HumanEval, gdzie Claude 3.5 osiąga nieco wyższy wynik (92.00% w porównaniu do 89.00%). W testach MMLU i MATH (odpowiednio 92.30% i 94.80%) Chat o1 wyraźnie dominuje nad Claude 3.5, który uzyskał 88.70% i 71.10%.
Wysoki wynik w MMLU wskazuje, że Chat o1 lepiej radzi sobie z zadaniami wymagającymi szerokiej wiedzy akademickiej. Z kolei jego wynik w MATH (94.80%) podkreśla wyższe umiejętności matematyczne niż Claude 3.5. Claude 3.5 ma jedynie przewagę w testach programistycznych, co może świadczyć o lepszych zdolnościach w kontekście rozwiązywania problemów związanych z kodowaniem.
Chat o1 vs GPT-4o
| Model | MMLU | GPQA | MMMU | HumanEval | MATH |
|---|---|---|---|---|---|
| Chat o1 | 92.30% | 77.30% | 78.10% | 89.00% | 94.80% |
| GPT-4o (0513) | 88.70% | 53.60% | 69.10% | 90.20% | 76.60% |
W zestawieniu z GPT-4o, Chat o1 przeważa w prawie wszystkich testach. Zdecydowana różnica widoczna jest w GPQA, gdzie Chat o1 uzyskał wynik 77.30% w porównaniu do 53.60% GPT-4o, co sugeruje, że Chat o1 znacznie lepiej radzi sobie z zadaniami wymagającymi złożonego rozumowania na poziomie akademickim.
Jednak GPT-4o uzyskał wyższy wynik w HumanEval (90.20% vs 89.00%), co sugeruje jego lepszą wydajność w kodowaniu. Różnica w MATH (94.80% dla Chat o1 i 76.60% dla GPT-4o) świadczy o znaczącej przewadze Chat o1 w umiejętnościach matematycznych.
Chat o1 vs Gemini 1.5 Pro
| Model | MMLU | GPQA | MMMU | HumanEval | MATH |
|---|---|---|---|---|---|
| Chat o1 | 92.30% | 77.30% | 78.10% | 89.00% | 94.80% |
| Gemini 1.5 Pro | 81.90% | 46.20% | 62.20% | 71.90% | 58.50% |
W porównaniu z Gemini 1.5 Pro, Chat o1 jest zdecydowanie bardziej zaawansowany, wygrywając we wszystkich testach. Różnice są szczególnie duże w GPQA (77.30% vs 46.20%) i MATH (94.80% vs 58.50%), co sugeruje, że Chat o1 jest lepszy w zadaniach wymagających zarówno złożonego rozumowania, jak i zaawansowanych umiejętności matematycznych.
Niska wydajność Gemini 1.5 Pro w HumanEval (71.90%) podkreśla, że model ten jest mniej wydajny w zadaniach związanych z programowaniem w porównaniu z Chat o1.
Chat o1 vs Llama 3 70B
| Model | MMLU | GPQA | MMMU | HumanEval | MATH |
|---|---|---|---|---|---|
| Chat o1 | 92.30% | 77.30% | 78.10% | 89.00% | 94.80% |
| Llama 3 70B | 82.00% | 39.50% | — | 81.70% | 50.40% |
W porównaniu do Llama 3 70B, Chat o1 wygrywa we wszystkich dostępnych testach. Wyniki w GPQA (77.30% dla Chat o1 i 39.50% dla Llama 3 70B) oraz MATH (94.80% vs 50.40%) wskazują, że Chat o1 ma znacznie lepsze zdolności w rozwiązywaniu złożonych problemów logicznych oraz matematycznych.
Llama 3 70B osiąga niższe wyniki w HumanEval (81.70%), co oznacza, że Chat o1 przewyższa go również w zadaniach programistycznych. Brak danych dla MMMU w przypadku Llama 3 70B również sugeruje, że Chat o1 jest bardziej wszechstronny w szerokim zakresie testów.
