DeepSeek-V3, nowa wersja modelu językowego opracowanego przez chińską firmę, przyciąga uwagę mediów jako jeden z najbardziej obiecujących projektów w dziedzinie sztucznej inteligencji.
Projekt ten jest wspierany przez High-Flyer Capital Management, fundusz hedgingowy, który od lat inwestuje w przełomowe technologie.
Twórcy i naukowcy zaangażowani w projekt
Za stworzenie DeepSeek-V3 odpowiada interdyscyplinarny zespół naukowców i inżynierów sztucznej inteligencji. W zespole znaleźli się m.in.: Aixin Liu, Bing Xue, Liang Zhao, Wenhua Guo, Xiaotian Li, Jiawei Zhou, Mingrui Wang, Chunhong Wu i Zhenyu Zhang. Niektóre z tych osób, takie jak Liang Zhao, są uznanymi autorytetami w dziedzinie sztucznej inteligencji i eksploracji danych. Liang Zhao jest profesorem nadzwyczajnym na Uniwersytecie Emory, specjalizującym się w grafowych sieciach neuronowych i wyjaśnialnej sztucznej inteligencji.
Unikalne cechy DeepSeek-V3
DeepSeek-V3 wyróżnia się na rynku dzięki zastosowaniu architektury Mixture-of-Experts (MoE). Dzięki tej technologii model korzysta z aż 671 miliardów parametrów, z których jedynie 37 miliardów jest aktywowanych dla pojedynczego tokena. Taka konstrukcja pozwala na znaczne zmniejszenie obciążenia obliczeniowego przy jednoczesnym zachowaniu wysokiej jakości generowanych odpowiedzi.
Model wprowadza nowatorskie techniki uczenia z niską precyzją (FP8), które znacząco redukują koszty obliczeniowe i zapotrzebowanie na pamięć, bez wpływu na dokładność wyników. Ponadto, DeepSeek-V3 obsługuje długości kontekstu do 128 tysięcy tokenów, co czyni go niezwykle efektywnym w analizie długich tekstów.
Dzięki zaawansowanej optymalizacji komunikacji między węzłami, w tym zastosowaniu algorytmu DualPipe, model skraca czas trenowania poprzez równoczesne wykonywanie obliczeń i przesyłanie danych. Strategia równoważenia obciążenia bez użycia dodatkowych strat (auxiliary loss) eliminuje degradację wydajności, zachowując wysoką jakość predykcji.
Ponadto model wykorzystuje innowacyjne metody optymalizacji, takie jak strategia równoważenia obciążenia i predykcja wielu tokenów (MTP). Te rozwiązania pozwoliły osiągnąć szybkość generowania na poziomie 60 tokenów na sekundę, co jest imponującym wynikiem w porównaniu z konkurencyjnymi rozwiązaniami. dzięki zastosowaniu architektury Mixture-of-Experts (MoE). Dzięki tej technologii model korzysta z aż 671 miliardów parametrów, z których jedynie 37 miliardów jest aktywowanych dla pojedynczego tokena. Taka konstrukcja pozwala na znaczne zmniejszenie obciążenia obliczeniowego przy jednoczesnym zachowaniu wysokiej jakości generowanych odpowiedzi.
Ponadto model wykorzystuje innowacyjne metody optymalizacji, takie jak strategia równoważenia obciążenia i predykcja wielu tokenów (MTP). Te rozwiązania pozwoliły osiągnąć szybkość generowania na poziomie 60 tokenów na sekundę, co jest imponującym wynikiem w porównaniu z konkurencyjnymi rozwiązaniami.
Proces treningu
DeepSeek-V3 został wytrenowany na zestawie danych zawierającym 14,8 bilionów wysokiej jakości tokenów, co zapewniło mu szeroką wiedzę i zdolność do generowania precyzyjnych odpowiedzi w różnorodnych zadaniach. Proces treningu, który odbywał się na platformie obliczeniowej GPU H800, trwał łącznie 2,788 miliona godzin. Szacunkowy koszt tego przedsięwzięcia wyniósł około 5,57 miliona dolarów, co podkreśla skalę inwestycji w ten projekt.
Przewaga nad konkurencją
W testach porównawczych DeepSeek-V3 przewyższa inne modele open source, takie jak Llama 3.1-405B, i dorównuje zamkniętym rozwiązaniom typu GPT-4o czy Claude-3.5-Sonnet. Co więcej, DeepSeek-V3 wyróżnia się pod względem stosunku ceny do wydajności. Jak pokazuje analiza MMLU Redux ZeroEval Score w odniesieniu do kosztu API (na milion tokenów), model oferuje jednocześnie wysoką jakość wyników i konkurencyjną cenę użytkowania. Taka optymalizacja sprawia, że jest to atrakcyjne rozwiązanie dla firm szukających efektywnych kosztowo modeli AI.
| Benchmark | DeepSeek-V3 | ChatGPT-4o | o1 | Gemini 2.0 Flash (Experimental) |
|---|---|---|---|---|
| MMLU | 88.5% | 88.7% | 92.0% | 81.9% |
| HumanEval | 82.6% | 90.2% | 91.0% | 71.9% |
| MATH | 90.2% | 76.6% | 94.8% | 89.7% |
| ARC | N/A | 75.7% | 87.5% | N/A |
Ceny API dla DeepSeek-V3 wynoszą $0.27 za milion tokenów w przypadku cache miss, $0.07 za milion tokenów w przypadku cache hit oraz $1.10 za milion tokenów dla generowanych wyników. Takie konkurencyjne stawki czynią go wyjątkowo opłacalnym w porównaniu do innych rozwiązań dostępnych na rynku. Model szczególnie dobrze radzi sobie w zadaniach związanych z matematyką oraz programowaniem, co czyni go atrakcyjnym wyborem dla firm i instytucji poszukujących zaawansowanych narzędzi do analizy danych.
Dostępność i zastosowania
DeepSeek-V3 jest dostępny jako model open source na platformie GitHub, co pozwala na jego szerokie wykorzystanie w różnych dziedzinach, w tym w aplikacjach komercyjnych. Dzięki swojej elastyczności i wydajności może znaleźć zastosowanie w takich obszarach jak automatyzacja procesów biznesowych, analiza danych czy rozwój chatbotów.
