W dobie rosnącej popularności sztucznej inteligencji, ChatBoty stają się coraz bardziej zaawansowane i niezwykle przydatne. OpenAI, twórca ChatGPT, wykorzystuje potężną moc obliczeniową, by dostarczyć użytkownikom precyzyjnych i wartościowych odpowiedzi. Niestety, za tą imponującą technologią kryją się ogromne koszty utrzymania, które zdają się być nieuniknione. Jak jednak wskazują badania przeprowadzone przez SemiAnalysis, obecne koszty mogą być znacząco zredukowane dzięki planowanym inwestycjom i innowacjom. Oto nieco bardziej szczegółowy przegląd sytuacji związanej z utrzymaniem ChatGPT.
Imponujące koszty utrzymania ChatBota OpenAI
SemiAnalysis przeprowadziło badania, które ujawniły znaczne koszty związane z utrzymaniem ChatBota OpenAI. Ten innowacyjny system opiera się na 3617 serwerach HGX A100 z 28936 procesorami graficznymi, co prowadzi do kosztu zapytania wynoszącego około 1,50 PLN.
Przyczyny wysokich kosztów i plany obniżenia ich wartości
Głównym powodem tak wysokich kosztów utrzymania popularnego generatywnego systemu „sztucznej inteligencji” są zaawansowane układy scalone. Istnieją nieoficjalne informacje, że Microsoft, istotny inwestor OpenAI, rozwija własny układ AI o nazwie „Athena”. Jego wprowadzenie miałoby zastąpić procesory graficzne NVIDIA oraz istotnie zredukować koszty działania ChatGPT, obecnie osiągające nawet 700 000 USD dziennie.
ChatGPT Plus – próba zrównoważenia kosztów
Ze względu na ogromne koszty utrzymania, które sięgają nawet setek tysięcy dolarów dziennie, OpenAI zdecydowało się na wprowadzenie ChatGPT Plus. Niemniej jednak, przychody z subskrypcji prawdopodobnie stanowią jedynie niewielki procent całkowitych wydatków.
Wyjątkowe koszty operacyjne w porównaniu do kosztów szkolenia
Szkolenie dużych modeli językowych ChatGPT kosztuje prawdopodobnie dziesiątki milionów dolarów. Jak jednak podkreślają Dylan Patel i Afzal Ahmad z SemiAnalysis, koszty operacyjne znacznie przekraczają koszty szkolenia, szczególnie gdy model jest wdrożony na dużą skalę. W rzeczywistości, koszty wnioskowania ChatGPT są wyższe nawet od tygodniowych kosztów szkolenia.
Perspektywy obniżenia kosztów dzięki Microsoftowi
Dylan Patel, główny analityk w SemiAnalysis, zaznaczył, że obecne koszty uruchomienia oprogramowania mogą być jeszcze wyższe, gdyż GPT-4 prawdopodobnie jest droższy w eksploatacji niż GPT-3. Patel oparł swoje szacunki na starszym modelu GPT-3, lecz OpenAI wydało już wersję GPT-4 dla subskrybentów. Nowy model ma zapewniać precyzyjniejsze informacje i lepszą ochronę przed niestandardowymi pytaniami i odpowiedziami, co było problemem w przypadku GPT-3/3.5.
