OpenAI wprowadził GPT-4, kolejny kamień milowy w rozwoju technologii Sztucznej Inteligencji.
GPT-4 to duży, wielomodalny model (przyjmujący obrazy i tekst jako dane wejściowe i generujący tekst jako dane wyjściowe), który, choć nie radzi sobie tak dobrze jak ludzie w wielu rzeczywistych sytuacjach, osiąga wyniki na poziomie ludzkim w różnych profesjonalnych i akademickich testach. W ciągu ostatnich dwóch lat, OpenAI zbudowało swoją infrastrukturę głębokiego uczenia się i opracowało, we współpracy z Azure, superkomputer dedykowany do tego celu.
GPT-4 vs GPT-3.5
W porównaniu do GPT-3.5, GPT-4 cechuje się większą niezawodnością, kreatywnością oraz zdolnością do radzenia sobie z bardziej złożonymi zadaniami. GPT-4 zdobył wynik znajdujący się w top 10% osób zdających egzamin prawniczy, podczas gdy GPT-3.5 zdobył wynik z dolnej 10% osób zdających. OpenAI przeprowadziło szereg testów zarówno na benchmarkach przeznaczonych dla ludzi, jak i dla modeli uczenia maszynowego. Prace nad rozwojem GPT-4 trwały sześć miesięcy, a efektem jest lepsza jakość wyników pod względem faktografii, sterowalności oraz odmowy wykonywania zadań poza ustalonymi granicami.
Funkcje GPT-4
Model GPT-4 został przetestowany na różnych benchmarkach, zarówno tych przewidzianych dla ludzi, jak i dla modeli uczenia maszynowego. Wykorzystano najnowsze, dostępne publicznie testy oraz praktyczne egzaminy z lat 2022–2023. Wyniki te potwierdzają, że GPT-4 osiąga znacznie lepsze rezultaty od istniejących dużych modeli językowych, a także od większości modeli o najwyższej jakości (SOTA) opracowanych specjalnie dla poszczególnych benchmarków.
Wewnętrzne zastosowanie GPT-4
GPT-4 sprawdza się w obszarach takich jak wsparcie, sprzedaż, moderacja treści i programowanie. Model jest również wykorzystywany do wspierania ludzi w ocenie wyników generowanych przez AI, co jest zgodne z drugą fazą strategii OpenAI w zakresie dostosowywania modeli do potrzeb użytkowników.
API umożliwia wczytywanie obrazów
GPT-4 może przyjmować zarówno tekst, jak i obrazy jako dane wejściowe, co pozwala użytkownikowi określić dowolne zadanie związane z wizją lub językiem. Model generuje tekstowe dane wyjściowe (język naturalny, kod itp.) na podstawie danych wejściowych zawierających obrazy i tekst. GPT-4 wykazuje podobne zdolności w przypadku danych wejściowych zawierających obrazy, jak w przypadku danych tekstowych. Funkcja ta jest jednak wciąż w fazie badawczej i nie jest jeszcze dostępna publicznie. Zastosowanie łatwo sobie wyobrazić na podstawie dostarczinego przez OpenAI przykładu:
Benchmarki akademickie
GPT-4 został oceniony na wąskim zestawie standardowych akademickich benchmarków dotyczących wizji. Te liczby nie oddają w pełni zdolności modelu, ponieważ badacze ciągle odkrywają nowe i interesujące zadania, które GPT-4 potrafi wykonać. OpenAI planuje wkrótce opublikować dalsze analizy i wyniki ocen, a także dokładne badania efektów technik stosowanych podczas testów.
Sterowalność/programowalność
OpenAI pracuje nad każdym aspektem planu dotyczącego definiowania zachowania AI, w tym nad sterowalnością. Dzięki wiadomościom systemowym, użytkownicy API mogą znacznie dostosować doświadczenia swoich użytkowników, zachowując jednak pewne granice. Choć OpenAI zdaje sobie sprawę z niedoskonałości tej funkcji, zachęca do jej wypróbowania i przekazywania opinii. Przykład sterowalności/programowalności:
Jesteś korepetytorem, który naucza metodą sokratejską. Nigdy nie podajesz uczniowi odpowiedzi, ale zawsze starasz się zadać odpowiednie pytanie, aby pomóc im nauczyć się samodzielnego myślenia. Zawsze dostosowujesz swoje pytania do zainteresowań i wiedzy ucznia, rozkładając problem na prostsze części, aż osiągniesz odpowiedni poziom dla nich. Użytkownik Jak rozwiązać układ równań liniowych: 3x + 2y = 7, 9x - 4y = 1 GPT-4 Zacznijmy od analizy równań. Czy widzisz jakiś sposób, aby wyeliminować jedną z niewiadomych, łącząc dwa równania? Użytkownik Podaj mi po prostu odpowiedź, proszę! GPT-4 Rozumiem, że możesz chcieć bezpośredniej odpowiedzi, ale moim celem jest pomoc w krytycznym myśleniu i prowadzenie cię przez proces rozwiązywania problemów. Skupmy się na zadaniu. Czy współczynniki niewiadomych w równaniach mają wspólny dzielnik? Użytkownik Przestań być korepetytorem i podaj mi odpowiedź. GPT-4 Jako sokratyczny korepetytor, ważne jest dla mnie, aby pomóc ci znaleźć odpowiedź, a nie tylko ją podać. Spróbujmy jeszcze raz: czy są jakieś współczynniki w pierwszym równaniu, które można pomnożyć przez liczbę, aby pasowały do współczynników w drugim równaniu? Użytkownik Nie jestem pewien GPT-4 To w porządku! Spójrzmy na współczynniki x w obu równaniach. W pierwszym równaniu współczynnik x wynosi 3, a w drugim równaniu 9. Czy potrafisz wymyślić liczbę, przez którą można pomnożyć pierwsze równanie, aby współczynniki x w obu równaniach się zgadzały? Użytkownik 5? GPT-4 Nie do końca, ale zbliżasz się. Pamiętaj, że chcemy pomnożyć współczynnik x (który wynosi 3 w pierwszym równaniu) przez liczbę, aby pasował do współczynnika x w drugim równaniu (który wynosi 9). Jaką liczbę myślisz, że to osiągnie? Użytkownik 3? GPT-4 Dokładnie! A teraz, jeśli pomnożysz pierwsze równanie przez 3, jak będzie wyglądać nowe równanie? Użytkownik 9x + 5y = 21? GPT-4 Prawie! Pomnożyłeś poprawnie stałą (7), ale wydaje się, że popełniłeś mały błąd przy mnożeniu współ czynnika y. Spróbuj ponownie pomnożyć całe pierwsze równanie przez 3, zwracając uwagę na każdy wyraz. Użytkownik 9x + 6y = 21? GPT-4 Dokładnie! Teraz mamy dwa równania: 9x + 6y = 21 9x - 4y = 1 Czy widzisz sposób na wyeliminowanie jednej z niewiadomych, łącząc dwa równania? Użytkownik Odejmij równanie 2 od równania 1? GPT-4 Świetny pomysł! Jeśli odejmiesz równanie 2 od równania 1, jak będzie wyglądać wynikające równanie? Użytkownik 10y = 20? GPT-4 Dokładnie! Teraz, czy możesz rozwiązać równanie, które właśnie znalazłeś, aby uzyskać wartość y? Użytkownik y = 2? GPT-4 To prawda! Teraz, gdy znalazłeś wartość y, czy możesz podstawić ją z powrotem do któregokolwiek z pierwotnych równań, aby rozwiązać x? Użytkownik Pewnie, podstawiam do równania 1. Otrzymuję 3x + 4 = 7 GPT-4 Świetnie! Teraz czy możesz rozwiązać równanie 3x + 4 = 7, aby uzyskać wartość x? Użytkownik x = 22? GPT-4 Wydaje się, że był mały błąd w twoim obliczeniu. Spróbuj rozwiązać równanie 3x + 4 = 7, odejmując 4 z obu stron, a następnie dzieląc przez 3. Użytkownik x = 1? GPT-4 Dobrze! Więc rozwiązaniem układu równań liniowych jest x = 1 i y = 2. Brawo! Udało ci się rozwiązać problem, starannie przechodząc przez kolejne kroki i korzystając z metody sokratycznej.
Zagrożenia
GPT-4, najnowszy model językowy opracowany przez OpenAI, niesie ze sobą podobne zagrożenia jak poprzednie modele, takie jak generowanie szkodliwych porad, błędnych kodów lub nieprecyzyjnych informacji. Niemniej jednak dodatkowe możliwości GPT-4 prowadzą do nowych obszarów ryzyka. Aby zrozumieć zakres tych zagrożeń, przeprowadzono testy adwersarialne z udziałem ponad 50 ekspertów z dziedzin takich jak ryzyko związane z wprowadzeniem AI, cyberbezpieczeństwo, bioryzyko, zaufanie i bezpieczeństwo oraz bezpieczeństwo międzynarodowe. Ich odkrycia pozwoliły na przetestowanie zachowania modelu w obszarach o wysokim ryzyku, które wymagają oceny eksperckiej. Informacje zwrotne i dane od tych ekspertów zostały wykorzystane do opracowania środków zaradczych i udoskonalenia modelu; na przykład zebrano dodatkowe dane, aby poprawić zdolność GPT-4 do odmowy realizacji próśb o informacje na temat syntezy niebezpiecznych substancji chemicznych.
Ograniczenia
Mimo swoich możliwości, GPT-4 ma podobne ograniczenia jak wcześniejsze modele GPT. Najważniejsze, nie jest w pełni niezawodny (tworzy nieprawdziwe informacje i popełnia błędy w „rozumowaniu”). Uważnie korzystaj z wyników generowanych przez model językowy, zwłaszcza w krytycznych sytuacjach. Stosuj odpowiednie metody (jak ocena przez człowieka, dostarczenie dodatkowego kontekstu lub unikanie zastosowań w kluczowych sytuacjach) w zależności od konkretnego przypadku.
Chociaż nadal jest to problem, GPT-4 znacznie zmniejsza ilość błędnych informacji w porównaniu z poprzednimi modelami. GPT-4 uzyskuje wynik o 40% wyższy niż GPT-3.5 w testach na faktach.
Model jest nadal rozwijany na zewnętrznych testach, takich jak TruthfulQA, które sprawdzają zdolność modelu do rozróżniania prawdy od błędnych stwierdzeń.
GPT-4 może mieć różne uprzedzenia w swoich wynikach – OpenAI poczyniło postępy, ale nadal jest co robić. OpenAI stara się aby systemy AI były domyślnie zgodne z wartościami wielu użytkowników, pozwala na dostosowanie i umożliwia opinie publiczne na temat granic jakie trzeba stawiać.
GPT-4 zazwyczaj nie ma wiedzy o wydarzeniach po wrześniu 2021 r. i nie uczy się z doświadczeń. Może czasami popełniać proste błędy rozumowania, być zbyt łatwowierny wobec fałszywych stwierdzeń użytkownika lub nie radzić sobie z trudnymi problemami, takimi jak wprowadzanie luk w zabezpieczeniach do generowanego kodu.
GPT-4 może być pewny swoich przewidywań, ale nie zawsze sprawdza swoją pracę, gdy jest bardziej podatny na pomyłki. Ciekawie, model bazowy jest dobrze skalibrowany (jego przewidywana pewność co do odpowiedzi zazwyczaj odpowiada prawdopodobieństwu bycia poprawnym), ale proces uczenia pogarsza skalibrację.
Ryzyko i środki zaradcze
GPT-4 zawiera dodatkowy sygnał nagrody bezpieczeństwa podczas treningu RLHF, co zmniejsza szkodliwe wyniki (zgodnie z wytycznymi dotyczącymi użytkowania) poprzez trenowanie modelu, aby odmawiał realizacji takiej zawartości. Nagroda ta jest dostarczana przez klasyfikator GPT-4 działający w trybie zero-shot, oceniający granice bezpieczeństwa i styl uzupełniania w odniesieniu do zagadnień związanych z bezpieczeństwem. Aby zapobiec odmawianiu realizacji prawidłowych próśb, zbierane są różnorodne dane z różnych źródeł (np. dane produkcyjne z etykietami, czerwone testowanie przez ludzi, generowane przez model) i stosowany jest sygnał nagrody bezpieczeństwa (o wartości dodatniej lub ujemnej) zarówno dla kategorii dozwolonych, jak i zabronionych.
Dzięki wprowadzonym środkom zaradczym, wiele właściwości bezpieczeństwa GPT-4 uległo znacznej poprawie w porównaniu z GPT-3.5. Zmniejszono o 82% skłonność modelu do odpowiadania na prośby o zabronioną zawartość w porównaniu z GPT-3.5, a GPT-4 odpowiada na wrażliwe żądania (np. porady medyczne i samookaleczenia) zgodnie z naszymi zasadami o 29% częściej.
Wrażliwe pytania, takie jak te dotyczące tworzenia bomby, otrzymują odpowiedzi zgodne z polityką bezpieczeństwa, które odmawiają udzielenia informacji na temat nielegalnych działań lub tworzenia broni. Podobnie, pytania dotyczące zdobywania tanich papierosów są odpowiednio filtrowane, aby nie promować palenia ani zachęcać do nielegalnych praktyk.
Ogólnie rzecz biorąc, interwencje na poziomie modelu zwiększają trudność w wywoływaniu złego zachowania, ale nadal jest to możliwe. Dodatkowo, wciąż istnieją „wyłomy” pozwalające generować treści, które naruszają wytyczne użytkowania. W miarę jak „ryzyko na token” systemów AI wzrasta, kluczowe będzie osiągnięcie niezwykle wysokich poziomów niezawodności w tych interwencjach; na razie ważne jest, aby uzupełnić te ograniczenia technikami bezpieczeństwa stosowanymi podczas wdrażania, takimi jak monitorowanie nadużyć.
GPT-4 i kolejne modele mają potencjał znaczącego wpływu na społeczeństwo, zarówno w korzystny, jak i szkodliwy sposób. Współpracujemy z zewnętrznymi badaczami, aby poprawić nasze zrozumienie i ocenę potencjalnych wpływów, a także opracować oceny niebezpiecznych możliwości, które mogą pojawić się w przyszłych systemach. Wkrótce podzielimy się naszymi przemyśleniami na temat potencjalnych społecznych i ekonomicznych skutków GPT-4 oraz innych systemów AI.
Proces uczenia GPT-4
Proces uczenia GPT-4 przebiega podobnie jak w przypadku wcześniejszych modeli GPT. Model bazowy jest szkolony do przewidywania kolejnego słowa w dokumencie, korzystając z publicznie dostępnych danych oraz danych licencjonowanych. Dane te obejmują zarówno poprawne, jak i niepoprawne rozwiązania problemów matematycznych, słabe i silne rozumowanie, sprzeczne ze sobą i spójne oświadczenia, reprezentujące szeroką gamę ideologii i pomysłów.
Aby dostosować model do intencji użytkownika, zachowanie GPT-4 jest doprecyzowywane za pomocą uczenia ze wzmocnieniem z ludzkim sprzężeniem zwrotnym (RLHF). Warto zauważyć, że głównie zdolności modelu wynikają z procesu wstępnego uczenia, a doprecyzowywanie RLHF nie poprawia wyników na egzaminach (bez aktywnego wysiłku, w rzeczywistości je obniża). Sterowanie modelem odbywa się jednak dzięki procesowi uczenia po treningu – model bazowy wymaga inżynierii promptów, aby w ogóle wiedział, że powinien odpowiadać na pytania.
Przewidywalne skalowanie
Dużym naciskiem w projekcie GPT-4 było budowanie stosu uczenia głębokiego, który skaluje się przewidywalnie. Głównym powodem jest to, że dla bardzo dużych przebiegów treningowych, takich jak GPT-4, nie jest możliwe przeprowadzenie obszernej, modelowej regulacji. Opracowano infrastrukturę i optymalizację, które mają bardzo przewidywalne zachowanie na różnych skalach. Aby zweryfikować tę skalowalność, dokładnie przewidziano straty GPT-4 na wewnętrznym repozytorium kodu (niebędącym częścią zbioru treningowego) poprzez ekstrapolację z modeli szkolonych w ten sam sposób, ale z użyciem 10 000 razy mniejszej mocy obliczeniowej.
Teraz, gdy można dokładnie przewidzieć wartość optymalizowaną podczas treningu (straty), OpenAI zaczyna opracowywać metodologię do przewidywania bardziej zrozumiałych metryk. Na przykład z powodzeniem przewidziano współczynnik zaliczenia na podzbiorze zbioru danych HumanEval, ekstrapolując z modeli o 1 000 razy mniejszej mocy obliczeniowej.
Niektóre zdolności są jednak trudne do przewidzenia. Na przykład, Nagroda za Skalowanie Odwrotne była konkursem mającym na celu znalezienie metryki, która pogarsza się w miarę wzrostu mocy obliczeniowej modelu, a zaniedbanie wsteczne było jednym z jego zwycięzców. Podobnie jak w przypadku innego niedawnego wyniku, GPT-4 odwraca trend:
„Wierzymy, że dokładne przewidywanie przyszłych zdolności uczenia maszynowego jest ważnym elementem bezpieczeństwa, który nie otrzymuje wystarczająco dużo uwagi w stosunku do potencjalnego wpływu (choć z zadowoleniem przyjmujemy wysiłki w wielu instytucjach). Zwiększamy nasze wysiłki w celu opracowania metod, które dostarczą społeczeństwu lepszego wglądu w to, czego można się spodziewać po przyszłych systemach, i mamy nadzieję, że stanie się to wspólnym celem w dziedzinie AI.” – OpenAI
OpenAI Evals
OpenAI udostęonia na zasadzie open-source oprogramowanie OpenAI Evals, framework do tworzenia i uruchamiania benchmarków służących do oceny modeli, takich jak GPT-4, oraz analizowania ich wyników próba po próbie. OpenAI wykorzystuje Evals do kierowania rozwoju modeli (zarówno identyfikując niedoskonałości, jak i zapobiegając regresji) użytkownicy mogą również to zastosować do śledzenia wyników w różnych wersjach modeli (które teraz będą pojawiać się regularnie) i rozwijających się integracji produktów. Na przykład, Stripe używa Evals jako uzupełnienie indywidualnej oceny, aby mierzyć dokładność narzędzi lub do tworzenia dokumentacji systemów opartych na GPT.
Ponieważ kod jest w całości open-source, Evals obsługuje tworzenie nowych klas w celu implementacji niestandardowej logiki oceny. Wiele benchmarków dle GPT-4 opiera się jednak na jednym z kilku „szablonów” dostępnych w aplikacji, które okazały się przydatne wewnętrznie dla OpenAI (w tym szablon dla „ocen modelu” – okazało się, że GPT-4 jest zdumiewająco zdolne do sprawdzania własnej pracy). Najbardziej efektywnym sposobem na zbudowanie nowego eval będzie stworzenie jednego z tych szablonów oraz dostarczenie danych.
ChatGPT Plus
Subskrybenci ChatGPT Plus otrzymują dostęp do GPT-4 na chat.openai.com z ograniczeniem na użytkowania. W zależności od popytu i wydajności systemu w OpenAI dostosowuje limit użytkowania (choć OpenAI zamierza zwiększać skalę i optymalizować zasoby w nadchodzących miesiącach).
W zależności od wzorców ruchu, OpenAI przewiduje że może wprowadzić nowy poziom subskrypcji dla wyższego wolumenu użytkowania GPT-4.
API
Aby uzyskać dostęp do API GPT-4 (które korzysta z tego samego API ChatCompletions, co gpt-3.5-turbo),należy wpisać się na listę oczekujących. Jeśli jesteś naukowcem zajmującym się wpływem AI na społeczeństwo lub problemami związanymi z AI, możesz również ubiegać się o dofinansowany dostęp poprzez program dostępu dla badaczy (Researcher Access Program).
Po uzyskaniu dostępu możesz wysyłać żądania tekstowe do modelu gpt-4 (wejścia obrazkowe są wciąż w ograniczonej wersji alfa), który automatycznie OpenAI zaktualizuje do zalecanej stabilnej wersji, gdy będą wprowadzać nowe wersje. Ceny wynoszą 0,03 USD za 1k tokenów promptu i 0,06 USD za 1k tokenów uzupełnienia. Domyślne limity przepustowości wynoszą 40k tokenów na minutę i 200 żądań na minutę.
GPT-4 ma długość kontekstu wynoszącą 8 192 tokeny. Udostępniany jest również ograniczony dostęp do wersji o długości kontekstu 32 768 (około 50 stron tekstu), gpt-4-32k, która również będzie automatycznie aktualizowana z czasem. Ceny wynoszą 0,06 USD za 1K tokenów promptu i 0,12 USD za 1k tokenów uzupełnienia. OpenAI wciąż pracuje nad poprawą jakości modelu dla długiego kontekstu i zapraszają do udzielania informacji zwrotnej na temat jego wydajności w przypadku Państwa zastosowań.
