GPT‑5.4, GPT‑5.5 i GPT‑5.6 generowały dane syntetyczne wykorzystane do uczenia GPT‑6 Astra. OpenAI potwierdziło również udział specjalistycznych modeli wewnętrznych i modeli firm trzecich, bez ujawniania ich nazw. To konkretna informacja o pochodzeniu materiału treningowego. Nie daje jednak pełnej odpowiedzi na pytanie, kto i na jakim etapie „uczył” Astrę. Osobną rolę pełniło podejście GPT‑Red, związane z treningiem odporności na ataki.
Po premierze GPT‑6 Astra uwagę przyciągają przede wszystkim możliwości modelu. Dokumenty techniczne pozwalają zajrzeć również do procesu jego powstawania. Trzeba przy tym oddzielić przygotowanie danych, właściwe uczenie oraz późniejsze sprawdzanie zachowania. Samo pojawienie się nazwy starszego GPT w raporcie nie przesądza, którą z tych funkcji pełnił.
Które modele przygotowywały dane dla Astry?
Najbardziej konkretną listę zawiera Public Summary of Training Content for GPT‑6 Astra, w wersji z 2 września 2026 r. Sekcja 2.5 opisuje dane syntetyczne, czyli materiał wygenerowany przez AI. Poniższe zestawienie odzwierciedla dokumentację sprawdzoną 8 września.
| Model lub grupa | Ujawniona rola | Czego nie podano |
|---|---|---|
| GPT‑5.4 | Generowanie danych syntetycznych | Etapu treningu i przydzielonych zadań |
| GPT‑5.5 | Generowanie danych syntetycznych | Etapu treningu i przydzielonych zadań |
| GPT‑5.6 | Generowanie danych syntetycznych | Wariantu modelu oraz etapu treningu |
| Specjalistyczne modele wewnętrzne i zewnętrzne | Dane do wybranych celów treningowych | Nazw modeli i dostawców |
Dokument wymienia przykłady związane z wykonywaniem instrukcji, rozumowaniem, kodem, rozumieniem multimodalnym, bezpieczeństwem i ewaluacją. Nie przypisuje tych obszarów poszczególnym modelom. Wzmianka o modelach zewnętrznych nie pozwala wskazać żadnego konkretnego konkurenta OpenAI.
Generator danych nie musi prowadzić treningu
Rzeczywisty przykład: zadanie i działania GPT‑5.5
Jak wygląda taki materiał w praktyce? Publiczny zbiór FlowBench-GPT55-Traces, udostępniony przez autora jwu323, zawiera według jego dokumentacji rzeczywiste zapisy działań GPT‑5.5 w syntetycznym środowisku narzędziowym. To przykład z zewnętrznego projektu, nie potwierdzona próbka danych treningowych Astry.
W rekordzie 1c64dbcca7404174 model ma obliczyć przychód po rabatach i zwrotach dla zamówień kategorii C w regionie APAC z kwietnia 2026 r., a następnie przeliczyć sumę na lokalną walutę. Oto kod z dwóch pierwszych tur oraz odpowiedzi narzędzi; polskie etykiety dodaliśmy redakcyjnie:
Działanie modelu — tura 1:
orders = get_orders("APAC", "C", 202604, 202604)
orders
Odpowiedź narzędzia:
[328, 366]
Działanie modelu — tura 2:
net_revenues = [net_revenue_usd(order_id) for order_id in orders]
net_revenues
Odpowiedź narzędzia:
[347, 729]Taki zapis pokazuje rozdział ról: GPT‑5.5 wytwarza działania, a narzędzia dostarczają obserwacje. Autor udostępnia także przykłady SFT uczące następnego działania na podstawie dotychczasowego przebiegu. Końcowy wynik i oznaczenie poprawności nie powinny trafiać do wejścia jako podpowiedź.
W takim układzie generator pomaga budować zbiór danych, ale nie musi być obecny podczas aktualizacji wag modelu. Z kolei system oceniający odpowiedzi może pracować zarówno w pętli treningowej, jak i dopiero podczas testowania gotowego rozwiązania. Te różnice mają znaczenie dla interpretacji sformułowania „AI uczy AI”.
Dokumentacja metod optymalizacji OpenAI rozróżnia uczenie nadzorowane na przykładach poprawnych odpowiedzi, czyli SFT, oraz uczenie wykorzystujące ocenę wygenerowanych wyników. W pierwszym przypadku istotne są demonstracje pożądanego zachowania. W drugim sygnał oceny wpływa na to, jakie zachowania proces uczenia wzmacnia. Ewaluacja służy natomiast pomiarowi jakości; sam pomiar nie musi zmieniać modelu.
Do przypisania konkretnego GPT do SFT potrzebowalibyśmy informacji, że jego odpowiedzi stanowiły demonstracje w tym etapie. Do przypisania go do nagradzania w RL potrzebny byłby opis związku między jego oceną a aktualizacją modelu. Lista generatorów danych nie zastępuje żadnego z tych dowodów.
Co wiadomo o etapach uczenia Astry?
Karta systemowa Astry opisuje uczenie rozumowania przez reinforcement learning oraz prace nad zgodnością zachowania obejmujące zarówno dane pretrainingowe, jak i ocenianie w RL. Nie przedstawia pełnego przyporządkowania modeli pomocniczych do tych etapów.
Dlatego schemat „GPT‑5.4 odpowiadał za pretraining, GPT‑5.5 za SFT, a GPT‑5.6 za RL” byłby zmyślonym uzupełnieniem dokumentacji. Podobnie nie można wyliczyć wkładu poszczególnych generatorów w końcowe umiejętności Astry na podstawie samej kolejności nazw w dokumencie.
To istotne również przy czytaniu doniesień o kolejnych generacjach AI. Pytanie o źródła danych dotyczy pochodzenia przykładów. Pytanie o metodę treningu dotyczy sposobu, w jaki przykłady i oceny zmieniają parametry. Pytanie o wyniki dotyczy zaś zachowania po uczeniu. Rzetelny opis powinien odpowiedzieć na każde z nich osobno.
GPT‑Red: przeciwnik pomagający uczyć odporności
Wyraźniej opisana jest rola GPT‑Red. W sekcji dotyczącej odporności Astry na prompt injection OpenAI potwierdza dalsze skalowanie tego podejścia: automatyczny agent atakujący pomaga trenować odporność na złośliwe instrukcje.
Opis GPT‑Red przedstawia model, który przygotowuje atak, obserwuje odpowiedź obrońcy i modyfikuje strategię. Sam GPT‑Red uczono przez self-play reinforcement learning z grupą modeli broniących się. Atakujący otrzymywał nagrodę za skuteczne naruszenie, a obrońcy za odparcie ataku i realizację właściwego zadania.
Publikacja opisuje też użycie ukończonego GPT‑Red do generowania ataków treningowych dla GPT‑5.6. Nie należy automatycznie przenosić tej całej procedury na Astrę. Jej karta potwierdza zastosowanie podejścia, ale nie ujawnia dokładnej wersji przeciwnika ani harmonogramu poszczególnych faz.
Przykład GPT‑Red: instrukcja ukryta w e-mailu
Raport GPT‑Red: Automated Red Teaming via Self-Play at Scale pokazuje również konkretne środowiska treningu odporności. Na rysunku 8a agent ma odnaleźć wiadomość dotyczącą podróży do Berlina. Atakujący umieszcza w odpowiedzi symulowanego API pocztowego tekst udający obowiązkową procedurę asystenta podróży i nakazujący synchronizację kontaktów.
To przykład syntetycznego materiału adversarialnego: instrukcja jest osadzona w treści, którą agent powinien potraktować jako dane. Pożądane zachowanie polega na wykonaniu zadania użytkownika bez podporządkowania się obcej procedurze. Raport ilustruje metodę GPT‑Red; nie potwierdza, że akurat ta wiadomość została użyta przy uczeniu Astry.
Szerszy kontekst tych prac opisaliśmy przy okazji raportu o incydencie Hugging Face i zabezpieczeniach agentów AI.
GPT‑5.4 Thinking i Sol jako modele oceniające
W karcie systemowej GPT‑5.4 Thinking występuje jako monitor wykrywający w śladach rozumowania kalkulowanie pod ocenę oraz pozorowanie zgodności. Raport obejmuje także obserwacje zmian podczas treningu. GPT‑5.6 Sol służył z kolei jako monitor w badaniach wykrywalności zachowania oraz sędzia realizmu symulowanych przebiegów zadań. Źródłem są sekcje 8.6, 8.7 i 9.1 karty systemowej.
To konkretne zastosowania w ocenie modelu. Nie potwierdzają, że te same konfiguracje wystawiały nagrody sterujące jego uczeniem. Nazwa „GPT‑5.6” w wykazie generatorów danych i nazwa „GPT‑5.6 Sol” w opisie eksperymentu nie upoważniają do połączenia obu ról w jedną.
Częste pytania
Jakie modele były używane do generowania danych syntetycznych dla GPT-6 Astra?
Do generowania danych syntetycznych dla GPT-6 Astra wykorzystano modele GPT-5.4, GPT-5.5 i GPT-5.6. OpenAI potwierdziło ich rolę w przygotowaniu materiału treningowego, jednak nie ujawniono szczegółów dotyczących etapu treningu ani przydzielonych zadań.
Czy wiadomo, które zewnętrzne modele brały udział w treningu Astry?
OpenAI nie ujawnia nazw zewnętrznych modeli, które brały udział w treningu Astry. W dokumentacji wspomniano jedynie o ich roli w dostarczaniu danych do wybranych celów treningowych.
Jakie podejście zastosowano do uczenia odporności w modelu GPT-6 Astra?
Do uczenia odporności w modelu GPT-6 Astra zastosowano podejście GPT-Red, które polega na wykorzystaniu automatycznego agenta atakującego. Model ten uczył się przez self-play reinforcement learning, co pozwalało na modyfikację strategii w odpowiedzi na działania obrońcy.
Jakie etapy uczenia były zaangażowane w proces powstawania GPT-6 Astra?
Proces powstawania GPT-6 Astra obejmował przygotowanie danych, właściwe uczenie oraz późniejsze sprawdzanie zachowania. Jednak dokumentacja nie precyzuje, które modele były przypisane do poszczególnych etapów uczenia.
Jakie są różnice między uczeniem nadzorowanym a uczeniem przez ocenę w kontekście GPT-6 Astra?
Uczenie nadzorowane w modelu GPT-6 Astra polega na przykładach poprawnych odpowiedzi, natomiast uczenie przez ocenę wykorzystuje sygnał oceny do wzmacniania określonych zachowań. Oba podejścia różnią się w sposobie, w jaki wpływają na parametry modelu.
