W ostatnich dniach OpenAI doświadczyło istotnych zmian personalnych. Jan Leike, współlider zespołu Superalignment, ogłosił swoją rezygnację, co nastąpiło zaledwie trzy dni po odejściu Ilji Sutskewera, współzałożyciela i głównego naukowca firmy. Te wydarzenia wywołały wiele spekulacji na temat przyszłości OpenAI i jego strategii.
Oświadczenia Ilji Sutskewera
Ilja Sutskewer ogłosił swoją rezygnację za pośrednictwem Twittera, gdzie napisał:
After almost a decade, I have made the decision to leave OpenAI. The company’s trajectory has been nothing short of miraculous, and I’m confident that OpenAI will build AGI that is both safe and beneficial under the leadership of @sama, @gdb, @miramurati and now, under the…
— Ilya Sutskever (@ilyasut) May 14, 2024
Sutskewer wyraził słowa zaufania do przyszłego kierownictwa firmy, szczególnie do Jakuba Pachockiego, który przejmuje rolę lidera badań.
Ilya Sutskever
Ilya Sutskever jest znanym naukowcem w dziedzinie sztucznej inteligencji i współzałożycielem OpenAI. Urodził się w Rosji, a następnie przeniósł się do Kanady. Sutskever zdobył doktorat na Uniwersytecie w Toronto pod kierunkiem Geoffreya Hintona, jednego z pionierów w dziedzinie sieci neuronowych.
Jego prace badawcze skupiają się głównie na głębokim uczeniu (deep learning) oraz sieciach neuronowych. Jest współautorem wielu wpływowych prac naukowych, które przyczyniły się do znaczącego postępu w dziedzinie sztucznej inteligencji. Przed założeniem OpenAI pracował także w Google Brain, gdzie miał istotny wkład w rozwój algorytmów uczenia maszynowego.
Sutskever jest uznawany za jednego z wiodących ekspertów w dziedzinie AI i jest szeroko cytowany za swoje osiągnięcia w tej dziedzinie.
Jan Leike
Jan Leike jest naukowcem specjalizującym się w dziedzinie sztucznej inteligencji i uczenia maszynowego. Jest szczególnie znany ze swoich badań nad bezpieczeństwem AI oraz wzmacnianiem uczenia (reinforcement learning). Leike był związany z OpenAI, gdzie zajmomował się badaniami nad tworzeniem bezpiecznej i użytecznej sztucznej inteligencji.
Jego prace koncentrują się na problemach związanych z zarządzaniem ryzykiem i kontrolą systemów AI, aby upewnić się, że działają one zgodnie z zamierzeniami i są bezpieczne dla użytkowników oraz społeczeństwa. Leike jest autorem i współautorem licznych publikacji naukowych w tych dziedzinach, co czyni go znaczącą postacią w społeczności badaczy AI.
Przed dołączeniem do OpenAI, Jan Leike zdobył doświadczenie akademickie oraz pracował nad różnymi projektami badawczymi, które miały na celu poprawę zrozumienia i kontrolowania systemów sztucznej inteligencji. Jego wkład w dziedzinę AI jest uznawany za kluczowy dla rozwoju bezpiecznych i odpowiedzialnych technologii AI. Żeby zrozumieć czym się zajmował Jan Leike w OpenAI warto przesłuchać ten podcast:
https://80000hours.org/podcast/episodes/jan-leike-superalignment/
Kluczowe fragmenty z Tweetów Jana Leike
Jan Leike również skorzystał z Twittera, aby wyjaśnić swoje powody rezygnacji. Oto najważniejsze fragmenty jego wpisów wraz z krótkim opisem po polsku:
Ostatni dzień w OpenAI
Yesterday was my last day as head of alignment, superalignment lead, and executive @OpenAI.
— Jan Leike (@janleike) May 17, 2024
Jan Leike ogłasza, że w czwartek 16 Maja był jego ostatni dzień pracy na stanowiskach kierowniczych w OpenAI.
Osiągnięcia zespołu
„My team launched the first ever RLHF LLM with InstructGPT, published the first scalable oversight on LLMs, pioneered automated interpretability and weak-to-strong generalization.”
Leike podkreśla kluczowe osiągnięcia swojego zespołu, takie jak uruchomienie pierwszego modelu RLHF z InstructGPT, publikację pierwszych skalowalnych nadzorów nad LLM oraz pionierskie prace nad automatyczną interpretowalnością i generalizacją od słabej do silnej.
Wdzięczność za współpracę
„I love my team. I’m so grateful for the many amazing people I got to work with, both inside and outside of the superalignment team.”
Wyraża swoją miłość do zespołu i wdzięczność za współpracę z wieloma wyjątkowymi osobami w OpenAI i poza zespołem Superalignment.
Powody odejścia
„I have been disagreeing with OpenAI leadership about the company’s core priorities for quite some time, until we finally reached a breaking point.”
Leike wskazuje, że od dłuższego czasu nie zgadzał się z kierownictwem OpenAI co do priorytetów firmy, co ostatecznie doprowadziło do jego decyzji o odejściu.
Priorytety bezpieczeństwa
„I believe much more of our bandwidth should be spent getting ready for the next generations of models, on security, monitoring, preparedness, safety, adversarial robustness, (super)alignment, confidentiality, societal impact, and related topics.”
Podkreśla, że więcej zasobów powinno być poświęconych na przygotowanie się na kolejne generacje modeli AI, w tym na bezpieczeństwo, monitoring, przygotowanie, odporność na ataki, (super)alignment, poufność oraz wpływ społeczny.
Krytyka kultury bezpieczeństwa
„Over the past years, safety culture and processes have taken a backseat to shiny products.”
Leike krytykuje, że w ostatnich latach kultura i procesy bezpieczeństwa zostały zaniedbane na rzecz atrakcyjnych, komercyjnych produktów.
Kontekst rezygnacji
Rezygnacja Jana Leike oraz Ilji Sutskewera wskazuje na głębokie napięcia wewnątrz OpenAI. Odchodząc, obaj naukowcy podkreślali znaczenie bezpieczeństwa i etyki w rozwoju sztucznej inteligencji. Leike zwrócił uwagę na to, że jego zespół napotykał trudności w realizacji kluczowych badań z powodu ograniczeń w dostępie do zasobów obliczeniowych oraz niedostatecznego wsparcia dla priorytetów bezpieczeństwa.
Odpowiedź Sama Altmana
Sam Altman, CEO OpenAI, odpowiedział na rezygnację Jana Leike za pośrednictwem Twittera. W swoim wpisie wyraził głęboką wdzięczność za wkład Leike w badania nad zgodnością (alignment) i kulturę bezpieczeństwa w OpenAI, jednocześnie wyrażając smutek z powodu jego odejścia. Altman przyznał, że Leike ma rację, wskazując na potrzebę dalszych działań w zakresie bezpieczeństwa AI i podkreślił zobowiązanie firmy do kontynuowania tych prac. Zapowiedział również, że w ciągu kilku następnych dni opublikuje dłuższy wpis na ten temat, co może dostarczyć więcej szczegółów na temat przyszłych planów OpenAI w zakresie bezpieczeństwa i zgodności AI.
i'm super appreciative of @janleike's contributions to openai's alignment research and safety culture, and very sad to see him leave. he's right we have a lot more to do; we are committed to doing it. i'll have a longer post in the next couple of days.
— Sam Altman (@sama) May 17, 2024
🧡 https://t.co/t2yexKtQEk
