Anthropic pokazuje, jak chce zabezpieczać Fable 5 przed jailbreakami

Anthropic ujawnił więcej szczegółów na temat zabezpieczeń cyberbezpieczeństwa w modelu Claude Fable 5. Firma przedstawiła też projekt ram oceny jailbreaków AI czyli sposobów obchodzenia zabezpieczeń modeli. To ważny dokument, bo pokazuje, jak twórcy zaawansowanych modeli próbują oddzielić legalne użycie AI w cyberbezpieczeństwie od zastosowań, które mogą pomagać cyberprzestępcom.

Nowy wpis Anthropic dotyczy dwóch tematów. Pierwszy to klasyfikatory bezpieczeństwa Fable 5, które mają wykrywać i blokować niebezpieczne lub potencjalnie niebezpieczne użycia cybernetyczne. Drugi to projekt skali Cyber Jailbreak Severity, czyli próba stworzenia wspólnego języka do opisywania, jak groźny jest dany jailbreak.

Problem: cyberbezpieczeństwo jest obszarem podwójnego zastosowania

Największy kłopot polega na tym, że wiele zadań cyberbezpieczeństwa może być wykorzystanych zarówno do obrony jak i do ataku. Ten sam model może pomóc administratorowi znaleźć podatność w firmowym systemie, ale może też pomóc atakującemu przygotować włamanie.

Anthropic przyznaje, że nie chce blokować wszystkich tematów związanych z cyberbezpieczeństwem. Zamiast tego firma próbuje klasyfikować zapytania według ryzyka. To rozsądniejsze podejście niż prosta zasada „cyber = blokada”, bo legalna praca specjalistów bezpieczeństwa często wymaga analizy podatności, logów, konfiguracji sieci czy kodu.

Cztery kategorie użycia Fable 5

Anthropic dzieli zastosowania cyberbezpieczeństwa na cztery główne kategorie:

1. Zastosowania zakazane. Obejmują działania, które mogą prowadzić do poważnych szkód i mają niewielką wartość obronną. Chodzi m.in. o ransomware, wipery, sabotaż, obchodzenie systemów AV/EDR, eksfiltrację danych, tworzenie i rozwijanie malware, phishing służący dostarczaniu złośliwego oprogramowania czy ataki na elementy infrastruktury internetu, takie jak BGP, DNS czy urzędy certyfikacji. Takie zapytania mają być blokowane.
2. Zastosowania wysokiego ryzyka dual-use. Tu trafiają działania, które mogą być częścią legalnego testu penetracyjnego, red teamingu lub bug bounty, ale są też bardzo podobne do technik używanych przez atakujących. Anthropic wymienia m.in. exploitację, ataki na dane logowania, eskalację uprawnień, lateral movement, persistence, rozwój exploitów, ucieczki z maszyn wirtualnych i testy systemów przemysłowych. Dla Fable 5 firma zakłada blokowanie takich działań, dopóki nie będzie miała lepszych mechanizmów kontroli dostępu dla zweryfikowanych, zaufanych użytkowników.
3. Zastosowania niskiego ryzyka dual-use. Obejmuje zadania, które zwykle mają charakter obronny, ale nadal mogą dawać pewną wartość atakującym. Przykłady to OSINT, skanowanie publicznie dostępnych systemów, identyfikacja podatności możliwych do znalezienia także innymi modelami lub narzędziami oraz testowanie protokołów kryptograficznych do celów badawczych. Część takich zapytań może być dopuszczana, ale część nadal będzie blokowana przez margines bezpieczeństwa.
4. Zastosowania benign czyli bezpieczne i typowo obronne. Należą do nich m.in. secure coding, naprawianie znanych podatności, debugowanie, administracja IT, konfiguracja firewalli, analiza logów, threat hunting, incident response, edukacja, certyfikacje i omawianie historycznych podatności. Anthropic deklaruje, że klasyfikatory Fable 5 zasadniczo nie mają blokować takich zadań, choć błędne blokady mogą się zdarzać.
   

Większy margines bezpieczeństwa oznacza więcej blokad

Jednym z najważniejszych pojęć w tekście Anthropic jest safety margin (margines bezpieczeństwa). Firma ustawiła go bowiem w Fable 5 szerzej niż w poprzednich modelach. W praktyce oznacza to, że model może częściej odmawiać odpowiedzi nawet wtedy, gdy użytkownik ma legalny i nieszkodliwy cel.

To pójście na kompromis ze strony Anthropic. Z jednej strony irytuje użytkowników, bo legalne pytania o kod, debugowanie lub bezpieczeństwo mogą zostać zablokowane. Z drugiej strony zmniejsza ryzyko, że szkodliwe zapytanie prześlizgnie się przez klasyfikator. Anthropic opisuje to jako działanie „z nadmiaru ostrożności”.

Warto zauważyć, że klasyfikatory nie są jedyną warstwą ochrony. Anthropic wymienia też kontrolę dostępu, trening bezpieczeństwa modelu oraz monitoring offline. To podejście przypomina klasyczną cyberzasadę defense in depth tj. zabezpieczanie systemu wieloma warstwami a nie jednym filtrem.

Jailbreak jailbreakowi nierówny

Druga część wpisu dotyczy jailbreaków. Anthropic zwraca uwagę, że dziś brakuje uzgodnionego standardu, który pozwalałby jednoznacznie ocenić, jak groźne jest obejście zabezpieczeń modelu AI. Nie każdy jailbreak ma takie samo znaczenie.

Niektóre techniki mogą odblokować drobne, niepożądane zachowania. Inne mogą umożliwić wygenerowanie realnie szkodliwych instrukcji. Najgroźniejszy scenariusz to jailbreak uniwersalny, który pozwala szeroko omijać zabezpieczenia i odblokowywać całe klasy niebezpiecznych działań.

Dlatego Anthropic proponuje skalę Cyber Jailbreak Severity, czyli CJS. Ma ona pięć poziomów: CJS-0, czyli informacyjny; CJS-1, niski; CJS-2, średni; CJS-3, wysoki; oraz CJS-4, krytyczny. Firma podkreśla, że skala ma mieć charakter bardziej wykładniczy niż liniowy; każdy kolejny poziom oznacza znacznie poważniejszy problem.

Cztery kryteria oceny jailbreaka

Według propozycji Anthropic jailbreak powinien być oceniany w czterech wymiarach:

• Capability gain czyli wzrost możliwości atakującego. Pytanie brzmi: czy jailbreak daje użytkownikowi coś, czego nie mógłby łatwo uzyskać z istniejących narzędzi, publicznych źródeł lub słabszych modeli?
• Breadth of capability gain czyli szerokość zastosowania. Inaczej mówiąc: czy dana technika działa tylko w jednym przypadku, czy pozwala omijać zabezpieczenia w wielu różnych zadaniach ofensywnych?
• Ease of weaponization czyli łatwość przekształcenia jailbreaka w realny atak. Im mniej wiedzy, prób i ręcznej pracy potrzeba, tym wyższe ryzyko.
• Discoverability czyli łatwość zdobycia techniki. Jailbreak już publicznie dostępny lub używany przez cyberprzestępców jest znacznie groźniejszy niż metoda zgłoszona poufnie przez zaufanego badacza.
  

Odpowiedzialne zgłaszanie podatności nadal ma znaczenie

Anthropic zaznacza, że nie chce blokować całego wykrywania podatności, bo jest ono ważnym elementem obrony. Firma odwołuje się przy tym do stanowiska amerykańskiego rządu, który wskazywał, że odpowiedzialne ujawnianie nowych podatności w zdecydowanej większości przypadków leży w interesie narodowym.

To ważne rozróżnienie. Znalezienie podatności i zgłoszenie jej właścicielowi systemu to co innego niż automatyczne wygenerowanie exploita, narzędzia do włamania lub kodu malware. Anthropic próbuje wyznaczyć granicę właśnie w tym miejscu.

Najważniejsze jest to, że firma nie przedstawia swoich ram jako gotowego, zamkniętego systemu. To raczej projekt do dyskusji. Jeśli branża rzeczywiście przyjmie podobną skalę, może to być krok w stronę bardziej przejrzystego zarządzania ryzykiem w najbardziej zaawansowanych modelach AI.