Centrum Bezpieczeństwa Cybernetycznego Wielkiej Brytanii (NCSC) ostrzega przed cyberatakami na modele uczenia maszynowego. Jednocześnie NCSC dostarcza szczegółów na temat ataków typu prompt injection oraz data poisoning wymierzonych w modele AI, aby organizacje z nich korzystające mogły zminimalizować ryzyko. NCSC podkreśla, iż w szczególności modele językowe, takie jak ChatGPT czy Google Bard, są narażone na różnego rodzaju cyberataki.
Co to są cyberataki typu prompt injection?
Ataki typu prompt injection polegają na manipulowaniu odpowiedziami sztucznej inteligencji w taki sposób, aby generowała ona niechciane treści. Działają one podobnie do ataków SQL injection, które pozwalają atakującemu manipulować danymi wejściowymi, aby wykonywać niezamierzone zapytania w bazie danych.
Przykłady takich ataków obejmują zarówno stosunkowo nieszkodliwe manipulacje, jak zmuszenie AI do używania nieodpowiednich słów, jak i bardziej zaawansowane techniki, które mogą prowadzić do tworzenia szkodliwego oprogramowania.
Co to są cyberataki typu data poisoning?
Ataki typu data poisoning polegają na modyfikacji danych używanych do treningu modeli uczenia maszynowego. Ze względu na ogromne ilości danych potrzebnych do treningu, modele te często korzystają z danych pozyskiwanych z internetu, które mogą zawierać nieprecyzyjne, kontrowersyjne lub obraźliwe treści.
Jak zminimalizować ryzyko tych cyberataków według NCSC?
Jeśli Twoja firma planuje wdrożenie modelu sztucznej inteligencji, cały system powinien być zaprojektowany z myślą o bezpieczeństwie. Kluczowe kroki to:
- Walidacja i sanityzacja danych wejściowych: Zawsze należy weryfikować i oczyszczać dane wejściowe, a także tworzyć reguły zapobiegające szkodliwym działaniom modelu.
- Bezpieczne przechowywanie modeli: NCSC zwraca uwagę na bibliotekę Python Pickle, która jest podatna na ataki. Zaleca się korzystanie z innych, bezpieczniejszych formatów serializacji oraz skanowanie w poszukiwaniu złośliwego oprogramowania.
- Standardowe praktyki bezpieczeństwa: Należy zaufać tylko znanych i sprawdzonych źródłom, unikać niezaufanych źródeł i regularnie aktualizować oprogramowanie.
Na zakończenie
Informacje wypunktowane przez Centrum Bezpieczeństwa Cybernetycznego dotyczące ataków typu prompt injection i data poisoning mają niebagatelne znaczenie. Te specyficzne zagrożenia stanowią realne wyzwanie dla organizacji wykorzystujących modele uczenia maszynowego. Zrozumienie mechanizmów tych ataków i świadome działanie w celu ich przeciwdziałania jest kluczowe dla zachowania integralności systemów AI. Współpraca z ekspertami i korzystanie z dostarczanych przez nich wskazówek może być decydująca dla bezpieczeństwa danych i technologii.
O wykorzystaniu narzędzi AI do cyberataków przeczytasz także w tym artykule.
