Sztuczna inteligencja w medycynie obiecuje szybszą diagnostykę, lepsze wykrywanie chorób i większy dostęp do specjalistycznej wiedzy. Model AI może analizować zdjęcie RTG, mammografię, EKG albo dane z elektronicznej dokumentacji medycznej i pomóc lekarzowi w podjęciu decyzji.Ale najnowsze badanie opublikowane w „Nature” pokazuje drugą stronę tej technologii. Modele medycznej AI mogą nie tylko rozpoznawać choroby. W niektórych sytuacjach mogą też ujawniać, czy dane konkretnego pacjenta zostały użyte do ich trenowania.
To brzmi technicznie, ale konsekwencje mogą być bardzo realne. Jeżeli model był trenowany na danych osób z określoną chorobą, samo ustalenie, że czyjeś dane znalazły się w zbiorze treningowym, może zdradzić wrażliwą informację medyczną.
O co chodzi w tym badaniu?
Autorzy pracy „Disparate privacy risks from medical AI” przeprowadzili jeden z pierwszych audytów prywatności medycznej AI na poziomie pacjenta. Nie pytali tylko: „Czy model jest średnio bezpieczny?”. Zapytali raczej: „Czy są konkretni pacjenci, dla których ryzyko jest znacznie większe niż dla innych?”.
To ważna różnica. W klasycznych ocenach bezpieczeństwa bierze się zwykle cały zbiór danych i liczy średni wynik ataku. Jeśli średnia wygląda dobrze, można uznać, że model jest stosunkowo bezpieczny. Problem polega na tym, że średnia potrafi ukryć skrajne przypadki.
Czym jest membership inference attack?
Badacze skupili się na tzw. membership inference attacks, w skrócie MIA. To ataki, które próbują odpowiedzieć na jedno pytanie: czy dane danej osoby były użyte podczas trenowania modelu AI? Atakujący nie musi od razu kraść całej bazy danych. Wystarczy, że ma dostęp do modelu i może obserwować jego odpowiedzi. Modele często zachowują się trochę inaczej wobec danych, które „widziały” w czasie treningu. Mogą być wobec nich bardziej pewne. Ta różnica, choć subtelna, może zostać wykorzystana.
Średnia bezpieczeństwa może być myląca
Najmocniejszy wniosek z badania jest taki: model może wyglądać bezpiecznie w uśrednionych testach, ale nadal być bardzo ryzykowny dla części pacjentów. Autorzy pokazali, że ataki MIA mogą osiągać niemal perfekcyjną skuteczność wobec konkretnych osób, nawet wtedy, gdy ogólna skuteczność ataku dla całego zbioru danych nie odbiega mocno od losowego zgadywania.
Siedem zbiorów danych i różne typy medycyny
Badanie nie ograniczyło się do jednego rodzaju danych. Naukowcy użyli siedmiu dużych zbiorów klinicznych. Obejmowały one m.in. RTG klatki piersiowej, obrazy dermatologiczne, obrazy okulistyczne, mammografię, elektrokardiogramy i elektroniczne rekordy medyczne.
Wśród analizowanych zbiorów znalazły się m.in. CheXpert, MIMIC-CXR, Fitzpatrick 17k, FairVision, EMBED, PTB-XL oraz MIMIC-IV-ED. To ważne, bo pokazuje, że problem nie dotyczy tylko jednego konkretnego modelu albo jednego typu badania. Może pojawiać się w różnych obszarach medycznej AI.
Najbardziej narażeni są nie zawsze ci, których widać w średniej
Badacze zauważyli też, że ryzyko nie rozkłada się równo. Częściej dotyka grup niedoreprezentowanych w danych treningowych. Może chodzić o rzadszą chorobę, mniej liczną grupę demograficzną, nietypowy protokół obrazowania albo kategorię pacjentów, która występuje w zbiorze danych rzadziej niż inne.
W zbiorze MIMIC-IV-ED rekordy czarnoskórych pacjentów, pacjentów korzystających z Medicaid oraz pacjentów z diagnozą nowotworową pojawiały się częściej niż oczekiwano wśród rekordów najbardziej narażonych na atak. Wzrost wynosił odpowiednio 31%, 126% i 18% względem ich udziału w całym zbiorze.
To szczególnie ważne, bo AI w medycynie już wcześniej krytykowano za nierówności w jakości działania między grupami pacjentów. Teraz dochodzi kolejna warstwa: niektóre grupy mogą być jednocześnie gorzej obsługiwane przez model i bardziej narażone prywatnościowo.
Większe modele, większe ryzyko
W świecie AI często obowiązuje prosta logika: większy model, lepsze wyniki. Badanie pokazuje jednak, że w medycynie ta zasada może mieć koszt.
Autorzy sprawdzili, jak zmienia się ryzyko przy zwiększaniu pojemności modelu. Wynik był niepokojący: większe modele częściej narażały pacjentów na skuteczne ataki MIA. W dermatologicznym zbiorze Fitzpatrick 17k liczba pacjentów z niemal perfekcyjną skutecznością ataku, czyli AUC co najmniej 0,95, rosła od 0 przy modelu WRN-28-2 do 1 na 10 przy większym modelu ViT-B/16-128.
To nie znaczy, że większe modele są z natury złe. Oznacza raczej, że ich wdrażanie w ochronie zdrowia wymaga dodatkowej ostrożności. Poprawa dokładności diagnostycznej może iść w parze ze wzrostem ryzyka prywatności.
Dlaczego to może mieć poważne skutki?
Wyobraźmy sobie model trenowany na danych pacjentów onkologicznych. Jeżeli ktoś potrafi ustalić, że dane konkretnej osoby były w zbiorze treningowym, może pośrednio wywnioskować, że ta osoba chorowała albo była diagnozowana w kierunku nowotworu. Nie trzeba znać pełnej dokumentacji medycznej. Czasem sama informacja o obecności w konkretnym zbiorze danych jest wrażliwa.
TUM podaje przykład sytuacji, w której taka informacja mogłaby wpłynąć na ocenę ryzyka przez ubezpieczyciela. Pacjent może nawet nie wiedzieć, że został sklasyfikowany jako osoba podwyższonego ryzyka na podstawie danych wyciągniętych pośrednio z modelu AI.
Co może pomóc?
Autorzy wskazują kilka kierunków. Pierwszy to zmiana sposobu audytowania modeli. Zamiast patrzeć tylko na średnią skuteczność ataku, należy mierzyć ryzyko na poziomie konkretnego pacjenta lub przynajmniej pojedynczego rekordu.
Drugi kierunek to ograniczanie dostępu do modeli. Jeżeli model medyczny jest dostępny zbyt szeroko, łatwiej go testować, odpytywać i wykorzystywać do ataków.
Trzeci kierunek to differential privacy, czyli technika polegająca na dodawaniu kontrolowanego szumu podczas treningu modelu. Taki szum ma ograniczać wpływ danych pojedynczej osoby na końcowy model. Badanie potwierdza, że silniejsza ochrona tego typu obniża skuteczność ataków MIA, choć autorzy zaznaczają, że pełna ochrona powinna działać na poziomie pacjenta, a nie tylko pojedynczego rekordu.
Czego badanie jeszcze nie rozstrzyga?
Autorzy skupili się przede wszystkim na membership inference attacks i modelach diagnostycznych. Sami zaznaczają, że otwarte pozostaje pytanie, czy podobne nierówności ryzyka występują przy innych typach ataków.
Ważny jest też kontekst generatywnej AI. Badacze zauważają, że ataki MIA mogą mieć znaczenie również dla modeli generatywnych, ponieważ mogą ułatwiać późniejsze próby wydobywania danych treningowych. To szczególnie istotne w czasie, gdy medycyna coraz śmielej eksperymentuje z dużymi modelami językowymi i systemami multimodalnymi.
AI w medycynie potrzebujezabezpieczeń prywatności
To badanie nie jest argumentem przeciwko medycznej AI. Jest raczej ostrzeżeniem, że sama skuteczność diagnostyczna nie wystarczy. Model może być dobry klinicznie, a jednocześnie niebezpieczny dla prywatności dla części pacjentów.
Jeżeli medyczna AI ma zdobyć zaufanie pacjentów, musi być nie tylko skuteczna. Musi być też projektowana tak, aby chronić tych, którzy najłatwiej mogą zostać przeoczeni w statystykach.
Częste pytania
Jakie są główne ryzyka związane z używaniem medycznej AI?
Medyczna AI może ujawniać wrażliwe informacje o pacjentach, jeśli modele były trenowane na ich danych. Ataki typu membership inference mogą pozwolić na ustalenie, czy konkretne dane pacjenta były użyte w treningu modelu, co stwarza zagrożenie dla prywatności.
Dlaczego średnia skuteczność modelu AI może być myląca?
Średnia skuteczność może ukrywać skrajne przypadki, przez co niektóre grupy pacjentów mogą być narażone na znacznie większe ryzyko. Badanie pokazuje, że model może wyglądać bezpiecznie, ale w rzeczywistości może być bardzo ryzykowny dla niektórych pacjentów.
Kto jest najbardziej narażony na ataki MIA w kontekście medycznej AI?
Najbardziej narażone są grupy niedoreprezentowane w danych treningowych, takie jak pacjenci z rzadkimi chorobami czy mniejszości etniczne. Badanie wykazało, że niektóre grupy mogą być zarówno gorzej obsługiwane przez model, jak i bardziej narażone na ataki.
Jakie techniki mogą pomóc w ochronie prywatności pacjentów w medycznej AI?
Można zastosować różne techniki, takie jak differential privacy, która dodaje kontrolowany szum podczas treningu modelu. Dodatkowo, ograniczenie dostępu do modeli oraz zmiana sposobu audytowania ich skuteczności może również pomóc w ochronie prywatności.
Jakie są potencjalne konsekwencje ujawnienia danych pacjentów przez AI?
Ujawnienie danych może prowadzić do niekorzystnych skutków, takich jak zmiany w ocenie ryzyka przez ubezpieczycieli. Nawet sama informacja o tym, że dane pacjenta były w zbiorze treningowym, może być wystarczająca, aby zaszkodzić jego prywatności.
