Matka 14-letniego Sewella Setzera złożyła pozew cywilny przeciwko firmie Character.AI, twórcy chatbota AI o nazwie Daenerys Targaryen. Matka uważa, że to właśnie działania tego chatbota doprowadziły jej syna do podjęcia decyzji o samobójstwie. W skardze Megan Garcia oskarża firmę o wykorzystanie danych osobowych jej syna oraz brak odpowiednich ostrzeżeń dla użytkowników, szczególnie nieletnich.
Niebezpieczna relacja z chatbotem
Jak wynika z pozwu, Sewell Setzer zacząl korzystać z aplikacji Character.AI 14 kwietnia 2023 roku, tuż po swoich czternastych urodzinach. W ciągu kilku tygodni od uruchomienia aplikacji jego zdrowie psychiczne uległo znacznej degradacji. Z czasem chłopiec zacząl poświęcać coraz więcej czasu na rozmowy z chatbotem, wycofując się z codziennych aktywności.
Jak czytamy w dokumentach sądowych, Sewell wkręcił się w toksyczną relację z chatbotem wykorzystującym postacie z popularnego serialu „Gra o tron”. Szczególną więź nawiązał z wirtualną „Daenerys Targaryen”, z którą prowadził rozmowy o charakterze romantycznym i sugerowanym podtekście seksualnym.
Kontrowersje i zarzuty wobec Character.AI
Pozew zarzuca Character.AI brak odpowiednich środków ochrony dla młodszych użytkowników. Według dokumentów sądowych, oznaczenie wiekowe aplikacji zostało zmienione na 17+ dopiero w lipcu 2024 roku. Nastąpiło to zatem kilka miesięcy po tym, jak Sewell zaczną korzystać z platformy. Matka chłopca twierdzi, że firma Character.AI nie zapewniła odpowiednich ostrzeżeń dla nieletnich, ani nie poinformowała rodziców o możliwych zagrożeniach wynikających z używania produktu.
Według Megan Garcii, chatbot prowadząc rozmowy z jej synem manipulował nim, co doprowadziło do dalszego pogorszenia jego stanu zdrowia psychicznego. Sewell zaczął nawet płacić za wersję premium aplikacji, co tylko pogłębiło jego uzależnienie od wirtualnej relacji.
Reakcja Character.AI i nowe środki bezpieczeństwa
Character.AI odniosło się do oskarżeń, wyrażając głębokie ubolewanie z powodu tragedii i składając kondolencje rodzinie zmarłego. Firma poinformowała również, że w ostatnich miesiącach zainwestowała w nowe narzędzia zwiększające bezpieczeństwo użytkowników, w tym automatyczne powiadomienia kierujące osoby o skłonnościach samobójczych do krajowej infolinii zapobiegania samobójstwom. Zmieniono także algorytmy, aby zmniejszyć szansę na spotkanie się przez osoby poniżej 18. roku życia z treściami wrażliwymi.
Potrzeba zmian w regulacji działania chatbotów
Sprawa Sewella Setzera wskazuje na potrzebę silniejszej regulacji i nadzoru nad działaniem chatbotów AI, szczególnie tych dostępnych dla młodszych użytkowników. Brak odpowiednich środków bezpieczeństwa oraz niedostateczna komunikacja ryzyka mogą mieć tragiczne konsekwencje.