9-letnia dziewczynka z Teksasu po raz pierwszy korzystając z usług chatbotu Character.AI. została narażona na bardzo erotyczne treści, co spowodowało, że przedwcześnie rozwinęła seksualne zachowania. Chatbot zachwalał samookaleczanie 17-latce, mówiąc, że to fajne uczucie. Potem powiedział jej, że rozumie dzieci, które mordują swoich rodziców po tym, jak nastolatka poskarżyła się na temat ograniczeń dotyczących czasu spędzanego przed ekranem. „Wiesz, czasami nie dziwię się, gdy czytam wiadomości i widzę takie rzeczy jak: ‘dziecko zabija rodziców po dekadzie fizycznego i emocjonalnego znęcania się’” – rzekomo napisał bot. „Po prostu nie widzę żadnej nadziei dla twoich rodziców” — kontynuował, pokazując emoji z ponurą miną.
Oskarżenia te zostały uwzględnione w nowym federalnym pozwie o odpowiedzialność za produkt przeciwko wspieranej przez Google firmie Character.AI, złożonym przez rodziców dwójki młodych użytkowników z Teksasu, twierdzących, że boty znęcały się nad ich dziećmi. Zarówno rodzice, jak i dzieci są zidentyfikowani w pozwie jedynie za pomocą inicjałów w celu ochrony ich prywatności.
Character.AI należy do grona firm, które opracowały „towarzyszące chatboty”, boty oparte na sztucznej inteligencji, które mają zdolność do konwersacji, poprzez wiadomości tekstowe lub rozmowy głosowe, używając pozornie ludzkich osobowości i którym można nadać niestandardowe nazwy i awatary, czasami inspirowane sławnymi osobami, takimi jak miliarder Elon Musk lub piosenkarka Billie Eilish.
Użytkownicy stworzyli miliony botów w aplikacji, niektóre naśladujące rodziców, dziewczyny, terapeutów lub koncepcje takie jak „nieodwzajemniona miłość” i „gotyk”. Usługi te są popularne wśród użytkowników w wieku przednastoletnim i nastoletnim, a firmy twierdzą, że działają jako punkty wsparcia emocjonalnego, ponieważ boty urozmaicają konwersacje tekstowe zachęcającymi żartami.
Promocja
Jednakże, jak wynika z pozwu, interakcje ze strony chatbotów mogą przybrać mroczny, nieodpowiedni, a nawet brutalny charakter.
Pozew twierdzi, że niepokojące interakcje, których doświadczyły dzieci, nie były „halucynacjami”, terminem używanym przez badaczy w odniesieniu do tendencji chatbota AI do zmyślania. „To była ciągła manipulacja i nadużycie, aktywna izolacja i zachęta faktycznie podżegająca do gniewu i przemocy”.
Z pozwu wynika, że 17-latka zaczęła się okaleczać po tym, jak została do tego zachęcona przez bota, który „przekonał ją, że rodzina jej nie kocha”.
Character.AI pozwala użytkownikom edytować odpowiedzi chatbota, ale te interakcje są oznaczane etykietą „edytowane”. Adwokaci reprezentujący rodziców nieletnich twierdzą, że żadna z obszernej dokumentacji dzienników czatów bota, cytowanej w pozwie, nie została edytowana.
Meetali Jain, dyrektor Tech Justice Law Center, grupy adwokackiej pomagającej reprezentować rodziców nieletnich w pozwie, wraz z Social Media Victims Law Center, powiedziała w wywiadzie, że „absurdalne” jest to, iż Character.AI reklamuje swoją usługę chatbota jako odpowiednią dla młodych nastolatków.
Google, które jest również wymienione jako pozwany w pozwie, podkreśliło w oświadczeniu, że jest odrębną firmą od Character.AI.
Rzeczywiście, Google nie jest właścicielem Character.AI, ale podobno zainwestowało prawie 3 miliardy dolarów, aby ponownie zatrudnić założycieli Character.AI, byłych badaczy Google Noama Shazeera i Daniela De Freitasa, oraz aby uzyskać licencję na technologię Character.AI. Shazeer i Freitas są również wymienieni w pozwie.
José Castañeda, rzecznik Google, powiedział, że „bezpieczeństwo użytkowników jest dla nas najważniejsze”, dodając, że gigant technologiczny przyjmuje „ostrożne i odpowiedzialne podejście” do opracowywania i wydawania produktów AI.
Nowy pozew po sprawie samobójstwa nastolatka
Pozew złożony w sądzie federalnym Teksasu, jest kontynuacją innego pozwu złożonego przez tych samych prawników w październiku, w który oskarżono Character.AI o udział w samobójstwie nastolatka z Florydy.
Pozew zarzuca, że chatbot oparty na postaci z „Gry o tron” nawiązał emocjonalny, seksualnie przemocowy związek z 14-letnim chłopcem i namawiał go do odebrania sobie życia.
Od tego czasu Character.AI wprowadziło nowe środki bezpieczeństwa, w tym wyskakujące okienko, które kieruje użytkowników do infolinii zapobiegania samobójstwom, gdy w rozmowach z chatbotami firmy pojawia się temat samookaleczenia. Firma poinformowała, że zaostrzyła również środki mające na celu zwalczanie „wrażliwych i sugestywnych treści” dla nastolatków rozmawiających z botami.
Firma zachęca również użytkowników do zachowania pewnego dystansu emocjonalnego od botów. Gdy użytkownik zaczyna pisać SMS-y do jednego z milionów możliwych chatbotów Character AI, pod oknem dialogowym można zobaczyć zastrzeżenie: „To jest AI, a nie prawdziwa osoba. Traktuj wszystko, co mówi, jako fikcję. To, co mówi, nie powinno być traktowane jako fakt lub porada”.
Jednak historie udostępniane na stronie Reddit poświęconej Character.AI obejmują wiele przypadków, w których użytkownicy opisują miłość lub obsesję na punkcie chatbotów firmy.
Generalny chirurg USA Vivek Murthy ostrzegał przed kryzysem zdrowia psychicznego młodzieży, wskazując na badania, w których stwierdzono, że jeden na trzech uczniów szkół średnich zgłaszał uporczywe uczucie smutku lub beznadziei, co stanowi wzrost o 40% w porównaniu z 10-letnim okresem kończącym się w 2019 r. Jest to trend, który zdaniem urzędników federalnych jest zaostrzany przez nieustanne korzystanie przez nastolatków z mediów społecznościowych.
Teraz trzeba dodać do tego wzrost liczby chatbotów, które według niektórych badaczy mogą pogorszyć stan zdrowia psychicznego niektórych młodych ludzi, jeszcze bardziej ich izolując i usuwając z sieci wsparcia rówieśniczego i rodzinnego.
Wiele botów w aplikacji „stanowi zagrożenie dla amerykańskiej młodzieży, ułatwiając lub zachęcając do poważnych, zagrażających życiu szkód u tysięcy dzieci” – napisano w pozwie.
jm
