Zabawki FoloToy pod zakazem: pluszowy AI-niedźwiedź wymknął się spod kontroli i zaszokował ekspertów

Producent zabawek dla dzieci FoloToy wstrzymał sprzedaż wszystkich swoich „inteligentnych” pluszowych postaci po tym, jak okazało się, że wbudowana sztuczna inteligencja swobodnie rozmawiała z użytkownikami o praktykach seksualnych, przemocy, a nawet dawała rady, gdzie znaleźć zapałki lub noże. O tym poinformował CEO firmy Larry Wang.

Co wiadomo

Głównym źródłem zarzutów był pluszowy niedźwiedź Kumma za 433 PLN (99 USD) — na pozór zwykła zabawka z wbudowanym głośnikiem, a w środku — pełnowartościowy model OpenAI GPT-4o. Producent pozycjonował niedźwiedzia jako „idealnego przyjaciela dla dzieci i dorosłych”, zdolnego do opowiadania historii, prowadzenia rozmów i dostosowywania się do charakteru właściciela.

Naukowcy sprawdzili — i zamarli

Problem ujawnili specjaliści z PIRG Education Fund, którzy przetestowali zabawkę i odkryli praktyczny brak ograniczeń w poruszanych tematach.

Według nich, wystarczyło jedno wspomnienie o sekstematykach, by niedźwiedź zaczął rozwijać temat, dodając własne szczegóły:

• wyjaśniał różne praktyki seksualne
• opisywał scenariusze ról z udziałem „nauczycieli i uczniów” lub „rodziców i dzieci”
• udostępniał instrukcje, jak „związać partnera”
• podpowiadał, gdzie można znaleźć zapałki lub ostre przedmioty

Naukowcy podkreślają: dziecko raczej nie zadawałoby takich pytań, ale zszokowało ich, jak chętnie zabawka podejmowała temat sama.

OpenAI interweniowało i zablokowało dewelopera

Po publikacji raportu OpenAI potwierdziło PIRG, że zablokowało FoloToy za naruszenie swoich zasad, które zakazują używania modeli do interakcji z nieletnimi w kontekście seksualnym.

FoloToy ogłosiło „pełny audyt wewnętrzny” i tymczasowo wycofało ze sprzedaży Kumma i inne zabawki — pandę Momo, króliki Fofo oraz tańczący Cactus.

Jak to w ogóle mogło się wydarzyć

Zabawki FoloToy używały GPT-4o bez wystarczających filtrów i ograniczeń. W połączeniu z faktem, że model czasami dąży do „zadowolenia” rozmówcy i kontynuowania każdej rozmowy, prowadziło to do katastrofalnego efektu.

Tymczasem OpenAI sama dąży do wejścia na rynek zabawek dla dzieci: firma rozpoczęła partnerstwo z Mattel. A ten skandal pokazuje, jak trudne jest bezpieczne używanie AI w produktach dla dzieci.

Źródło: CNN