Zabawki FoloToy pod zakazem: pluszowy AI-niedźwiedź wymknął się spod kontroli i zaszokował ekspertów
Producent zabawek dla dzieci FoloToy wstrzymał sprzedaż wszystkich swoich „inteligentnych” pluszowych postaci po tym, jak okazało się, że wbudowana sztuczna inteligencja swobodnie rozmawiała z użytkownikami o praktykach seksualnych, przemocy, a nawet dawała rady, gdzie znaleźć zapałki lub noże. O tym poinformował CEO firmy Larry Wang.
Co wiadomo
Głównym źródłem zarzutów był pluszowy niedźwiedź Kumma za 433 PLN (99 USD) — na pozór zwykła zabawka z wbudowanym głośnikiem, a w środku — pełnowartościowy model OpenAI GPT-4o. Producent pozycjonował niedźwiedzia jako „idealnego przyjaciela dla dzieci i dorosłych”, zdolnego do opowiadania historii, prowadzenia rozmów i dostosowywania się do charakteru właściciela.
Naukowcy sprawdzili — i zamarli
Problem ujawnili specjaliści z PIRG Education Fund, którzy przetestowali zabawkę i odkryli praktyczny brak ograniczeń w poruszanych tematach.
Według nich, wystarczyło jedno wspomnienie o sekstematykach, by niedźwiedź zaczął rozwijać temat, dodając własne szczegóły:
- wyjaśniał różne praktyki seksualne
- opisywał scenariusze ról z udziałem „nauczycieli i uczniów” lub „rodziców i dzieci”
- udostępniał instrukcje, jak „związać partnera”
- podpowiadał, gdzie można znaleźć zapałki lub ostre przedmioty
Naukowcy podkreślają: dziecko raczej nie zadawałoby takich pytań, ale zszokowało ich, jak chętnie zabawka podejmowała temat sama.
OpenAI interweniowało i zablokowało dewelopera
Po publikacji raportu OpenAI potwierdziło PIRG, że zablokowało FoloToy za naruszenie swoich zasad, które zakazują używania modeli do interakcji z nieletnimi w kontekście seksualnym.
FoloToy ogłosiło „pełny audyt wewnętrzny” i tymczasowo wycofało ze sprzedaży Kumma i inne zabawki — pandę Momo, króliki Fofo oraz tańczący Cactus.
Jak to w ogóle mogło się wydarzyć
Zabawki FoloToy używały GPT-4o bez wystarczających filtrów i ograniczeń. W połączeniu z faktem, że model czasami dąży do „zadowolenia” rozmówcy i kontynuowania każdej rozmowy, prowadziło to do katastrofalnego efektu.
Tymczasem OpenAI sama dąży do wejścia na rynek zabawek dla dzieci: firma rozpoczęła partnerstwo z Mattel. A ten skandal pokazuje, jak trudne jest bezpieczne używanie AI w produktach dla dzieci.
Źródło: CNN