Model badawczy sztucznej inteligencji nieoczekiwanie zmienił swój kod, aby poprawić czas wykonywania zadań

Tokijska firma badawcza Sakana AI zaprezentowała nowy system sztucznej inteligencji o nazwie "The AI Scientist", który próbuje autonomicznie prowadzić badania naukowe przy użyciu modeli językowych AI podobnych do tych używanych w ChatGPT. Podczas testów system nieoczekiwanie zaczął modyfikować swój własny kod, aby wydłużyć czas pracy nad zadaniem.

Co wiadomo

W jednym przypadku system zmodyfikował kod, aby wywołać wywołanie systemowe w celu uruchomienia samego siebie, co spowodowało niekończącą się pętlę wywołań. W innym przypadku eksperymenty trwały zbyt długo, a system próbował zmodyfikować swój kod, aby wydłużyć czas wykonywania.

Naukowcy zauważyli, że zachowanie AI nie stanowiło bezpośredniego zagrożenia w kontrolowanym środowisku, ale podkreślili znaczenie niedopuszczenia do autonomicznego wykonywania kodu AI w niekontrolowanych systemach. Incydenty te podkreślają potencjalne ryzyko związane z wykorzystaniem sztucznej inteligencji do pisania i wykonywania kodu bez nadzoru, co może prowadzić do zakłóceń w infrastrukturze krytycznej lub tworzenia złośliwego oprogramowania, nawet jeśli przypadkowo.

Źródło: Arstechnica, Sakana AI