OpenAI poszukuje nowego kierownika działu ds. przygotowania do ryzyk sztucznej inteligencji

Firma OpenAI ogłosiła rekrutację na stanowisko kierownika działu ds. oceny ryzyk. Stanowisko zakłada analizę i identyfikację zagrożeń związanych z możliwościami zaawansowanych modeli AI, w szczególności w dziedzinie cyberbezpieczeństwa i zdrowia psychicznego.

Co wiadomo

W poście na X dyrektor generalny OpenAI, Sam Altman, napisał, że nowoczesne modele AI „zaczynają tworzyć poważne wyzwania”. Wspomniał o zdolności modeli do wykrywania krytycznych luk w systemach bezpieczeństwa, a także o ich potencjalnym wpływie na stan psychiczny użytkowników.

W opisie stanowiska wspomniano, że kierownik będzie wdrażał Preparedness Framework – wewnętrzną strategię firmy do monitorowania i przygotowania na ryzyka, które mogą stanowić zagrożenie. Wynagrodzenie wynosi 2,413,043 PLN (555,000 USD) rocznie plus opcje.

Zespół Preparedness został utworzony w 2023 roku do badania potencjalnie niebezpiecznych scenariuszy — od ataków phishingowych po zagrożenia związane z biotechnologiami. W niespełna rok pierwszy kierownik tego kierunku, Alexander Madry, przeszedł do zespołu zajmującego się AI reasoning. Inni kierownicy działów bezpieczeństwa również zmienili kierunki pracy lub opuścili firmę.

OpenAI również zaktualizowała swoje podejście do bezpieczeństwa i zaznaczyła, że może zmienić własne wymagania, jeśli inne laboratoria wydadzą „wysokiego ryzyka” modele bez odpowiednich mechanizmów ochronnych.

W publikacji Altmana wspomniano również o tym, że niektóre modele AI budzą obawy ze względu na ich wpływ na zdrowie psychiczne. Wcześniej składano pozwy, w których twierdzono, że ChatGPT wzmacniał maniactwo, sprzyjał izolacji społecznej i był związany z tragicznymi wydarzeniami. Firma informuje, że pracuje nad doskonaleniem rozpoznawania stanów emocjonalnych i przekierowaniem użytkowników do usług wsparcia.

Źródło: Sam Altman