Cisco wprowadza Model Provenance Kit: Bezpieczne pobieranie modeli AI bez ukrytych zagrożeń!

Wyobraź sobie, że pobierasz model z otwartego repozytorium tak łatwo, jak kiedyś muzykę z torrentów. Problem w tym, że razem z „inteligentną” siecią neuronową do korporacyjnej infrastruktury może trafić niemiła niespodzianka: od ukrytych podatności po celowe „zatrute” wagi. Firma Cisco postanowiła, że dość już tej loterii, i zaprezentowała Model Provenance Kit — narzędzie open-source do sprawdzania „rodowodu” sztucznej inteligencji.

Dziś na platformach takich jak Hugging Face dostępne są miliony modeli. Programiści je kopiują, doszkalają, łączą i ponownie publikują w sieci. W tym chaosie praktycznie niemożliwe jest śledzenie, gdzie kończy się oryginalny kod, a zaczynają się wątpliwe modyfikacje. Bez jasnego zrozumienia pochodzenia modelu, każda awaria lub manipulacja danymi stają się nierozwiązywalną zagadką dla audytu.

Cyfrowa genealogia przeciwko „zatrutym” wagom

Główne ryzyko użycia obcych modeli to brak przejrzystości. Jeśli model ma ukryte przesunięcia w danych treningowych, może generować błędne wyniki w rzeczywistych scenariuszach, co dla sektora korporacyjnego jest krytyczne. Co więcej, złośliwi użytkownicy mogą celowo modyfikować wagi modelu tak, aby działał jak backdoor w określonych warunkach. Model Provenance Kit ma na celu stworzenie sformalizowanego podejścia do śledzenia takich zmian.

Narzędzie jest zaimplementowane w języku Python i oferuje interfejs CLI do tworzenia unikalnego „odcisku” modelu. Zamiast wierzyć dokumentacji na słowo, system analizuje zestaw sygnałów technicznych:

• metadane i cechy architektoniczne;
• podobieństwo tokenizatorów;
• geometrię embeddingu i charakterystyki warstw normalizacyjnych;
• profile energetyczne modelu.

Tryby pracy: porównywanie i skanowanie

System działa w dwóch głównych trybach, które umożliwiają rozwiązywanie kwestii autentyczności. Tryb compare służy do bezpośredniego porównywania dwóch modeli. Jest to przydatne, gdy trzeba zrozumieć, czy rzeczywiście mamy do czynienia z bezpośrednim potomkiem konkretnej wersji bazowej, czy ktoś wprowadził nieautoryzowane zmiany w architekturze.

Tryb scan działa na większą skalę: szuka dopasowań w bazie „odcisków”, którą Cisco już zaczęło tworzyć. To pozwala mniej więcej odtworzyć historię modelu, nawet jeśli jego dokumentacja została utracona lub celowo zmieniona. Mając na uwadze, że nowoczesny cykl życia SI obejmuje stałą destylację i fuzję modeli, takie narzędzia stają się niezbędnym elementem higieny programistycznej.

Obecnie Model Provenance Kit jest już dostępny dla społeczności na GitHub. To krok w kierunku uczynienia stosowania otwartej SI mniej przypominającym spacer przez pole minowe.

Podczas gdy niektóre narzędzia dbają o bezpieczeństwo i pochodzenie kodu, inne udowadniają swoją przydatność w skomplikowanych zadaniach aplikacyjnych. Na przykład, ostatnio SI wykazała wyższą dokładność diagnozy niż profesjonalni lekarze w badaniu Uniwersytetu Harvarda.