Naukowcy prezentują nową metodę kompresji wielojęzycznych modeli sztucznej inteligencji

Volodymyr Hryshchenko/Unsplash

Naukowcy z Johns Hopkins University zaproponowali nowe podejście do optymalizacji wielojęzycznych modeli językowych (MLM), pozwalające na znaczne zmniejszenie ich rozmiaru bez utraty wydajności.

Co wiadomo

Modele MLM umożliwiają generowanie i analizowanie tekstów w różnych językach. Jednak im więcej języków obejmują, tym gorzej działają z powodu "interferencji językowej".

W przeciwieństwie do tradycyjnych metod, w których dla każdego języka opracowywana jest osobna sieć neuronowa, naukowcy zdecydowali się na użycie macierzy niskiego rzędu. Pozwalają one skompresować dane i zmniejszyć liczbę parametrów potrzebnych do dodania nowych języków do modelu.

Według Haorana Xu (Haoran Xu), jednego z autorów, działa to jak ograniczona paleta kolorów dla artysty. Nie ma potrzeby dawania każdemu dziecku w klasie własnego zestawu farb, wystarczy wspólna paleta trzech kolorów. To znacznie zmniejsza potrzebę stosowania parametrów podczas skalowania modelu.

Autorzy przetestowali swoją metodę w 95 językach. Model wykazał doskonałe wyniki przy użyciu znacznie mniejszej liczby parametrów. Zdaniem naukowców toruje to drogę do tworzenia kompaktowych i wydajnych MLM.

Według naukowców z czasem pojawią się mobilne aplikacje AI, które będą działać równie dobrze w setkach języków. Ich ostatecznym celem jest zastosowanie nowej metody do kompresji dużych MLM bez szkody dla ich wydajności.

Źródło: TechXplore