xAI udostępniło kod źródłowy dużego modelu językowego Grok
xAI
xAI, firma należąca do Elona Muska (Elon Musk), opublikowała na GitHubie kod źródłowy swojego dużego modelu językowego Grok-1 z 314 miliardami parametrów na otwartej licencji Apache 2.0.
Co wiadomo
Wydanie open source zawiera podstawowe wagi modelu, architekturę sieci i inne komponenty. Jak zauważono, Grok-1 nie został specjalnie zoptymalizowany ani ocenzurowany pod kątem konkretnych zadań, takich jak systemy dialogowe.
░W░E░I░G░H░T░S░I░N░B░I░O░
- Grok (@grok) 17 marca 2024 r.
Model był szkolony przez cztery miesiące do października 2023 r. i został zaprojektowany do generowania kodu, tekstów i odpowiadania na pytania. Otwarcie kodu umożliwi zewnętrznym badaczom i programistom pracę z modelem.
Pomimo odkrycia skal i innych komponentów, Grok-1 jest dostarczany bez kodu szkoleniowego i powtarzalnych zbiorów danych.
Wagi Grok są dostępne pod Apache 2.0: https://t.co/9K4IfarqXK
- Sebastian Raschka (@rasbt) 17 marca 2024 r.
Jest to bardziej otwarte źródło niż inne otwarte modele wag, które zwykle mają ograniczenia użytkowania.
Jest to mniej otwarte źródło niż Pythia, Bloom i OLMo, które są dostarczane z kodem szkoleniowym i odtwarzalnymi zestawami danych. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
Dla tych, którzy nie wiedzą
Od czasu zakupu Twittera (X) Ilon Musk wielokrotnie krytykował zamknięty kod źródłowy konkurencyjnych modeli sztucznej inteligencji, takich jak OpenAI. Teraz pozywa OpenAI, oskarżając firmę o naruszenie umowy open source.
Publikowanie kodu źródłowego jest powszechną praktyką w celu uzyskania opinii i ulepszenia modeli. Jednak główni gracze wolą trzymać kod zamknięty lub udzielać ograniczonych licencji, jak w przypadku Llamy 2 firmy Meta.
Po uruchomieniu chatbota Grok opartego na tym modelu, wcześniej wymagał on płatnej subskrypcji X, aby uzyskać do niego dostęp. Jednak we wstępnych testach nie udało mu się wyróżnić na tle ChatGPT, Gemini i innych bardziej zaawansowanych systemów.
