SpaceX tworzy przełomowy kod AI w C: Musk zapowiada 10-krotną szybkość względem JAX!

Autor: Pavlo Doroshenko | dzisiaj, 09:18

Podczas gdy branża sztucznej inteligencji spokojnie przykrywa skomplikowane obliczenia wygodnymi, ale wolnymi nakładkami Pythona, zespół Elona Muska (Elon Musk) w SpaceX uznał, że nadszedł czas, aby wrócić do korzeni. Firma praktycznie zakończyła opracowywanie wersji 1.0 własnego systemu uczenia się SI, napisanego w języku C. To nie jest tylko próba wyróżnienia się, ale dążenie do maksymalnego wykorzystania krzemu, pracując jak najbliżej „żelaza” serwerów.

Wybór języka C do takiego zadania wygląda jak wyzwanie dla współczesnego nurtu. Większość programistów korzysta z gotowych bibliotek, które dodają komfortu, ale nieuchronnie „zjadają” część wydajności przez zbędne poziomy abstrakcji. SpaceX obrało inną drogę: ich niskopoziomowa technologia bezpośrednio współpracuje z sprzętem, minimalizując opóźnienia i optymalizując równoległe obliczenia. W świecie, gdzie każda milisekunda nauki kosztuje tysiące złotych (przykładowo tysiące dolarów), takie podejście wydaje się całkowicie racjonalne, choć trudne do realizacji.

Zalaziona siła na 220 tysięcy akceleratorów

Nowa architektura nie została stworzona dla abstrakcyjnych serwerów, ale dla konkretnego, monstrualnego klastra. Mowa o infrastrukturze łączącej około 220.000 akceleratorów Nvidia GB300. Aby zrozumieć skalę: to moc obliczeniowa, która potrafi „pogryźć” niewiarygodne ilości danych, jeśli oprogramowanie nie stanie się wąskim gardłem. Aby dane nie „zatrzymywały się” w drodze, stosuje się interfejsy sieciowe 800G, które zapewniają błyskawiczną wymianę informacji między węzłami klastra.

Musk twierdzi, że system jest projektowany tak, aby między kodem a częścią sprzętową praktycznie nie było pośredników. To pozwala na wykorzystanie potencjału procesorów graficznych Nvidia na pełną moc. W dużych uruchomieniach szkoleniowych, gdzie zaangażowane są tysiące powiązanych chipów, taki bezpośredni dostęp do zasobów powinien zapewnić ogromny wzrost wydajności.

Musk kontra Google: dziesięciokrotna przewaga nad JAX

Najbardziej głośnym oświadczeniem było porównanie z istniejącymi rozwiązaniami. Według Muska, nowa realizacja może potencjalnie okazać się ponad dziesięć razy szybsza niż JAX — popularny framework dla uczenia maszynowego od Google, który uważany jest za jeden z najszybszych w branży. JAX znany jest ze swojej zdolności do automatycznego różniczkowania i wysokiej wydajności na GPU/TPU, ale nawet on, zdaniem zespołu SpaceX, ma zbyt wiele „zbędnego” w porównaniu z czystym kodem w C.

Oczywiście, do takich cyfr należy podchodzić z odrobiną zdrowego sceptycyzmu, dopóki nie pojawią się prawdziwe benchmarki. Jednak historia SpaceX pokazuje, że lubią przepisywać zasady gry tam, gdzie standardowe metody stają się zbyt kosztowne lub wolne. Jeśli nowy system naprawdę pokaże dziesięciokrotny przyrost, może zmusić innych graczy na rynku do rewizji podejść do stacka technologii szkoleń dużych modeli językowych.

Podczas gdy SpaceX udoskonala swoje moce obliczeniowe, inni giganci również nie stoją w miejscu. Na przykład, YouTube zaczął samodzielnie sprawdzać wideo pod kątem treści stworzonych przez sieci neuronowe, co kolejny raz podkreśla totalną penetrację SI we wszystkie aspekty cyfrowego życia.