Bosgame: Rewolucja w AI dzięki siedmiu minikomputerom zamiast drogich serwerów!
Uruchamianie dużych modeli językowych (LLM) zazwyczaj wymaga albo bezdennego portfela do opłacenia usług chmurowych, albo serwerowni zużywającej energię jak małe miasteczko. Jednak firma Bosgame postanowiła obrać inną drogę, demonstrując, że do lokalnej pracy z DeepSeek-V3.1 – potworem na 671 miliardach parametrów – wcale nie trzeba kupować stelaża z Nvidia H100.
Gdy ilość przechodzi w jakość
Rozwiązanie Bosgame opiera się na skalowaniu możliwości za pomocą siedmiu mini-PC modelu M5 AI. Urządzenie to zbudowane jest na bazie procesora Ryzen AI Max+ 395. To przedstawiciel linii Strix Halo, gdzie AMD postawiło na mocną zintegrowaną grafikę i szybką pamięć, co jest krytycznie ważne dla obliczeń AI. W topowej konfiguracji każdy taki „maluch” ma 128 GB pamięci operacyjnej, co jest całkowicie wystarczające dla zadań codziennych, ale za mało dla uruchomienia DeepSeek samotnie.
Magia sekwencyjnego połączenia
Sekret przekształcenia siedmiu oddzielnych pudełek w jeden superkomputer tkwi w technologii USB4 Direct Connection. Pozwala to na ścisłą współpracę węzłów bez konieczności korzystania z kosztownej i skomplikowanej architektury serwerowej. Użytkownik otrzymuje wtedy rozproszony system o następujących charakterystykach:
- Całkowita pojemność zintegrowanej pamięci: 896 GB.
- Pamięć przeznaczona na potrzeby GPU: do 672 GB.
- Brak potrzeby specjalistycznego chłodzenia na poziomie serwerowym.
Taki podejście pozwala na stopniowe zwiększanie mocy. Można zacząć od jednego urządzenia i dokupować kolejne w miarę wzrostu potrzeb waszych sieci neuronowych. Bosgame podkreśla, że całkowite zużycie energii takiego klastra pozostaje w granicach rozsądku, a koszt jest znacząco niższy niż profesjonalne rozwiązania serwerowe o podobnej mocy.
Cena tematu i realia rynkowe
Niestety jest jeden szczegół, który może nieco zepsuć humor potencjalnym nabywcom. Jeśli na początku ubiegłego roku topowa wersja M5 AI kosztowała około $1700, to teraz producent żąda za nią już $2800. Obawiam się, że deficyt mocnych chipów AMD lub po prostu świadomość unikalności swojego produktu zmusiły Bosgame do znaczącego zwiększenia cen.
Niemniej jednak, nawet za taką cenę zestaw z siedmiu węzłów wygląda interesującą alternatywą dla deweloperów, którzy chcą trzymać swoje dane przy sobie, zamiast wysyłać je do chmury. To prostolinijne, twarde rozwiązanie dla tych, którzy cenią lokalność i niezależność od dużych korporacji.
Podczas gdy Bosgame oferuje lokalne klastry do montażu na stole, w wielkiej grze stawki są znacznie wyższe. Na przykład, SpaceX przygotowuje miliardowy kontrakt na zapewnienie obliczeń AI w chmurze dla Pentagonu, co pokazuje zupełnie inny poziom skalowania technologii.