Japończycy rewolucjonizują AI: Uruchom ciężkie modele na zwykłym laptopie dzięki aiDAPTIV Station!

Uruchamianie dużych modeli językowych (LLM) przypomina dziś próbę włożenia słonia do lodówki. Jeśli nie masz serwerowego stojaka lub przynajmniej kilku topowych kart graficznych z ogromną ilością pamięci, można zapomnieć o lokalnym uruchamianiu zaawansowanych sieci neuronowych. Jednak japońska firma Nextorage, będąca spółką córką kontrolera giganta Phison, postanowiła podejść do problemu z innej strony — przez zewnętrzny port twojego laptopa.

Twórcy przedstawili prototyp urządzenia o nazwie aiDAPTIV Station. To zewnętrzna stacja sprzętowa, która obiecuje możliwość uruchamiania modeli poziomu OpenAI GPT-OSS-120B na zwykłych komputerach wyposażonych jedynie w 32 GB pamięci RAM. Dla kontekstu: takie modele zazwyczaj wymagają znacznie więcej zasobów niż może zaoferować przeciętny laptop, nawet jeśli dumnie nosi naklejkę „AI PC”.

Magia wymiany danych, czyli jak działa aiDAPTIV

Podstawą działania stacji jest technologia Phison aiDAPTIV+. Zamiast próbować umieścić cały model w drogiej pamięci operacyjnej (DRAM), system dynamicznie rozdziela dane między dostępną pamięć komputera a zewnętrzne magazynowanie NAND. W istocie, urządzenie używa szybkich SSD jako rozszerzenie pamięci operacyjnej, rozbijając duże modele na warstwy i ładując je w razie potrzeby.

Oczywiście takie podejście nie sprawi, że przetwarzanie zapytań będzie natychmiastowe — prędkość transferu danych przez interfejs USB-C nadal pozostaje „wąskim gardłem” w porównaniu z szyną PCIe bezpośrednio na płycie głównej. Jednak dla deweloperów i entuzjastów, którym zależy na samej możliwości lokalnego uruchomienia bez subskrypcji w chmurze, jest to całkiem akceptowalny kompromis. Stacja ma kompaktowy design i obsługuje systemy operacyjne Windows oraz Ubuntu Linux, co czyni ją uniwersalnym narzędziem do testowania sieci neuronowych „w drodze”.

Perspektywy rynkowe i oprogramowanie

Nextorage nie tylko oferuje sprzęt, ale planuje również wydać gotowe rozwiązanie programowe, które zautomatyzuje proces konfiguracji modeli pod ich stację. Jest to krytycznie ważne, jako że samodzielne kwantowanie i segmentacja modeli to przyjemność dla cierpliwych. Oczekuje się, że Nextorage wprowadzi aiDAPTIV Station na japoński rynek jeszcze przed końcem tego roku. Na razie brak informacji o cenie, ale na pewno będzie niższa niż w przypadku profesjonalnych GPU z 48 GB+ pamięci wideo.

Podczas gdy duże korporacje starają się sprzedać nam rozwiązania chmurowe w formie subskrypcji, tego typu projekty przywracają moce obliczeniowe w ręce użytkowników. Nawet jeśli oznacza to, że twój laptop zostanie obłożony dodatkowymi skrzynkami do wykonywania skomplikowanych zadań. Chociaż na tle ogólnego sceptycyzmu co do efektywności inwestycji w AI, takie dostępne rozwiązania mogą stać się realnym wyjściem dla małych firm.

Ciekawostką jest, że na tle rozwoju nowych metod uruchamiania sieci neuronowych, raport MIT NANDA pokazuje, że 95% firm nie zauważyło zwrotu z inwestycji w sztuczną inteligencję, co jedynie podkreśla potrzebę tańszych narzędzi.