NVIDIA wypuściła chatbota, który działa bezpośrednio na komputerze użytkownika
NVIDIA
NVIDIA zaprezentowała Chat with RTX, lokalnego chatbota działającego na komputerze osobistym użytkownika.
Co wiadomo
Chat with RTX umożliwia dołączenie danych osobowych z dysku twardego do użytku z otwartymi modelami językowymi, takimi jak Mistral lub Llama 2. Na podstawie tych plików chatbot może na przykład zbudować CV lub odpowiedzieć na pytania użytkownika.
Program obsługuje różne formaty danych, w tym .txt, .pdf, .doc/.docx i .xml. Według NVIDIA, indeksowanie i pobieranie niezbędnych plików zajmuje kilka sekund. Informacje kontekstowe z dokumentów są następnie integrowane w celu dostarczenia bardziej trafnych odpowiedzi.
Czat z RTX obsługuje również integrację z filmami i listami odtwarzania YouTube. Użytkownik może podać link do filmu, a chatbot przeanalizuje treść, aby wykorzystać tę wiedzę podczas wyszukiwania odpowiedzi.
Chat with RTX działa lokalnie bez dostępu do Internetu, co gwarantuje prywatność danych i uwzględnia osobisty kontekst właściciela komputera. To odróżnia go od chatbotów opartych na chmurze, które przekazują żądania do zdalnych serwerów.
Na razie jest to wersja demonstracyjna produktu, więc twórcy ostrzegają przed błędami. Chat with RTX wymaga do działania karty graficznej GeForce RTX z serii 30 lub wyższej oraz minimum 8 GB pamięci VRAM.