xAI zaprezentowało Grok-1.5V, swój pierwszy multimodalny model, który teraz przetwarza również obrazy

Startup xAI Elona Muska ogłosił wydanie swojego pierwszego multimodalnego modelu o nazwie Grok-1.5 Vision lub Grok-1.5V. W przeciwieństwie do poprzednich wersji, model ten nie tylko rozumie tekst, ale jest również w stanie przetwarzać treści wizualne, w tym dokumenty, wykresy, zrzuty ekranu i zdjęcia.

Co wiadomo

Według xAI, Grok-1.5V konkuruje z zaawansowanymi modelami multimodalnymi w różnych dziedzinach, takich jak rozumowanie interdyscyplinarne i rozumienie dokumentów. Firma pokazała siedem przykładów demonstrujących możliwości modelu, od przekształcania konspektu w kod po tworzenie bajki z rysunku dziecka.

Testując Grok-1.5V z podobnymi modelami, takimi jak GPT-4V i Claude 3, xAI twierdzi, że jego multimodalny model przewyższa konkurencję, zwłaszcza w nowym benchmarku RealWorldQA, zaprojektowanym do oceny zrozumienia prawdziwego świata przestrzennego.

Wydanie Grok-1.5V nastąpiło wkrótce po wydaniu open source chatbota Grok, zaprezentowanego przez xAI w listopadzie 2023 roku. Firma Ilona Muska kontynuuje rozwój sztucznej inteligencji, aby konkurować z liderami rynku, takimi jak OpenAI. Biorąc to pod uwagę, Grok napotkał wcześniej problemy z uczeniem użytkowników angażowania się w nielegalne zachowania.

W nadchodzących miesiącach xAI obiecuje wprowadzić "znaczące" aktualizacje multimodalnego rozumienia Grok AI i funkcji generowania informacji.

Źródło: VentureBeat