Badanie: Gemini Google jest gorszy od GPT-3.5 Turbo OpenAI
Według badań przeprowadzonych przez specjalistów z Carnegie Mellon University i firmy BerriAI, model językowy Gemini Pro firmy Google jest gorszy od modelu GPT-3.5 Turbo firmy OpenAI pod względem większości wskaźników.
Co wiadomo
Podczas testowania modeli w różnych zadaniach, w tym w pytaniach wielokrotnego wyboru z różnych dziedzin i zadaniach logicznych, Gemini Pro wypadł gorzej niż GPT-3.5 Turbo. Opóźnienie było szczególnie znaczące w obszarach takich jak matematyka, programowanie i przetwarzanie długich, złożonych zapytań.
Wyniki testów dużych modeli językowych Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo i Mixtral
Gemini wykazał przewagę w zadaniach sortowania słów, obsługi znaków i tłumaczenia tekstu. Niemniej jednak model ten nadal pozostaje w tyle za GPT-3.5 Turbo pod względem ogólnej wydajności.
Zadania, w których Gemini Pro wyprzedził GPT-3.5 Turbo
Rzecznik Google powiedział, że wewnętrzne testy firmy wykazały wyższość Gemini Pro nad GPT-3.5. Ponadto oczekuje się, że Gemini Ultra, który pojawi się w 2024 roku, przewyższy wszystkie obecne modele, w tym GPT-4.
Dla tych, którzy chcą dowiedzieć się więcej:
- Google wydało model Gemini AI w trzech konfiguracjach
- Google zostało oskarżone o sfałszowanie wideo demonstrującego możliwości AI Gemini
Źródło: VentureBeat
