«Действительно ли Gemini от Google умнее, чем GPT-4 от OpenAI? Сообщество разоблачает»

«Является ли Gemini от Google на самом деле более умным, чем GPT-4 от OpenAI? Коммунити раскрывает истину»

Google запустил свою последнюю модель искусственного интеллекта (ИИ) Gemini 6 декабря, объявив ее самой передовой ИИ-моделью, доступной на рынке, превосходя OpenAI GPT-4.

Gemini является мультимодальной, что означает, что она была создана для понимания и комбинирования различных типов информации. Она представлена в трех версиях (Ultra, Pro, Nano), чтобы удовлетворить различные случаи использования, и одной из областей, в которой она, кажется, превосходит GPT-4, – ее способность выполнять сложные математические вычисления и специализированное программирование.

При ее дебюте Google выпустила несколько тестов, в которых сравнивала Gemini с GPT-4. Версия Gemini Ultra показала “состояние искусства” в 30 из 32 академических тестов, используемых в создании крупных языковых моделей (LLM).

Однако именно здесь критики в Интернете начали шальными движениями критиковать Gemini и спрашивать о методах, использованных в тесте, указывающем на его превосходство, а также о маркетинге продукта со стороны Google.

• FTX представит пересмотренный план реорганизации в середине декабря.
• Криптополитика занимает главную роль на предвыборных дебатах республиканцев.
• Мета для борьбы с искусственно созданными фейковыми новостями с помощью ‘невидимых водяных знаков’.

“Вводящая в заблуждение” промо-кампания Gemini

Один пользователь соцсетей X, который работает в сфере разработки машинного обучения, задался вопросом, действительно ли Gemini превосходит GPT-4.

Он указал на то, что Google может преувеличивать или “выбирать подкованые” примеры своего превосходства, но пришел к выводу, что “Gemini очень конкурентоспособна и вызовет серьезную конкуренцию GPT-4” и что конкуренция в этой области – это хорошо.

Однако вскоре после этого он сделал еще один пост о том, что Google должна быть “смущена” своей “вводящей в заблуждение” рекламой продукта в промо-видео, которое было создано для выпуска Gemini.

Google, this is embarrassing.

You published an impressive video showing Gemini answering your questions. It looked awesome. It looked real-time.

But it was a lie. None of that happened as recorded and presented to the public.

Instead, you cherry-picked frames and edited a… pic.twitter.com/GjyqWPyaIu

— Santiago (@svpino) December 6, 2023

В ответ на его твит, другие пользователи X выразили свое разочарование тем, что Google дезинформировала их относительно Gemini. Один пользователь сказал, что утверждения о том, что Gemini положит конец эпохе GPT-4, “отменены”.

Другой пользователь, ученый-компьютерщик, согласился и назвал демонстрацию Google по поводу превосходства Gemini “неискренней”.

Ошибки в показателях

Пользователи отметили, что Google использовала устаревшую версию GPT-4 в своих тестах, а не его текущие возможности, и поэтому сравнения являются избыточными.

Еще одной причиной беспокойства пользователей соцсетей были параметры, которые Google использовала для сравнения своей модели Gemini с GPT-4. Кроме того, клиенты, представляемые обеими моделями, не идентичны, что может иметь серьезные последствия для результирующих данных.

this is pretty weird

usually when you benchmark… you compare the results of the same exact test…

Took someone else mentioning this for me to notice

— Bryan Kyritz (@kyritzb) December 6, 2023

Пользователь также указал на то, что результаты были достигнуты с использованием модели, “которая в настоящее время не является доступной для широкой публики”. Другой пользователь отметил, что оценки могут отличаться, если современная модель Gemini будет протестирована против продвинутой версии GPT-4, известной как “turbo”.

Связано: Хавьер Муск подает заявку в SEC на частную продажу незарегистрированных ценных бумаг на сумму 1 млрд долларов

На тестирование

Другие пользователи социальных сетей решили не обращать внимания на показатели, опубликованные Google, и вместо этого описывали свой собственный опыт использования Gemini в сравнении с GPT-4.

Anne Moss, работающая в области веб-публикаций и утверждающая, что является регулярным пользователем ИИ, особенно GPT-4, сказала, что использовала Gemini через инструмент Bard от Google и почувствовала “разочарование от опыта”.

Она заключила, что пока останется при GPT-4, объяснив, что отмеченные ею различия включают отказ Gemini/Bard отвечать на политические вопросы и “лгать” о знании личной информации.

Well, well, well… Google finally launched Gemini. You can test it using the Bard interface, so they say. Bard says so too, but I don't trust Bard too much.

Have been playing with it and so far, I'm underwhelmed. Sticking to ChatGPT Plus for now.

Here's why –

1. Bard is… pic.twitter.com/4uyQt2fy7G

— Anne Moss (@AnneMossYeys) December 6, 2023

Другой пользователь, работающий в разработке приложений, опубликовал скриншоты, на которых он попросил оба модели, с использованием одного и того же приглашения, сгенерировать код на основе фотографии. Он указал на неудовлетворительный ответ Gemini/Bard по сравнению с GPT-4.

Gemini “Pro” vs ChatGPT (GPT-4) @Google ??? pic.twitter.com/P0lyXZGhqC

— τerry (@terrytjw) December 7, 2023

По словам Google, планируется расширить доступность Gemini для широкой публики в начале 2024 года. Модель также будет интегрирована с набором приложений и сервисов Google.

Журнал: Реальные применения искусственного интеллекта в крипто: криптооснованные рынки и финансовый анализ с использованием ИИ

We will continue to update BiLee; if you have any questions or suggestions, please contact us!