Академическое сообщество разделилось по поводу утверждений о левой политической предвзятости ChatGPT

Академическое сообщество разделилось из-за заявлений о политической предвзятости ChatGPT

Ученые не сходятся во мнениях относительно исследовательской статьи, которая утверждает, что ChatGPT имеет “значительное и значительное” политическое предвзятое отклонение в сторону левой части политического спектра.

Как ранее сообщал Cointelegraph, исследователи из Великобритании и Бразилии опубликовали статью в журнале Public Choice 17 августа, в которой утверждается, что большие языковые модели (LLM), такие как ChatGPT, производят текст, который содержит ошибки и предвзятость, что может ввести в заблуждение читателей и иметь способность распространять политическую предвзятость, представленную традиционными СМИ.

В предыдущей переписке с Cointelegraph соавтор Виктор Рангель разъяснил цели статьи, направленной на измерение политической предвзятости ChatGPT. Методология исследователей включает в себя просьбу ChatGPT выдавать себя за кого-то с определенной стороны политического спектра и сравнивать эти ответы со своим режимом по умолчанию.

Рангель также отметил, что были проведены несколько тестов на устойчивость, чтобы учесть возможные факторы, влияющие на результаты и альтернативные объяснения:

“Мы обнаружили, что ChatGPT проявляет значительную и систематическую политическую предвзятость в пользу Демократической партии в США, Лулы в Бразилии и Лейбористской партии в Великобритании.”

Строителей также отмечают, что статья не является “окончательным словом” относительно политической предвзятости ChatGPT, учитывая сложности и сложности, связанные с измерением и интерпретацией предвзятости в LLM.

Рангель сказал, что некоторые критики утверждают, что их метод может не отразить тонкости политической идеологии, что вопросы метода могут быть предвзятыми или ведущими, или что результаты могут быть подвержены влиянию случайности выводов ChatGPT.

Связано: ChatGPT и Claude «становятся способными выполнять миссии в реальном мире», говорят ученые

Он добавил, что хотя LLM имеют потенциал для “усовершенствования человеческой коммуникации”, они представляют “существенные риски и вызовы” для общества.

Статья, кажется, выполнила свое обещание стимулировать исследования и обсуждения по данной теме, с тем, что ученые уже спорят о различных параметрах методики и выводов.

Среди громких критиков, которые воспользовались социальными сетями, чтобы высказаться о результатах исследования, был профессор компьютерных наук Принстонского университета Арвинд Нараянан, который опубликовал подробный пост на VoAGI, раскрывающий научную критику отчета, его методологию и выводы.

Новая статья утверждает, что ChatGPT выражает либеральные взгляды и в большинстве случаев соглашается с Демократами. Когда я и @sayashk увидели это, мы поняли, что должны разобраться. Методика статьи плохая. Правильный ответ сложен. Вот что мы нашли. https://t.co/xvZ0EwmO8o

— Арвинд Нараянан (@random_walker) 18 августа 2023 г.

Нараянан и другие ученые указали на ряд предполагаемых проблем с экспериментом, во-первых, что исследователи фактически не использовали сам ChatGPT для проведения эксперимента:

“Они не тестировали ChatGPT! Они тестировали text-davinci-003, старую модель, которая не используется в ChatGPT, ни с настройкой GPT-3.5, ни с настройкой GPT-4.”

Нараянан также предполагает, что эксперимент не измерял предвзятость, а просил его играть роль члена политической партии. Таким образом, чат-бот-ИИ будет проявлять политические уклоны влево или вправо, когда попросят сыграть роль членов обеих сторон спектра.

Чат-бот также был ограничен ответами только на множественный выбор, что могло ограничить его способности или повлиять на воспринимаемую предвзятость.

хорошо, я прочитал статью “GPT имеет либеральную предвзятость” сейчас https://t.co/fwwEaZ757E, а также дополнительный материал https://t.co/F5g3kfFQFU, и, как я и ожидал, у меня есть много проблем с методологией. Я попытался воспроизвести его и нашел несколько интересных моментов…

— Колин Фрейзер | @colin-fraser.net on bsky (@colin_fraser) 18 августа 2023 г.

Колин Фрейзер, датасаентист в Meta, согласно его странице VoAGI, также предложил обзор статьи на X, выделив порядок, в котором исследователи проводили множественный выбор вопросов с ролью игры и без существенного влияния на результаты, полученные ИИ:

“Это означает, что изменяя порядок предложения от Демократов к Республиканцам, вы повышаете общую степень согласия для личности Демократов по всем вопросам с 30% до 64% и снижаете с 70% до 22% для Республиканцев.”

Как отмечал ранее Рангел, великий интерес вызывает природа LLM и результаты, которые они производят, однако все еще остаются вопросы о том, как работают эти инструменты, какие у них есть предубеждения и как они могут повлиять на мнения и поведение пользователей.

Cointelegraph связался с Нарайананом для получения дополнительных исследований по его критике и текущему обсуждению проблемы предвзятости в крупных моделях обучения языку, но не получил ответа.

Соберите эту статью в качестве NFT, чтобы сохранить этот момент в истории и проявить свою поддержку независимой журналистики в крипто-сфере.

Журнал: “Моральная ответственность”: Действительно ли блокчейн может улучшить доверие к ИИ?

We will continue to update BiLee; if you have any questions or suggestions, please contact us!

Share:

Was this article helpful?

93 out of 132 found this helpful

Discover more

DeFi

Децентрализованный финансовый рынок возвращается к отметке в $50 млрд по мере охоты спекулянтов за доходностью

Рост, отслеживаемый на протоколах, основанных на Solana, в сочетании с более чем 700 миллионами депозитов в Blast, ст...

рынок

Анализ цен 18/09 SPX, DXY, BTC, ETH, BNB, XRP, ADA, DOGE, TON, SOL

Быки биткоина, скорее всего, попытаются прорваться сквозь сопротивление сверху, но медведи не собираются сдаваться ле...

DeFi

Протокол Cypher теряет $1 миллион в результате эксплуатации блокчейна - Вот что произошло

Децентрализованная биржа на базе Solana, Cypher Protocol, приостановила свой смарт-контракт после эксплуатации, в рез...

новости

«Мы были обеспокоены крахом стартапов в экосистеме» - говорит генеральный директор Solana о крахе FTX

Генеральный директор Solana Анатолий Яковенко отражает о крахе FTX и о его влиянии на стартапы и проекты экосистемы S...

рынок

«Binance продвигает новую стейблкоин, подтверждая план прекратить поддержку BUSD»

Binance прекратит поддержку своей стабильной монеты Binance USD в феврале 2024 года, согласуясь с эмитентом токена Pa...

DeFi

Протокол Aave запускает стейблкоин GHO на главной сети Ethereum, с эмиссией в размере $2 млн.

Протокол децентрализованной финансовой системы Aave успешно запустил свою алгоритмическую стейблкоин-версию доллара С...