Чому ChatGPT заборонили згадувати про гоблінів і гремлінів — BBC News Україна

Розробник ChatGPT, OpenAI, був змушений наказати деяким своїм інструментам штучного інтелекту припинити згадувати гоблінів, після того як виявилося, що цей термін почав випадково з'являтися у відповідях, пише відділ новин BBC News Україна. NV публікує матеріал у межах інформаційної співпраці. У четвер у блозі компанія повідомила, що помітила збільшення згадок міфологічних істот, таких як гремліни, у метафорах, що використовуються ChatGPT та іншими інструментами, які працюють на її останній флагманській моделі GPT-5. Після того, як користувачі та співробітники повідомили про проблеми, які описуються як «маленькі гобліни», OpenAI заявила, що вжила заходів для вирішення цього, зокрема повідомила своєму агенту кодування Codex не згадувати цих істот, якщо це не доречно. Було виявлено, що «занудна особистість» ( «nerdy personality»), яку розробили для ChatGPT, несвідомо була стимульована винагороджувати згадки про гоблінів. Це показує труднощі, з якими стикаються компанії, що займаються штучним інтелектом, у вирішенні проблеми потенційних можливостей систем та їхнього навчання в контексті мовних особливостей. OpenAI заявила, що вперше помітила збільшення згадок гоблінів, гремлінів та інших істот після запуску GPT-5.1 у листопаді. « Користувачі скаржилися на те, що модель дивно фамільярна в розмовах, що спонукало до розслідування конкретних вербальних особливостей», — написала компанія у своєму блозі в четвер. Вона додала, що після того, як дослідник, який бачив кілька згадок про « гобліна», попросив перевірити це, розробники виявили, що поява терміна у відповідях ChatGPT зросла на 175% з моменту запуску GPT-5.1. Також вони виявили, що згадки про « гремліна» зросли на 52%. Збільшення, хоча й значне, може пояснюватися невеликою кількістю відповідей загалом. За даними OpenAI, «один „маленький гоблін“ у відповіді може бути нешкідливим, навіть чарівним», але стрімке зростання їхньої появи вимагало розслідування. За даними OpenAI, гобліни були не єдиною істотою, яка випадково з'являлася у відповідях. Там також були єноти / Фото: Getty Images Перед публікацією допису в блозі OpenAI, в якому описувалася проблема, деякі користувачі соціальних мереж помітили дивну деталь серед рядків коду, що вказують помічнику з кодування компанії Codex, як поводитися під час взаємодії з користувачами. Окрім рекомендації уникати банальностей, у ньому також зазначалося, що Codex « ніколи не повинен говорити про гоблінів, гремлінів, єнотів, тролів, огрів, голубів чи інших тварин чи істот, якщо це не є абсолютно та однозначно релевантним запиту користувача». Користувач Reddit, який опублікував допис, назвав це «справді божевільним». Хоча деякі користувачі в інших соціальних мережах припускали, що це може бути розроблено для створення ажіотажу навколо інструментів штучного інтелекту, дослідник компанії заперечив це, написавши у відповідь користувачеві на X: «це насправді не маркетинговий трюк». У своєму блозі OpenAI повідомила, що додала інструкцію для обмеження « дивної схильності Codex» та його базової моделі до гоблінів. Основна проблема, пояснила компанія, очевидно, виникла під час навчання моделей спілкуванню в стилі певних особистостей — у цьому випадку з їхньою « занудною особистістю». Компанія виявила, що ця система винагороджувала згадки гоблінів, гремлінів та інших істот у метафорах. Тестування показало, що ця особистість відповідає за 66,7% усіх згадок « гоблінів» у ChatGPT. Цей трюк може проникнути в ширше навчання моделі, якщо його винагородити в одному випадку та підсилити в іншому. Цей крок відбувається на тлі ширшого зсуву галузі в бік того, щоб зробити чат-ботів зі ШІ більш орієнтованими на особистість та балакучими. Це мало б підвищити залученість користувачів. Однак експерти попереджають, що потенціал ШІ-особистостей вигадувати речі - або « галюцинувати», як це описує галузь — може посилюватися. Нещодавнє дослідження Оксфордського інтернет-інституту виявило, що точне налаштування моделей для більш теплої та дружньої особистості може призвести до «компромісу точності», коли системи роблять більше помилок або підтверджують хибні переконання користувача. Експерти також застерігають користувачів від сприйняття часто буденних тверджень чат-ботів за чисту монету, особливо коли йдеться про здоров’я та медичні поради. Але, як і примха OpenAI з гоблінами, генеративні помилки ШІ іноді можуть бути більш дивними та нешкідливими. У травні 2024 року чат-бот Google зі штучним інтелектом був широко висміяний за те, що казав користувачам, що можна їсти каміння та «клеїти піцу». Теги:   ChatGPT OpenAI Штучний інтелект