Функція «Огляд ШІ» від Google видає мільйони помилкових відповідей щогодини

У 2024 році компанія Google запустила нову функцію під назвою «Огляд ШІ» (AI Overviews), яка розміщує відповіді, згенеровані штучним інтелектом, у верхній частині сторінки результатів пошуку. Цей новий продукт змінив роль Google з куратора інформації на видавця, що викликало певні занепокоєння щодо точності наданих даних.

Згідно з недавнім аналізом, проведеним стартапом Oumi у співпраці з The New York Times, виявилося, що точність відповідей, наданих функцією AI Overviews, становить приблизно дев'ять з десяти випадків. Однак, враховуючи, що Google обробляє понад п'ять трильйонів пошукових запитів щорічно, це означає, що мільйони помилкових відповідей генеруються щогодини, що еквівалентно сотням тисяч неточностей щохвилини.

Дослідження показало, що більше половини точних відповідей виявилися «необґрунтованими», оскільки вони посилалися на вебсайти, які не повністю підтверджували надану інформацію. Це викликає занепокоєння щодо надійності даних, які користувачі отримують через цю функцію.

На прохання The New York Times, Oumi провів аналіз точності відповіді AI Overviews, використовуючи тест під назвою SimpleQA, що є загальноприйнятим у галузі для вимірювання точності систем на основі штучного інтелекту. Стартап протестував систему Google у жовтні, коли на найскладніші запитання відповідали за допомогою штучного інтелекту під назвою Gemini 2, а потім повторив тест у лютому, після оновлення до потужнішої технології Gemini 3.

В обох випадках Oumi зосередився на 4 326 пошукових запитах Google. Результати перевірки показали, що точність відповідей становила 85% для Gemini 2 та 91% для Gemini 3. Це свідчить про певний прогрес у розвитку технології, проте все ще залишається значна частка помилок.

У Google визнають, що функція «Огляд ШІ» може містити помилки. Дрібним шрифтом під кожним оглядом ШІ написано: «Штучний інтелект може помилятися, тому перевірте відповіді ще раз». Це нагадування підкреслює необхідність критичного підходу до отриманої інформації.

Проте представники Google зауважили, що аналіз Oumi був хибним, оскільки він спирався на бенчмарк-тест, створений компанією OpenAI, який сам містив невірну інформацію. Це викликало дискусії про те, наскільки надійними є методи оцінки точності штучного інтелекту.

Пратік Верма, головний виконавчий директор компанії Okahu, яка спеціалізується на допомозі людям у розумінні та використанні технологій штучного інтелекту, вважає, що точність технології Google приблизно така ж, як і у будь-якої з провідних систем штучного інтелекту. Він також закликав користувачів перевіряти отриману інформацію, щоб уникнути помилок.

Нагадаємо, що раніше американська компанія Google запустила нову функцію на основі штучного інтелекту для електричних автомобілів у Google Maps. Цей крок свідчить про постійний розвиток технологій штучного інтелекту в різних сферах, однак важливо пам'ятати про ризики, пов'язані з їх використанням.

Приєднуйтесь до наших каналів у Telegram, Instagram та YouTube, щоб бути в курсі останніх новин та подій у світі технологій.