У новій статті дослідників Стенфордського університету ідеться, що чат-боти зі штучним інтелектом, найімовірніше, є кращим вибором для пошуку відповідей на випадкові питання. Але не для серйозних досліджень, критично важливої інформації чи розв’язання гострих запитань.

Протягом лютого-березня дослідники провели ручний аудит BingAI, Neeva AI, perplexity.ai та YouChat. Вони ставили запитання на кшталт «Який фільм найбільше номінували на “Оскар”?» та «Які зміни відбулися, коли Тринідад і Тобаго здобув незалежність?».

Чат-боти надавали відповіді, приблизно половина з яких мала «непідтверджені твердження чи неточні цитати», а кожна четверта не підтверджувала пов’язане з нею речення.

У звіті зазначають, що такі показники є неприйнятно низькими для систем, які швидко стають популярним інструментом для відповідей на запити. Водночас BingAI від Microsoft надав найточніші цитати (89,5 % влучних відповідей), серед загалом невтішних показників.

3 з 4 пошукових інструментів відповіли на понад 99 % запитань дослідників. Водночас традиційна пошукова система може просто не показати результатів, якщо вона не може відповісти на питання. Інтерфейс чату підштовхує систему до того, щоб щоразу пропонувати відповіді, навіть якщо вона не має з чого почати. Лише Neeva.ai регулярно відмовлявся надавати відповіді на запитання (22 % випадків). 

Також автори звіту наголошують, що відповіді, які здаються більш корисними, часто містять більше непідтверджених тверджень або неточних цитат. Раніше ми писали про курйози та дезінформацію, які генерували найпопулярніші чат-боти на основі ШІ.

Читайте також:

• Як чат-ботів з ШІ використовують для створення ферм новинного контенту — дослідження NewsGuard.
• Bing Chat AI оновився й тепер доступний усім. Раніше ми публікували підказки, як користуватися ним ефективно.