Такі ШІ, як GPT-4, показують вражаючі результати, але дослідження MIT виявляє їхні серйозні обмеження. Ці системи можуть створювати правдоподібні відповіді, але не володіють справжнім розумінням світу.
Недавнє дослідження показало, що популярні моделі штучного інтелекту, такі як трансформери, насправді не розуміють, як влаштований світ.
Трансформери – це особлива архітектура нейронних мереж, яка широко застосовується в таких моделях, як GPT-4, BERT та інших. Ці моделі навчаються на величезних обсягах тексту, щоб передбачати наступні слова або фрази в тексті, аналізувати мову і виконувати завдання, пов’язані з обробкою інформації.
Під час експерименту дослідники перевірили, як добре трансформери можуть орієнтуватися в Нью-Йорку, створюючи маршрути для водіїв. Моделі дійсно показували майже ідеальні результати, направляючи водіїв вулицями міста. Але коли вчені закрили кілька вулиць і додали об’їзди, точність навігації різко впала. Якщо закрити навіть один відсоток вулиць, точність моделі впала з майже 100% до 67%.
Після цього вчені вирішили вивчити, як саме моделі формують карти міста. Виявилося, що моделі не використовують реальні карти, а створюють свої власні “уявні” мапи, на яких вулиці часто розташовувалися неправдоподібним чином – з кривими, яких не існує в реальності, і вулицями, що з’єднували далеко розташовані перехрестя. Ці карти не відповідали реальному міському плану.
Дослідники також перевірили, як ШІ справляється з іншими завданнями, наприклад, грою в настільну гру Othello. Виявилося, що моделі можуть правильно робити ходи, але не розуміють правил гри, що ще раз підтверджує, що ШІ не завжди усвідомлює, що відбувається.
Щоб краще зрозуміти, як ШІ формує моделі світу, вчені розробили два нові критерії. Перший, “послідовна відмінність”, перевіряє, чи може модель розрізняти різні стани, наприклад, два різні поля в грі. Другий критерій, “стисливість послідовностей”, перевіряє, чи розуміє модель, що однакові ситуації вимагають однакових рішень.
Команда вчених з MIT і Гарварду додала, що навіть найуспішніші моделі ШІ можуть не розуміти основ світу, незважаючи на те, що вони добре розв’язують певні завдання. Це відкриття важливе, оскільки воно показує, що такі моделі не завжди можна застосовувати в реальному житті.
У майбутньому вчені планують використовувати свої нові методи для аналізу складніших ситуацій, де правила частково відомі.