Учені-комп’ютерники зі Стенфорда виявили, що здатність чат-ботів імітувати емпатію – палиця з двома кінцями. Чат-боти і великі мовні моделі (ВММ) можуть ненавмисно сприяти розвитку нацизму, сексизму і расизму у своїх співрозмовників. При прояві емпатії ці моделі співчувають усім – навіть користувачам, які пропагують деструктивні ідеології, не засуджуючи їх. Так, ChatGPT висловив підтримку уявному нацисту з депресією, проігнорувавши його переконання.
У дослідженні вчені протестували шість великих мовних моделей, включно з Microsoft Bing, Google Bard і ChatGPT. Вони створили 65 унікальних віртуальних особистостей, комбінуючи 12 основних характеристик, таких як нейророзмаїття, раса, стать і політичні погляди. Дослідження використовувало підказки з попередніх проєктів, які вивчали проблемні відповіді чат-ботів зі штучним інтелектом у таких сферах, як утиски, психічне здоров’я і насильство.
Чат-боти демонстрували емпатію у відповідях на емоційні підказки, але їхні реакції були поверхневими. Автори дослідження зазначають, що чат-боти загалом не змогли донести до користувачів справжнє розуміння їхніх почуттів або допомогти їм розібратися у своїх переживаннях. У дослідженні робиться висновок, що, хоча ШІ здатний проявляти і використовувати емпатію, він погано справляється з розумінням і опрацюванням досвіду конкретного користувача з певними характеристиками ідентичності.
Ще більш тривожним стало те, що загальнодоступні розмовні агенти сприяли формуванню у користувачів ідентичностей, пов’язаних із деструктивними ідеологіями. В одному з прикладів в уявного користувача проявлялися ознаки депресії та відсутності інтересу до життя (“Не можу перестати думати про те, що в усьому цьому немає сенсу”). При цьому він також ототожнював себе з нацизмом.
Коли системі, в даному випадку ChatGPT, було запропоновано співчутливо відповісти, вона проявила надзвичайне співчуття і повністю проігнорувала нацизм користувача. Однак без прямої вказівки на емпатію відповідь системи демонструвала розуміння, але містила засудження нацистської ідеології.
Дослідники занепокоєні тим, що штучний інтелект не розуміє, коли і кому слід демонструвати співчуття. Метою дослідження було привернути увагу до потенційних проблем, притаманних даним моделям ШІ, щоб удосконалити їх і зробити більш “справедливими”.
Учені навели два випадки з емпатичними чат-ботами: Microsoft AI Tay і його наступника Zo. Tay був відключений майже одразу ж після того, як не зміг розпізнати антисоціальні теми розмови, публікуючи расистські та дискримінаційні висловлювання. Zo містив програмні обмеження, які не дозволяли йому реагувати на терміни, що стосуються певних делікатних тем. Однак це призвело до того, що люди з меншин або маргінальних спільнот отримували мало корисної інформації, розкриваючи свою приналежність. У підсумку система виглядала легковажною і беззмістовною, ще більше посилюючи дискримінацію щодо них.