Дослідження, проведене вченими Apple, показало, що великі мовні моделі, такі як ChatGPT, демонструють обмеження в здатності до логічного мислення, особливо при додаванні несуттєвих деталей до математичних завдань.
Хоча такі моделі успішно вирішують прості математичні задачі, їх легко збити з пантелику, додавши зайву інформацію, яка не має відношення до вирішення. Наприклад, модель може легко порахувати кількість ківі, які зібрав Олівер, у стандартному завданні. Однак, якщо додати деталь, що кілька ківі були менші за середній розмір, ШІ помилково включає цю інформацію у свій розрахунок, віднімаючи ківі, хоча це не потрібно.
Автори дослідження, зокрема Мехрдад Фараджтабар, підкреслюють, що така поведінка демонструє нездатність ШІ до справжнього логічного мислення. Моделі слідують шаблонам, закладеним у їхні дані, і не вміють коректно адаптуватися до нових аспектів завдань.
Попри спроби вирішити ці проблеми за допомогою технік оптимізації запитів (prompt engineering), дослідники дійшли висновку, що для більш складних умов потрібно занадто багато контексту. Це відкриває важливе питання про те, чи здатний ШІ досягти рівня справжнього мислення і логічного аналізу