Дослідження, проведене вченими з Чиказького університету, показало, що велика мовна модель OpenAI GPT-4 може аналізувати фінансові звіти і в деяких випадках передбачати майбутні результати компаній точніше, ніж це роблять люди.
Точність прогнозів звичайних аналітиків становить 53%. Якщо чат-бот працює з чистими цифрами, в його випадку цей показник дорівнює 52%. Але якщо дати ШІ інструкцію для аналізу даних, точність його прогнозів підвищується до рекордних 60%. Особливо добре GPT-4 справляється з прогнозами на рахунок великих і зрілих компаній, таких як Apple.
У дослідженні брали участь троє вчених з Чиказької школи бізнесу: Алекс Кім, Максиміліан Мун і Валері Ніколаєв. Вони перевірили здатність GPT-4 аналізувати фінансові дані без використання текстів, що пояснюють ситуацію, які зазвичай супроводжують звіти про доходи, як-от розділ “Аналіз і оцінка керівництвом фінансових результатів компанії”. Вчені хотіли з’ясувати, наскільки ефективно ШІ може працювати з чистими цифрами.
Вчені вивчили понад 150 000 звітів про діяльність фірм, що охоплюють близько 15 000 компаній у період з 1968 по 2021 рік. Їм вдалося оцінити, як добре аналітики справляються з прогнозами. Виявилося, що точність прогнозів на один місяць становить 53%.
Коли GPT-4 запропонували простий запит без покрокових інструкцій, його точність прогнозування становила 52%. Однак, коли дослідники використали інший підхід і дали GPT-4 докладні інструкції щодо роботи з даними, точність його прогнозів зросла до 60%. Це показує, що за наявності додаткових вказівок ШІ може працювати краще, ніж аналітики-люди.
Важливо зазначити, що фінансовий аналіз і прогнозування – складні задачі, які вимагають інтуїції та здорового глузду, що може ускладнювати роботу як людей, так і великих мовних моделей. Тому жодна група не досягає 100% точності.
Вчені також зазначили, що GPT-4 краще справляється з аналізом великих і зрілих компаній, таких як Apple. Це може бути пов’язано з тим, що вони менш схильні до унікальних ризиків. Водночас для невеликих фірм, таких як біотехнологічні стартапи, передбачення прибутку може бути складнішим через високу мінливість чинників, що впливають на їхній успіх.