Розробка моделі GPT-5 від OpenAI, попри великі інвестиції та високі очікування, стикається з численними технічними й фінансовими викликами, що може мати критичні наслідки для компанії та її репутації.
Проблема створення GPT-5, також відомої як Orion, полягає у недостатній кількості якісних навчальних даних. Як зазначає Wall Street Journal, “потрібного обсягу даних немає в усьому Інтернеті”. Попередні етапи навчання коштували компанії понад $500 мільйонів, але результати не задовольнили очікувань. Orion лише незначно перевершує попередні моделі, що робить ці витрати економічно невиправданими.
Запуск ChatGPT два роки тому стимулював зростання галузі ШІ, створивши бум інвестицій. Однак завищені очікування інвесторів стали причиною тиску на OpenAI. Жовтневий раунд фінансування оцінив компанію в $157 мільярдів, значною мірою через сподівання на GPT-5. Від моделі очікують проривних рішень, таких як наукові відкриття або оптимізація інтернет-шопінгу, а також скорочення кількості помилкових відповідей. Проте, як зазначають фахівці, критерії оцінювання таких систем досі залишаються інтуїтивними, що ускладнює прогнозування термінів завершення розробки.
Основною складністю є потреба у величезних обчислювальних ресурсах та нестача різноманітних даних. Наприклад, навчання GPT-4 коштувало $100 мільйонів, і витрати на GPT-5 можуть сягнути $1 мільярда. Дослідники намагалися використовувати синтетичні дані, згенеровані іншими ШІ-системами, але це призвело до неточних результатів. У відповідь компанія створила модель o1, яка аналізує та порівнює варіанти рішень для генерації більш якісних даних.
До середини 2024 року стало очевидним, що OpenAI відстає від графіка, тоді як конкуренти активно наздоганяють її. Брак різноманітності даних виявився під час масштабних тестів, і компанія змушена шукати нові джерела інформації. Водночас OpenAI вирішила зробити ставку на розвиток моделей, здатних до “міркування”. Це підхід, за якого модель може адаптивно вирішувати нові завдання, але він вимагає значно більших ресурсів через складні процеси обробки кількох варіантів відповідей.
Як стверджують розробники, об’єднання здатності до міркування із потужними даними, створеними як ШІ, так і людьми, може забезпечити прорив у сфері ШІ. Проте висока вартість і затримки у розробці Orion підкреслюють ризики провалу. Якщо результати GPT-5 залишаться посередніми, це може підірвати репутацію OpenAI та спричинити значне падіння вартості компанії.