Розробник ChatGPT анонсував низку оновлень на своєму щорічному заході DevDay 2024.
OpenAI представила нові інструменти, які полегшать розробникам створення додатків на основі її технології ШІ. Про оновлення компанія оголосила на щорічному заході DevDay 2024.
Одне з оновлень – інструмент, який дасть змогу розробникам створювати голосові додатки на базі ШІ, використовуючи єдиний набір інструкцій. Ця функція вже доступна для тестування. Раніше процес вимагав від розробників проходження щонайменше трьох етапів: спочатку транскрибування аудіо, потім запуск моделі згенерованого тексту для вироблення відповіді на запит і, нарешті, використання окремої моделі перетворення тексту на мову.
Realtime API дасть розробникам можливість створювати у своїх додатках практично в реальному часі мовні інтерфейси з можливістю вибору з шести голосів, які надає OpenAI. Ці голоси відрізняються від тих, що пропонуються для ChatGPT, і розробники не можуть використовувати сторонні голоси, щоб уникнути проблем з авторськими правами.
Під час брифінгу керівник відділу розробки OpenAI Ромен Юе показав додаток для планування поїздок, створений за допомогою Realtime API. Застосунок давав змогу користувачам усно спілкуватися з помічником на основі ШІ про майбутню поїздку до Лондона й отримувати відповіді з малою затримкою. Realtime API також має доступ до низки інструментів смартфона, тому застосунок міг анотувати карту із зазначенням місць розташування ресторанів у міру відповіді.
Ще Х’юет показав, як Realtime API може розмовляти телефоном із людиною, щоб дізнатися про замовлення їжі для заходу. API OpenAI не може телефонувати в ресторани або магазини безпосередньо; але він може інтегруватися з API додатків для викликів, такими як Twilio, щоб робити це. Примітно, що OpenAI не вимагає, щоб під час дзвінка ШІ автоматично називав, хоча згенеровані голоси звучать цілком реалістично.
Крім Realtime API компанія також представила інструменти для тонкого налаштування моделей з використанням зображень і тексту, що дасть змогу поліпшити відповіді, які генерує ШІ. Крім того, OpenAI анонсувала функцію швидкого кешування, що скорочує витрати розробників удвічі за рахунок повторного використання раніше оброблених фрагментів тексту.