Згідно з новим звітом The Information, OpenAI готується до демонстрації нової мультимодальної моделі ШІ, здатної вести бесіди та розпізнавати об’єкти. Новий цифровий помічник швидше і точніше інтерпретує зображення і аудіо, ніж наявні моделі OpenAI, а також розуміє інтонації голосу і сарказм. Також з’явилися чутки, що компанія працює над функцією здійснення дзвінків безпосередньо через ChatGPT.
Повідомляється, що нова модель пропонує більш швидку і точну інтерпретацію зображень і аудіо, ніж наявні в OpenAI окремі моделі транскрипції і перетворення тексту в мову. Судячи з усього, вона зможе допомогти службам підтримки клієнтів “краще розуміти інтонацію голосів тих, хто телефонує, або їхній сарказм”. У теорії модель зможе допомагати студентам з математикою або перекладати реальні вивіски. Джерела видання стверджують, що новинка може перевершувати GPT-4 Turbo у “відповідях на деякі типи запитань”, але, як і раніше, схильна впевнено видавати неправильну інформацію.
Користувач X і розробник Ананай Арора опублікував скріншот коду, пов’язаного з телефонними дзвінками, що може вказувати на підготовку OpenAI до впровадження можливості здійснювати дзвінки безпосередньо через ChatGPT. Крім того, Арора виявив докази того, що OpenAI виділила сервери, призначені для аудіо- та відеозв’язку в режимі реального часу.
Жодна з цих новинок не є GPT-5. Генеральний директор OpenAI Сем Альтман заявив, що їхнє майбутнє оголошення не пов’язане з моделлю, яка, як очікується, буде істотно кращою за GPT-4. Публічний реліз GPT-5 може відбутися до кінця року.
Альтман також спростував інформацію про те, що компанія анонсує нову пошукову систему зі штучним інтелектом. Однак, якщо повідомлення The Information вірні, то оголошення OpenAI все ж може частково затьмарити конференцію розробників Google I/O. Google теж тестує технологію використання ШІ для здійснення телефонних дзвінків. Крім того, ходять чутки про розробку мультимодальної заміни Google Assistant під назвою Pixie, яка зможе розпізнавати об’єкти за допомогою камери пристрою і, наприклад, надавати інструкції щодо їхнього використання або вказувати шлях до магазинів, де їх можна придбати.