OpenAI працює над новим проєктом під кодовою назвою Strawberry, який спрямований на розробку моделей ШІ з просунутими здібностями до мислення.
Модель спочатку навчається на масиві загальних даних, а потім “донавчається” на наборі даних, релевантному конкретному завданню. Мета – навчити ШІ самостійно проводити “глибокі дослідження” в інтернеті, а також виконувати завдання, пов’язані з довгостроковим плануванням. Розвиток здатності до міркування вважається ключовим для досягнення ШІ людського або навіть надлюдського рівня. OpenAI останнім часом натякає, що скоро випустить ШІ з навичками самостійного мислення.
У травні Reuters отримала копію внутрішнього документа OpenAI, що вказує на роботу над проєктом Strawberry. Точна дата документа невідома, але він описує план використання Strawberry для проведення досліджень. План поки що перебуває у стадії розроблення.
Згідно з документом, моделі Strawberry зможуть вивести ШІ OpenAI за рамки простої відповіді на запити. Мета – навчити моделі заздалегідь планувати дії й автономно переміщатися інтернетом для проведення так званих “глибоких досліджень”. У наявних ШІ-моделей таких навичок немає. Поки незрозуміло, як скоро проєкт стане доступним для громадськості. Деталі функціонування “Strawberry” засекречені навіть всередині OpenAI.
Робота над цим проєктом розпочалася ще минулого року, але тоді він матиме назву “Q*”. Інцидент зі звільненням глави OpenAI Сема Альтмана стався незабаром після запуску проєкту та отримання перших результатів. Двоє співробітників OpenAI повідомили, що цього року вони стали свідками демонстрацій можливостей моделі Q*. За їхніми словами, ця модель відповідала на складні наукові питання і вирішувала математичні завдання.
Минулого тижня в OpenAI відбулися збори, під час яких було продемонстровано новий дослідницький проєкт – ШІ з поліпшеними навичками міркування, схожими на людські.
Представник OpenAI підтвердив зустріч, але відмовився розкривати деталі демонстрації. Reuters не змогли встановити, чи був представлений саме проєкт Strawberry.
Передбачається, що ця розробка значно поліпшить здатність ШІ-моделей міркувати. Розвиток здатності до міркування у ШІ вважається ключовим фактором для виконання різних завдань: від здійснення наукових відкриттів до створення нових програмних додатків. Сем Альтман заявив раніше цього року, що “в галузі штучного інтелекту найважливішими напрямками прогресу стане розвиток здатності до міркування”.
Останніми місяцями OpenAI приватно натякала розробникам і стороннім особам, що перебуває на межі випуску технологій з набагато більш просунутими можливостями мислення.
Strawberry використовує спеціалізований метод пост-тренування генеративних моделей ШІ. Метод передбачає, що моделі доопрацьовують для поліпшення їхньої роботи в певних галузях після того, як їх уже навчили на величезних масивах загальних даних. Фаза пост-тренування під час розроблення моделі охоплює такі методи, як “тонке налаштування” – процес, що використовується практично для всіх сучасних мовних моделей у різних варіантах. Наприклад, можна давати моделі зворотний зв’язок на основі її відповідей, а також надавати їй приклади хороших і поганих відповідей.
У Strawberry є схожість із методом, розробленим у Стенфорді 2022 року, під назвою Self-Taught Reasoner або STaR. STaR дає змогу моделям штучного інтелекту самостійно “підтягуватися” до вищих рівнів інтелекту за рахунок ітеративного створення власних тренувальних даних. Теоретично його можна використовувати для того, щоб мовні моделі перевершили людський інтелект.
В OpenAI націлені на те, щоб Strawberry виконувала складні завдання, які потребують планування наперед і послідовного виконання дій протягом тривалого періоду часу. Для цього компанія навчає й оцінює моделі на наборі даних “deep-research” (“глибоке дослідження”). Reuters не вдалося визначити, що знаходиться в цьому наборі даних. Після навчання модель зможе автономно користуватися інтернетом і проводити дослідження. У цьому їй допоможе спеціальний агент CUA, здатний робити дії на основі знайденої інформації. OpenAI також планує доручити Strawberry завдання програмістів і фахівців з машинного навчання.