Вихід Ferret на GitHub у жовтні пройшов непомітно, але на проект звернули увагу експерти області.
Дослідники штучного інтелекту Apple Inc. та Корнельського університету непомітно представили мультимодальну велику мовну модель (MLLM) з відкритим кодом, відому як Ferret. Вона використовує частини зображень як запити.
За даними VentureBeat, випуск Ferret на GitHub у жовтні залишився повністю непоміченим, без будь-яких оголошень. Проте з того часу модель привабила велика увага дослідників ШІ. Барт Де Вітт, керуючий некомерційною організацією, що займається штучним інтелектом з відкритим кодом в медицині, написав у X, що випуск Ferret «зміцнює позиції Apple як лідера у сфері мультимодального штучного інтелекту».
Принцип роботи Ferret полягає в тому, що модель аналізує вказаний фрагмент зображення, визначає об’єкти на цій ділянці та виділяє їх рамкою. Виявлені об’єкти на фрагменті зображення система розглядає як частину запиту, на який надається текстова відповідь. Наприклад, користувач може виділити на картинці зображення тварини та попросити Ferret розпізнати її. Модель дасть відповідь, що вказує до якого виду відноситься ця тварина, і користувач зможе поставити додаткові питання, уточнивши інформацію про інші об’єкти або дії в контексті.
Модель Ferret з відкритим вихідним кодом — це система, яка може «посилатися і обґрунтовувати будь-що, де завгодно і з будь-яким ступенем деталізації», — відзначив дослідник Apple AI Чже Ган у пості на Х.
Дослідники штучного інтелекту стверджують, що випуск Ferret важливий, оскільки він демонструє дивовижну відкритість Apple, що прямо контрастує зі звичайним потайливим характером компанії.
Однак, за словами технічного блогера Бена Діксона, інфраструктура Apple не призначена для обслуговування LLM у великих масштабах. Отже, компанія не може розраховувати на конкуренцію з такими моделями, як ChatGPT. Таким чином, Apple доводиться вибирати між партнерством із хмарним гіпермасштабом у роботі зі штучного інтелекту або поділитися роботою зі спільнотою відкритого вихідного коду.