У своєму новому дослідженні вчені з Нью-Йоркського університету провели унікальний експеримент, застосувавши мультимодальний штучний інтелект (ШІ), який навчався на основі сенсорного досвіду немовляти. Цей інноваційний підхід використовував відео- та аудіофрагменти з повсякденного життя дитини, як детально описано в останньому випуску журналу Science.
Примітно, що модель ШІ продемонструвала здатність вивчати численні слова і поняття, використовуючи лише 1% часу неспання дитини. Це різко контрастує з мільйонами слів, які діти сприймають щороку, і з найкращими системами штучного інтелекту, які традиційно навчаються на текстових масивах, що складаються з трильйонів слів. Таким чином, це дослідження дає важливе розуміння раннього мовного та концептуального розвитку.
Експеримент передбачав навчання мультимодальної нейронної мережі за допомогою відеозаписів з відеокамер, які фіксували як візуальний, так і слуховий досвід дитини у віці від шести місяців до двох років. Легка природа цих записів була ключовим фактором для ефективного захоплення перспективи дитини.
Результати дослідження вражають, оскільки показують, що ШІ, навіть маючи обмежені дані, отримані з повсякденного досвіду дитини, може успішно встановлювати зв’язки між словами та відповідними їм візуальними образами. Це дослідження не лише поглиблює наше розуміння можливостей ШІ у вивченні мови, а й відкриває нові шляхи для вивчення раннього когнітивного розвитку людини.