Алгоритм навчання з підкріпленням, розроблений Массачусетським технологічним інститутом (MIT), забезпечує 50-кратне підвищення ефективності, що відкриває нові можливості для застосування штучного інтелекту (ШІ) у складних системах, таких як управління міським трафіком, із мінімальними даними.
Штучний інтелект, здатний приймати рішення в умовах реального світу, має величезний потенціал у таких сферах, як транспорт, медицина та робототехніка. Наприклад, у міському управлінні дорожнім рухом системи ШІ можуть оптимізувати сигнали світлофорів, знижуючи затори та підвищуючи безпеку дорожнього руху. Проте традиційне навчання ШІ з підкріпленням, яке є основою таких систем, часто вимагає великих обсягів даних і вразливе до змін у середовищі. Це створює виклики для адаптації моделей до нових завдань, таких як зміни конфігурації дорожніх перехресть або умов руху.
Новий алгоритм, запропонований дослідниками MIT, базується на стратегічному виборі завдань, які найбільше сприяють загальній продуктивності. Цей підхід значно знижує витрати на навчання, уникаючи потреби в опрацюванні даних з усіх можливих ситуацій. Наприклад, у сценарії міських перехресть алгоритм зосереджується на кількох ключових перехрестях, навчання на яких забезпечує оптимальну узагальненість для всього міста. Це зменшує як обсяги необхідних даних, так і часові витрати на навчання.
Алгоритм, названий Model-Based Transfer Learning (MBTL), працює за двоетапною стратегією. На першому етапі моделюється, як ефективно алгоритм зможе виконувати окреме завдання, якщо буде навчений виключно на ньому. На другому етапі оцінюється, наскільки добре навчену модель можна адаптувати до інших завдань. Завдяки цьому підходу вибір завдань для навчання стає стратегічним і спрямованим на максимізацію ефективності. Замість того, щоб навчати алгоритм на кожному завданні, MBTL дозволяє досягати таких самих результатів, тренуючись лише на невеликій підмножині завдань.
Під час тестування на змодельованих завданнях, включаючи керування дорожнім рухом, алгоритм MBTL продемонстрував значне підвищення ефективності – у п’ять-п’ятдесят разів порівняно зі стандартними методами. Наприклад, для досягнення тієї ж продуктивності, що й звичайні підходи, MBTL потребував лише даних з двох завдань, тоді як інші методи використовували дані зі 100 завдань. Це свідчить не лише про економію ресурсів, але й про уникнення проблеми перевантаження даними, коли алгоритм починає погано узагальнювати через надлишок інформації.
Цей прорив також має значення для майбутніх розробок у сфері ШІ. Простий у реалізації та зрозумілий алгоритм MBTL має потенціал для широкого прийняття у різних галузях. Його ефективність робить його особливо перспективним для застосувань у мобільності, де складність середовищ і завдань постійно зростає. У майбутньому дослідники планують адаптувати MBTL для більш складних проблем, таких як завдання з високою розмірністю, а також застосовувати його в реальних умовах.
Отже, розробка MBTL прокладає шлях до значного покращення навчання ШІ, дозволяючи швидше і з меншими ресурсами вирішувати завдання, що раніше потребували значно більших зусиль. Це відкриває нові горизонти для використання ШІ у реальних сценаріях, де швидкість і ефективність є критично важливими.