Дослідники розробили алгоритм L-Mul, що замінює операції з плаваючою комою цілочисельним додаванням, значно знижуючи енергоспоживання штучного інтелекту.
Алгоритми штучного інтелекту (ШІ) мають величезний потенціал для трансформації сучасних технологій, але цей процес супроводжується значним зростанням енергоспоживання. Моделі на кшталт ChatGPT щодня використовують величезні обсяги енергії, і прогнозується, що до 2027 року потреби індустрії ШІ сягнуть 85-134 ТВт-год щорічно. Одним із ключових джерел такого енергоспоживання є операції з плаваючою комою, які широко використовуються для складних обчислень. Новий алгоритм від BitEnergy AI, названий Linear-Complexity Multiplication (L-Mul), здатний вирішити цю проблему шляхом заміни операцій із числами з плаваючою комою на менш енерговитратні операції додавання цілих чисел.
L-Mul демонструє надзвичайно високі показники енергозбереження, знижуючи витрати енергії на 95% під час тензорних операцій та на 80% для скалярних обчислень, при цьому забезпечуючи лише незначне зниження точності — всього на 0,07%. Традиційні обчислення ШІ використовують плаваючу кому через необхідність точного опрацювання дуже великих або малих чисел, що вимагає значних енергетичних ресурсів. Алгоритм L-Mul спрощує цей процес, дозволяючи виконувати обчислення з набагато меншими енергетичними затратами без критичної втрати точності або продуктивності.
Найбільш значний ефект від використання L-Mul спостерігається у моделях, що базуються на трансформерах, зокрема GPT. Тести показали, що новий алгоритм не лише економить енергію, але й у деяких випадках підвищує точність, наприклад, у таких моделях як Llama та Mistral. Це робить L-Mul особливо перспективним рішенням для великих ШІ-систем, які активно використовують тензорні обчислення.
Попри ці перспективи, на шляху до масового впровадження L-Mul існують технічні бар’єри. Один із головних викликів полягає в тому, що для роботи алгоритму потрібне спеціалізоване апаратне забезпечення. Сучасні прискорювачі для ШІ, такі як ті, що розробляє Nvidia, оптимізовані для традиційних обчислень з плаваючою комою, тому їх потрібно адаптувати для підтримки нових енергоефективних методів. Хоча такі розробки вже ведуться, знадобиться час для створення відповідного обладнання та програмного забезпечення, яке зможе повністю реалізувати потенціал L-Mul.
Додатковою проблемою є конкуренція з потужними гравцями ринку, такими як Nvidia, яка домінує в сегменті апаратного забезпечення для ШІ. З огляду на її значний вплив на галузь, малоймовірно, що компанія легко поступиться своїми позиціями на користь більш енергоефективних рішень. Це створює додаткові виклики для впровадження L-Mul, проте успіх цієї технології може призвести до значних змін у підходах до енергоспоживання в ШІ.
Висновки з досліджень BitEnergy AI відкривають нові можливості для оптимізації енерговитрат у штучному інтелекті. Використання таких рішень, як L-Mul, може сприяти створенню більш стійких і економічних ШІ-систем, що особливо важливо в умовах зростаючих енергетичних потреб індустрії.