У Китаї створили нейромережу в 10 разів могутніше найбільш «просунутої» нейромережі GPT-3.
Фахівці Пекінської академії штучного інтелекту оголосили про створення генеративної нейронної мережі глибокого навчання Wu Dao 2.0 з рекордними властивостями. Її потужність набагато більша, ніж у найближчих конкурентів – Open AI GPT-3 і Google Switch Transformers.
Перевага нової нейромережі – це потужність. Вона вимірюється в кількості параметрів навчання: тобто це число факторів, які нейромережа може використовувати в процесі своєї роботи.
Нейромережа Open AI GPT-3 використовує 175 мільярдів параметрів – така потужність дозволяє їй генерувати осмислені тексти, створювати музику і програмний код.
Кількість параметрів Wu Dao 2.0 перевищує 1,75 трильйона – вона в 10 разів могутніше, ніж GPT-3.
Нова розробка може виконувати різні функції, вона:
- пише есе,
- вірші і двовірші на традиційній китайській мові,
- розпізнає зображення і генерує їх за словесним описом,
- імітує мову,
- створює кулінарні рецепти,
- пророкує тривимірну структуру білків.
Під час навчання нейромережі розробники використовували майже 5 ТБ зображення і текстів, включаючи 1,2 ТБ текстів китайською та англійською мовами.
Натхнення: hightech.fm