Один із головних конкурентів OpenAI випустив сімейство мовних моделей Claude 3. Стартап Anthropic стверджує, що вони стануть новим стандартом якості для індустрії ШІ за низкою когнітивних завдань, а в деяких випадках навіть наближаються до “майже людських” можливостей. Найпотужніша з трьох моделей доступна тільки за передплатою, інші – для всіх.
Усі три моделі стартапу Anthropic – Claude 3 Haiku, Claude 3 Sonnet і Claude 3 Opus – демонструють прогрес в аналізі та прогнозуванні, а також кращі оцінки в тестах на продуктивність, порівнюючи з ChatGPT або Gemini 1.0 Ultra. У всіх трьох контекстне вікно на 200 000 токенів (стільки частин слів ШІ може обробити за раз), повідомляє Ars Technica.
Коли Anthropic випустила Claude і Claude 2 у березні та липні минулого року, вони відставали від найкращих моделей OpenAI у продуктивності, хоча перевершували їх за величиною контекстного вікна. Claude 3, нарешті, нагнала лідера, хоча одностайної думки з цього питання серед експертів немає. Усе залежить від того, який саме показник вважати найважливішим.
Хай там що, Claude 3 продемонстрував успіхи в різних когнітивних тестах на логіку, експертне знання та володіння мовою. За твердженням компанії, модель Opus, найпотужніша з трьох, проявляє “майже людський рівень розуміння і швидкості у вирішенні комплексних завдань”.
Це не означає, втім, що Claude 3 Opus досягла рівня універсального штучного інтелекту або чогось такого. Але перемога над GPT-4 у десяти тестах, включно з MMLU (знання рівня неповної вищої освіти), GSM8K (математика шкільного рівня), HumanEval (програмування) і HellaSwag (загальна ерудиція), безсумнівно, значуще досягнення.
У деяких випадках різниця в набраних балах мінімальна (Opus обійшов лідера на 0,4% у MMLU), в інших – суттєва: у HumanEval він набрав 90,7%, тоді як у GPT-4 було 67%.
Такого приросту продуктивності Claude 3 домоглася частково завдяки використанню в процесі навчання штучних даних, таких, які були згенеровані за допомогою іншої мовної моделі ШІ.
Порівняно зі своїми попередниками, Claude 3 стала швидшою й економнішою: Opus, найбільша модель, витрачає $15 на один мільйон вхідних токенів, і $75 – на мільйон вихідних. У найменшої і найшвидшої Haiku – $0,25 за мільйон вхідних і $1,25 за мільйон вихідних токенів. Вартість вхідних токенів GPT-4 Turbo через API, наприклад, дорівнює $10, вихідних – $30.
У січні 2024-го OpenAI оновила моделі GPT-3.5 Turbo і GPT-4 Turbo, представила нові інструменти управління використанням API, а також знизила ціни. Оновлені GPT Turbo краще виконують інструкції, мають режим JSON і “більш відтворювані” вихідні дані, а також ефективно обробляють кілька запитів одночасно.