У грудні OpenAI представила модель штучного інтелекту o3, яка розмірковує, і продемонструвала результати бенчмарку ARC-AGI - найскладнішого тесту для оцінювання можливостей ШІ. Тепер результати тесту довелося переглянути, і виглядають вони менш вражаючими: модель виявилася занадто дорогою в обслуговуванні.

Минулого тижня організація Arc Prize Foundation, відповідальна за ARC-AGI, оновила свою оцінку витрат на обчислення для OpenAI o3. Спочатку вважалося, що її найпотужніша конфігурація o3 high вимагає витрат у розмірі близько $3000 на вирішення одного завдання ARC-AGI. Тепер же було встановлено, що вартість обслуговування набагато вища - вона, можливо, досягає $30 000 за завдання. Це ілюструє, наскільки дорогими можуть виявитися найскладніші сучасні моделі ШІ в певних завданнях, принаймні на початковому етапі. Ціну на o3 компанія OpenAI ще не встановила, і в загальний доступ модель не надійшла, але в Arc Prize Foundation припустили, що можна орієнтуватися на показники OpenAI o1-pro.

"Вважаємо, що o1-pro є ближчим порівнянням [для визначення] істинної вартості o3 через обсяг використовуваних під час тестування обчислень. Але це не точна оцінка, і ми залишили для o3 позначку про попередню версію в нашій таблиці лідерів, щоб відобразити невизначеність, поки не оголошено офіційну ціну", - розповіли в Arc Prize Foundation ресурсу TechCrunch. Відомо, що під час розв'язання однієї задачі o3 high використовувала в 172 рази більше обчислювальних ресурсів в ARC-AGI, ніж o3 low - найслабша модель у лінійці.

Раніше стало відомо, що тарифні плани на передові системи OpenAI можуть виявитися надзвичайно дорогими - до $20 000 на місяць за роботу спеціалізованих агентів ШІ. Водночас моделям властиво помилятися: тій самій o3 high знадобилося 1024 спроби для розв'язання кожного завдання тесту ARC-AGI, щоб показати найкращий результат.