Anthropic використала покемонів для бенчмарку оновленого ШІ

У своєму блозі, опублікованому в понеділок, Anthropic повідомила, що протестувала свою останню модель, Claude 3.7 Sonnet, на класичному Game Boy – Pokémon Red. Компанія оснастила модель базовою пам’яттю, піксельним введенням та викликами функцій для натискання кнопок і навігації по екрану, що дозволило їй безперервно грати в покемонів.

Унікальною особливістю Claude 3.7 Sonnet є його здатність до “розширеного мислення”. Подібно до o3-mini від OpenAI та R1 від DeepSeek, Claude 3.7 Sonnet може “міркувати” над складними проблемами, застосовуючи більше обчислень – і витрачаючи більше часу.

Очевидно, це стало в нагоді в Pokémon Red.

Порівняно з попередньою версією Клода, Claude 3.0 Sonnet, яка не змогла вийти з будинку в Палеттауні, де починається історія, Claude 3.7 Sonnet успішно билася з трьома лідерами спортзалу покемонів і виграла їхні жетони.

Наразі незрозуміло, скільки обчислень знадобилося Claude 3.7 Sonnet, щоб досягти цих віх – і скільки часу зайняла кожна з них. Anthropic лише повідомила, що модель виконала 35 000 дій, щоб досягти останнього лідера тренажерного залу, Surge.

Безумовно, не мине багато часу, як якийсь заповзятливий розробник дізнається про це.