Искусственный интеллект обыграл профессиональных киберспортсменов в Dota 2

В прошлом году некоммерческая организация OpenAI обучила свою систему искусственного интеллекта игре в Dota 2 и свела её с профессионалами. Тогда машина не смогла превзойти людей, а в этом году уже была куда успешнее.

В ходе чемпионата OpenAI Five состоялась встреча ИИ с пятью киберспортсменами из команды OG. Эта команда в 2018 году взяла высшую награду в киберспорте, заняв первое место на турнире The International по Dota 2 с призовым фондом $25 млн.

Боты OpenAI обучались с подкреплением и независимо друг от друга. То есть они попали в игру без предварительного программирования и настроек и вынуждены были учиться методом проб и ошибок. Соучредитель и председатель OpenAI Грег Брокман (Greg Brockman) заявил, что за 10 месяцев своего существования искусственный интеллект уже сыграл 45 тысяч лет игрового процесса в Dota 2.

Каждый отряд имел 17 героев на выбор (всего в игре их более сотни). При этом ИИ выбрал режим, в котором каждая команда может запрещать выбор тех героев, которых выбрала сама. Это позволяет наращивать сильные стороны и минимизировать слабые. Также были отключены иллюзии и функции вызова новых героев, хотя воскрешать павших было можно.

ИИ использовал тактику, которая приводила к краткосрочной выгоде, однако она оправдалась. При этом система оживляла погибших героев даже в начале схватки. В целом же машина использовала весьма агрессивный подход, своеобразный «блицкриг», который люди не смогли отразить, поскольку первый матч продлился лишь полчаса.

Второй раунд оказался ещё короче, поскольку ИИ разгромил людей очень быстро, акцентируясь на атаке, а не на защите. В целом же оказалось, что схема обучения с подкреплением даёт результат.