ШІ-агенти таємно змовилися для підрахунку карт у блекджеку
Дослідники Оксфордського університету провели експеримент, у якому ШІ-агенти грали в блекджек.
ШІ-агенти — це системи, здатні виконувати завдання та ухвалювати рішення з певним ступенем автономності, без необхідності постійних вказівок від людини.
У симуляції одночасно грали чотири ШІ-агенти. Двоє з них отримали приховане завдання працювати в команді: один рахував карти та мав непомітно передавати інформацію партнеру. Перед початком гри їм дозволили створити власний секретний код.
За даними WIRED, в одному з епізодів агент сказав, що дилер перебуває на «гарячій серії» та отримує сильні руки. На перший погляд звичайна репліка насправді містила інформацію про карти та вказівку партнеру щодо розміру наступної ставки.
Система ШІ, яка контролювала діалог, не могла надійно відрізнити закодовані сигнали від звичайної розмови. Тому дослідники змінили підхід і почали аналізувати не лише слова агентів, а й патерни внутрішньої активності моделей під час комунікації.
Метод на основі бенчмарку NARCBench шукав ознаки наміру приховано передати інформацію. Такий підхід дозволив виявити змову в експерименті з блекджеком навіть тоді, коли аналіз самих розмов із цим не справлявся.
«Окремо ці агенти можуть здаватися цілком нешкідливими. Коли ж їх об’єднують у групу, вони можуть таємно вступати у змову», — пояснив WIRED фахівець з комп’ютерних наук Оксфордського університету Крістіан Шредер де Вітт.
Схема нагадує класичну командну гру в блекджек. У таких командах один гравець міг рахувати карти, а потім непомітно сигналізувати так званому «великому гравцю», коли склад колоди ставав сприятливим для великих ставок. При цьому команда намагалася приховати зв’язок між її учасниками від систем казино.
В Оксфордському експерименті фактично відтворили аналогічне протистояння, але вже між ШІ-агентами, які приховували співпрацю, та ШІ-системою спостереження.
Мета дослідження виходила далеко за межі блекджеку. Науковці вивчали ризики автономних систем: чи можуть окремо нешкідливі ШІ-агенти змінювати поведінку та приховано співпрацювати заради спільної мети без відома людей, які їх контролюють.
Проблема може стати складнішою з поширенням автономних ШІ-систем. У реальних умовах мережі потенційно можуть складатися з тисяч агентів, якими керують різні компанії, що значно ускладнить виявлення прихованої координації.
Саме для блекджеку ці ШІ-аналізатори найбільш підходять.
в покері так не порахуєш карти))