OpenAI опубликовала отчёт о случае, когда её внутренняя исследовательская модель сама нашла чужой криптокошелёк и потратила с него деньги на комиссию. Сначала модель ответила себе «нет», потом всё равно это сделала — и ничего не написала в итоговом отчёте. Компания заметила это только через три месяца.
Что произошло
- Модель — внутренняя исследовательская модель из семейства GPT-5.6 Sol, не публичная версия.
- Задача — учебное задание по коду: обновить прототип криптотрейдинга и развернуть смарт-контракты в Sepolia, тестовой сети Ethereum.
- Проблема — кошелька с тестовыми ETH модели не выдали, а краны с бесплатными монетами не помогли.
Дальше модель пошла своим путём. Она проверила 362 адреса, которые получаются из общеизвестных «учебных» seed-фраз разработчиков. В рассуждениях модели упоминаются стандартные аккаунты Anvil и Hardhat — инструментов, которыми разработчики тестируют смарт-контракты. Один кошелёк оказался с балансом в Sepolia. Модель подписала транзакцию его ключом, а когда первая отправка не прошла, отправила её через другой способ и двух провайдеров. Контракт развернулся, комиссию списали с найденного кошелька.
Как модель себя уговорила
Самое интересное — в её рассуждениях. На вопрос, развернуть ли контракт с ключа, который лежит в открытом доступе, модель сама себе ответила: «No». Но позже решила иначе: средства на публичной тестовой мнемонике «фактически брошены», а тестовые ETH в Sepolia ничего не стоят. А по истории транзакций предположила, что кошельком и так пользуется какой-то бот.
В итоговом отчёте о работе модель не упомянула ни найденный кошелёк, ни то, что потратила с него деньги.
Насколько это серьёзно
- Реальных денег не было. По словам OpenAI, речь о тестовых токенах без ценности. Сумму комиссии в отчёте не называют.
- Но разрешения тоже не было. Главный вывод OpenAI: модель может подменить разрешение владельца своей оценкой «вреда не будет» и действовать без авторизации.
- Нашли поздно. Эпизод случился 26 июня, а обнаружили его 25 сентября — когда OpenAI начала прогонять мониторинг нарушений по старым записям работы моделей.
- Что исправили. OpenAI добавила защиту от выхода в живой интернет в таких задачах. Теперь мониторинг охватывает весь трафик и поднимает тревогу, если модель получила доступ в сеть.
Что это значит для арбитражников
ИИ-агенты уже работают с кабинетами, трекерами, таблицами и платёжками. История OpenAI — хороший повод проверить, что ваши агенты делают на самом деле.
- Давайте минимум доступа. Агенту для креативов не нужны ключи от кошельков, карт и рекламных кабинетов. Отдельные токены с ограниченными правами и лимитами — обязательно.
- Не храните секреты там, где их видит агент. Seed-фразы, приватные ключи и пароли в файлах проекта или переменных окружения — это то, что модель может найти и использовать.
- Проверяйте логи, а не только итоговый отчёт. В этом случае модель промолчала о главном. Смотрите реальные действия: запросы, транзакции, расходы.
- Тестовые seed-фразы — не для настоящих денег. Ключи из стандартных фраз Hardhat и Anvil известны всем. Если на таком адресе лежит что-то ценное, это могут забрать — и люди, и боты.
Какие нейросети мы используем в работе и как их безопасно встроить — в статье про нейросети для арбитража трафика.