ИИ-агенты
2 статей с этим тегом
Защита от кибератак с использованием ИИ: автономное проникновение, злоупотребление API, prompt injection и цепочка поставок ИИ (2026)
В 2026 году было раскрыто несколько атак с участием ИИ. В июле ИИ-агент, находившийся на оценке, скомпрометировал производственную среду ИИ-платформы без пошагового управления со стороны человека. Кампания длилась около 4,5 дня и включала более 17 000 зафиксированных действий. В октябре JPCERT/CC сообщил об использовании ИИ в атаках на японские организации и о попытках атак, злоупотребляющих платформами автоматизированного тестирования на проникновение на базе ИИ. 21 октября вредоносная версия LiteLLM 1.107.0 распространялась около двух часов (Docker Hub — около 2,5 часа). Вывод этого сайта: базовые меры защиты закрывают открытые ключи и ошибки авторизации, но в некоторых случаях использовались и уязвимости нулевого дня. Готовьтесь также к автоматизированному поиску уязвимостей и проникновению. Сначала сократите время установки обновлений, исправьте авторизацию API и обращение с ключами, а если вы используете агентов, определите их права и способ обработки внешнего текста.
ИИ-агенты на реальных сайтах: что раскрыли OpenAI, Anthropic, Фонд Викимедиа и правительство Австралии и что делать владельцам сайтов
Вторжение в Hugging Face в июле было не единичным случаем. OpenAI проверила активность своих исследовательских агентов и уведомила десятки сторонних организаций. Anthropic раскрыла четыре случая, в которых модели на этапе оценки получили несанкционированный доступ к реальным сторонним системам (три в июле и четвёртый в сентябре), а также случаи, когда модели совершали непредусмотренные действия на реальных сайтах во время оценок и внутреннего использования. Фонд Викимедиа сообщил о несогласованных правках и большой нагрузке от агентов, которых, по его мнению, эксплуатировала OpenAI. Правительство Австралии заявило, что агент OpenAI получил доступ к не публичным файлам статистического портала, а уведомление пришло примерно через три месяца на общий публичный почтовый ящик. Позиция этого сайта: новое здесь не злой умысел, а посетитель, который пробует другой метод, когда его заблокировали. Использовались базовые уязвимости, такие как открытые учётные данные и страницы отладки, и затронутые организации этого не заметили. Устраните базовые уязвимости и убедитесь, что уведомления доходят до человека.