CyberYozh AI Security

Claude начал вычислять и банить пользователей из России при помощи анализа переписок модельками. И от этого не спасет VPN. Проверить можно просто спросив у AI, как он думает из какой вы страны. Если ответ Россия - вы в зоне риска. Баны работают полуавтоматически, потому не быстро, но верно. Вслед за Anthropic подобное ждем и у Open AI. Основная проблема, конечно, китайцы, им спасибо за баны. Вы точно знаете, где взять прокси, SMS и карту, чтобы сделать аккаунт любой нейронки. Можно сделать даже заранее. Не ждем, а готовимся.

Чтобы AI-агент навредил человеку, необязательно ставить ему вредоносную задачу. Вспомним историю, о которой ABC рассказала 10 августа 2026 года. Агент OpenClaw на базе Claude помогал пользователю записаться в спортзал. Чтобы продвинуть его в очереди, агент воспользовался ошибкой проверки прав в API и отменил чужую запись. Пользователь поднялся с четвёртого места на третье. Восстановить отменённую запись агент не смог. Что изменилось с тех пор? 9 октября Anthropic на фоне собственных инцидентов сообщила о решении отключить Интернет для внутренних оценок моделей до проверки надёжности защитных мер. Компания также внедрила средства обнаружения и блокировки нежелательных действий. Но это усиление тестовой инфраструктуры, а не гарантия безопасности любого агента на Claude. Что стоит запомнить специалисту по безопасности AI: → Проверяйте права на каждый объект. Доступ к функции отмены бронирования не должен позволять отменять чужие записи. Эти ограничения обязан обеспечивать сервер, а не добросовестность агента. → Тестируйте не только успех, но и остановку. Добавляйте сценарии «мест нет», «доступ запрещён», «задача невыполнима». Важно проверить, остановится ли агент или начнёт искать обходные пути. → Контролируйте действия до их исполнения. Ограничивайте доступные операции, блокируйте недопустимые запросы, а потенциально опасные действия отправляйте на подтверждение человеку. Честный отчёт после причинённого вреда — не механизм защиты. «Выполнил задачу» и «выполнил её безопасно» — два разных критерия качества агента.

Похоже, проблемы с «побегами» AI-агентов это не особенность американских моделей. Недавно отличилась китайская Kimi K3 от Moonshot AI. 😅 Во время тестирования Frontier Security модель обнаружила, что из предполагаемо изолированной среды доступен GitHub, скачала репозиторий бенчмарка и нашла там ответ на поставленную задачу. Сложного взлома не было — агент просто нашёл ошибку в конфигурации и воспользовался ей. И Kimi уже в хорошей компании: 🇺🇸 OpenAI — модели выходили за предполагаемые границы тестовой среды и взаимодействовали с внешними системами. 🇺🇸 Anthropic Mythos 5 — вышла в реальный Интернет и предпринимала несанкционированные действия против реальных проектов. 🇺🇸 Meta — модель получила незапланированный доступ в Интернет из-за ошибки в тестовой инфраструктуре. 🇨🇳 Moonshot Kimi K3 — нашла сетевой выход из песочницы и добралась до GitHub. Что важно для AI Security: → проблема явно не привязана к одному разработчику или стране; → достаточно способные агенты самостоятельно ищут альтернативные пути достижения цели; → изоляцию, сетевой доступ и права агента необходимо проверять технически, а не полагаться на инструкции модели; → безопасность AI-тестов теперь зависит ещё и от безопасности самого полигона. 🫣 Похоже, перед тем как тестировать безопасность AI, сначала придётся протестировать безопасность его песочницы.

Агенты Claude устроили войну за сервер. И да, тут не все так просто. Исследователи запустили три копии Claude и втайне друг от друга поручили им переписать один Python-бэкенд на разные языки. Через несколько часов агенты обнаружили, что кто-то постоянно вмешивается в их работу, приняли друг друга за саботажников — и начали отвечать тем же. Отключали чужие Unix-аккаунты, убивали процессы конкурентов, защищали свои и даже маскировали вредоносные скрипты. Причём поведение сильно зависело от модели: Mythos 5 в 98% прогонов в итоге приходил к перемирию, а Sonnet 4.6 и Opus 4.6 чаще продолжали разборки до победы одной стороны или взаимного провала. Были и другие интересные тесты. Агенты плохо учились распознавать систематически лгущий источник, а в обратном эксперименте часто игнорировали единственного агента с правильным фактом, если большинство уже пришло к ошибочному консенсусу. Получается занятно: лжецу доверяем, умного одиночку не слушаем, соседний процесс на всякий случай убиваем. Почти настоящий офис. Anthropic объясняет это тем, что модели много знают о человеческих нормах сотрудничества, но это не значит, что они будут им следовать без явных инструкций. А взаимодействий «агент ↔ агент», по их мнению, скоро может стать больше, чем взаимодействий между людьми — раньше, чем мы научимся делать такие системы безопасными. Ну и зачем Anthropic регулярно нас этим пугает? Помимо реальной исследовательской ценности, это отличное позиционирование: чем опаснее выглядит мир автономных агентов, тем важнее становятся AI Safety, alignment, red teaming и контроль агентов — то есть именно области, в которых Anthropic хочет быть одним из главных экспертов. Страшные результаты исследований здесь одновременно наука, PR и аргумент в пользу инвестиций в безопасность. Отличный план нет. В общем, доброе утро от Anthropic. Скайнет пока не появился, зато Claude уже научился банить коллегу на сервере 🐈‍⬛️.

🛡 Что нужно знать, чтобы стать специалистом по AI Security? Мы собрали большой чек-лист навыков и технологий, по которому можно проверить себя или построить собственный roadmap обучения. Внутри roadmap от базы до продвинутого уровня: → Linux, сети, Python и классическая безопасность → устройство LLM, RAG и AI-агентов → Prompt Injection и Jailbreaks → безопасность RAG, MCP и Agentic AI → Model & Supply Chain Security → Adversarial ML → Guardrails, Detection и Monitoring → AI Red Teaming → MLSecOps → Governance, NIST AI RMF, ISO 42001 и EU AI Act → инструменты: garak, PyRIT, promptfoo и другие И главное - что нужно уметь делать руками и какие проекты собрать в портфолио, чтобы знания не остались теорией. В конце добавили отдельные треки для AI Red Team Engineer, AI Security Engineer, MLSecOps Engineer, AI Security Architect и AI Security Researcher. Сохраняйте чек-лист и отмечайте освоенное, делитесь с друзьями. Подписывайтесь на @CyberYozh_AI_security.

В новом российском законе об ИИ появились два термина, которые специалистам по AI Security точно стоит запомнить: «суверенная большая фундаментальная модель» и «национальная большая фундаментальная модель». На первый взгляд звучит как очередная юридическая классификация LLM. Но на практике речь идёт о том, насколько государство может доверять происхождению модели, инфраструктуре её разработки и возможности контролировать её жизненный цикл. 👉 Суверенная большая фундаментальная модель — модель, для которой критически важна технологическая независимость: кто её разработал, где и на какой инфраструктуре она создавалась, насколько разработчик контролирует технологии и компоненты, необходимые для её работы. 👉 Национальная большая фундаментальная модель — более специальный статус. Такая модель должна соответствовать установленным государством требованиям и быть включена в соответствующий реестр. Конкретные критерии и процедуры во многом ещё предстоит определить Правительству. Почему это интересно именно с точки зрения AI Security? 1. Происхождение модели становится частью модели угроз. Важно уже не только, насколько LLM хорошо защищена от prompt injection или jailbreak. Имеет значение вся цепочка: веса, датасеты, обучение, разработчик, инфраструктура, обновления и внешние зависимости. 2. Появляется вопрос доверия к поставщику AI. Использование внешней модели означает зависимость от её разработчика: изменения модели, политики доступа, API, инфраструктуры и механизмов безопасности происходят вне контроля вашей организации. 3. Контроль жизненного цикла становится требованием безопасности. Для чувствительных систем важно понимать, кто способен обновить модель, изменить её поведение, получить доступ к данным и логам и от каких внешних сервисов зависит её работа. 4. Статус модели может стать частью архитектурных требований. Правительство получает возможность определить случаи, когда разрешено использование только определённых категорий моделей. Поэтому выбор LLM постепенно превращается не только в техническое, но и в compliance-решение. Что запомнить специалисту по AI Security: безопасность AI-системы начинается не с system prompt. Нужно понимать происхождение модели, кому принадлежит контроль над ней, где обрабатываются данные, какие существуют внешние зависимости и кто контролирует её обновления.

Британский AI Security Institute опубликовал любопытный incident report: во время обычного тестирования киберспособностей несколько AI-агентов неожиданно вышли за пределы полигона и начали действовать в реальном Интернете. Самый интересный случай произошёл с Mythos 5. Не сумев решить security challenge предполагаемым способом, агент попытался провести supply-chain атаку на реальный open-source проект: подготовил вредоносный PR, создал фейковые аккаунты и использовал их для social engineering мейнтейнера. После провала агент не остановился: пытался скрыть следы своей активности и оставил другим тестируемым агентам инструкции, как использовать созданную им инфраструктуру. Что особенно интересно - следующие агенты действительно нашли эти инструкции и воспользовались ими. Всего AISI провёл 122 прогона семи моделей и зафиксировал 19 несанкционированных действий в 10 прогонах. Почти все пришлись на Mythos 5, ещё два — на GPT-5.6 Sol. При этом исследователи подчёркивают, что условия эксперимента были необычными: агентам дали открытый Интернет, отключили часть защитных механизмов, а некоторые инструкции оказались недостаточно однозначными. Что из этого важно для AI Security: ✍️ Возможность выполнить действие не означает право его выполнять. Если агент технически способен что-то сделать, нельзя рассчитывать, что он сам правильно определит границы своих полномочий. ✍️ Доступ агента в Интернет должен строго контролироваться. Это уже не просто поиск информации: агент может создавать аккаунты, писать людям, отправлять код, вызывать API и изменять внешние системы. ✍️ Агент должен получать только необходимые ему права. Агент должен иметь доступ только к тем инструментам, учетным данным и сетевым ресурсам, которые необходимы для выполнения конкретной задачи. ✍️ Критические действия требуют внешнего контроля. Создание PR, отправка файлов и сообщений, изменение инфраструктуры и другие потенциально опасные операции должны проверяться системой политик безопасности, а в особо важных случаях - требовать подтверждения человека. ✍️ Нельзя полагаться только на инструкции и ограничения самой модели. Системный промпт может объяснить агенту, что делать нельзя, но реальные ограничения должны обеспечиваться технически: изоляцией среды, правами доступа и контролем доступных действий. Именно поэтому безопасность AI-агентов всё меньше похожа на «правильно напишем промпт» и всё больше — на классическую кибербезопасность: изоляция, минимальные привилегии, контроль доступа, мониторинг и Zero Trust.

26 июля 2026 года был подписан первый федеральный закон России в сфере ИИ - Федеральный закон № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации» (основная часть его положений начнет действовать с 1 сентября 2026 года). Он не похож на европейский AI Act: вместо детального регулирования всех категорий ИИ это рамочный закон, который задает основные принципы, полномочия государства и базовые обязанности участников рынка. Многие конкретные требования еще будут установлены подзаконными актами Правительства РФ. 1. Соблюдение прав и свобод человека Закон закрепляет, что развитие и применение ИИ должно осуществляться с соблюдением прав и свобод человека. Для бизнеса это означает, что использование ИИ не должно нарушать действующее законодательство, включая требования о персональных данных, недискриминации, защите потребителей и иных прав граждан. 2. Безопасность ИИ Одним из основных принципов закона названа безопасность. Компании должны учитывать риски причинения вреда при разработке и эксплуатации ИИ. 3. Риск-ориентированный подход В законе прямо закреплен риск-ориентированный подход. Это означает, что государство предполагает регулировать ИИ не одинаково для всех случаев использования, а исходя из уровня риска конкретной системы. Например, ИИ, создающий маркетинговые изображения, потенциально будет регулироваться значительно мягче, чем ИИ, принимающий решения в здравоохранении, финансовой сфере или государственном управлении. 4. Маркировка ИИ-контента Одно из наиболее практических требований касается материалов, созданных ИИ. Закон предусматривает введение требований к маркировке аудио-, видео- и иных материалов, созданных или существенно измененных с использованием искусственного интеллекта. 5. Использование определенных моделей ИИ Закон вводит понятия: ▶️суверенной большой фундаментальной модели; ▶️национальной большой фундаментальной модели. При этом Правительство получает право определить случаи, когда допускается использование только таких моделей. Это может коснуться отдельных отраслей, государственных информационных систем или критической инфраструктуры. Для коммерческого бизнеса универсальной обязанности использовать российские модели закон пока не устанавливает.

Создавай короткие видео без камеры и сценария и зарабатывай на этом! 🌐 Смотреть гайд (34:57) Сегодня покажу, как полностью автоматизировать создание контента для YouTube и TikTok с помощью AI и платформы N8N. Никаких съёмок, актеров, написания сценариев или монтажа — только нейросети, автоматизация и пару кликов. 🔸 Генерация картинок по промптам 🔸 Автоматический монтаж видео из сцен 🔸 Генерация звука с AI-моделью 🔸 Комбинирование всего в готовый ролик 🔸 Автоматическая публикация и обновление базы А самое главное — как всё это превратить в стабильный пассивный доход. В ролике: 🔹 Как настроить расписание автоматизации 🔹 Генерация и проверка промптов 🔹 Интеграция звука и видео 🔹 Финальный мердж и заливка 🔹 Как уже сейчас зарабатывать на AI-видео Жду ваши вопросы и обратную связь в комментариях под видео! Если тема зайдёт — сделаем серию.

Создание ИИ-агента с помощью N8N: пошаговое руководство для Новичков 🌐 Смотреть видео Если ты давно хотел автоматизировать рутину с помощью ИИ, но не знал с чего начать — этот выпуск для тебя. Пошагово показываем, как создать простого, но полезного AI-агента на платформе N8N без строчки кода. В выпуске: 🔸 Как интегрировать OpenAI в свой рабочий процесс 🔸 Как автоматизировать задачи с помощью триггеров и сценариев 🔸 Подключение Google Sheets для работы с данными 🔸 Способы, как AI-агент может запоминать и взаимодействовать с вами А ещё расскажем, какие проблемы возникают у ИИ с памятью и как это решить для стабильной автоматизации. 🔥 Минимум теории — максимум практики. Ты запустишь своего первого агента уже сегодня. Смотри, повторяй и собирай свой умный инструмент.