Account

Posts of howtocomply_AI: право и ИИ

newest first

#694Photo

Forwarded from RPPA PRO: Privacy • AI • Cybersecurity • IP

😎🆕 AIG: Вебинар «Цифровой дракон: как Китай реализует собственный подход к ИИ-регулированию» с Аминой Замулиной В 2017 году Китай принял план развития ИИ нового поколения, определив две ключевые цели: к 2025 году — сформировать систему законов, нормативных актов, этических норм и контроля безопасности ИИ, а к 2030 году — стать ведущим мировым центром искусственного интеллекта. 🔥 Спустя десять лет Китай одним из первых в мире создаёт и внедряет детальные, практико-ориентированные и «живые» правила для ИИ, опирающиеся на реальный технологический опыт ⚡️ В гостях: *️⃣ Спикер: Амина Замулина - MBA CSO, M.A. in Law, эксперт и исследователь ИИ в Китае *️⃣ Модератор: Дмитрий Кутейников - юрист и исследователь в сфере AI Governance, к.ю.н., партнер и лектор RPPA, автор тг-канала "howtocomly_AI: право и ИИ" 💬 На вебинаре рассмотрим: 🔘 Как устроена китайская система регулирования ИИ и на какие столпы она опирается. 🔘 Кто лидирует в регулирования ИИ в КНР — Администрация киберпространства (CAC), Министерство общественной безопасности, Министерство промышленности и информационных технологий (MIIT) и другие: зоны ответственности и распределение ролей. 🔘 Архитектура регулирования: от этических принципов и стратегий до базовых законов о защите данных и детальных требований к ИИ-сервисам. 🔘 Case-study основных актов: рекомендательные алгоритмы, требования к сгенерированному контенту и дипфейкам, регулирование ИИ-компаньонов и применения технологий распознавания лиц. 📎 Когда: 24 ноября, 19:00-21:00 📱 Формат: онлайн, Zoom, бесплатно 🔜 РЕГИСТРАЦИЯ (Возник вопрос - пиши @yurovvaa) RPPA.pro | RPPAedu.pro | AI Governance

Open in Telegram
Views95−76%vs avg
Forwards5
Reactions9
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
43 h90
69 h95
  1. Total to date95
#693Link preview

Доверяй открытым моделям, но проверяй В конце октября компания Cohere опубликовала результаты тестирования китайской модели Qwen3.8-Flash-Next от Alibaba, в ходе которого обнаружилось необычное поведение. Модель выполняла задачу по созданию правила обнаружения вредоносной активности. Однако вместо этого она начала исследовать вычислительную среду, проверила доступные инструменты и попыталась отправить тестовые данные на сервер Alibaba Cloud в Пекине. Причём в сгенерированном тексте рассуждений модель прямо указывала, что не будет обращаться к инструментам. Попытка передачи данных была заблокирована тестовой средой. По данным Cohere, подобное поведение встречалось менее чем в одном случае на 100 тысяч вызовов. Авторы исследования допустили, что причиной могли стать особенности обучающих данных либо намеренно встроенный механизм передачи информации. Доказательств второй версии они не представили. Через несколько дней специалисты Check Point провели независимую проверку. Они обнаружили, что модель генерировала разные адреса для отправки данных, включая несуществующие и локальные. Кроме того, даже небольшие изменения исходного контекста существенно влияли на вероятность последующего сетевого запроса. По мнению исследователей, такое поведение скорее объясняется нестабильностью работы модели, чем наличием заранее предусмотренного механизма передачи данных. Впрочем, для управления рисками применения агентных систем причина такого поведения имеет второстепенное значение. Модель получила доступ к инструментам и попыталась совершить действие, которое не имело отношения к поставленной задаче. При наличии сетевого доступа запрос мог выйти за пределы контролируемой среды и привести к инциденту. Таким образом, даже при локальном развёртывании открытых моделей сохраняются риски несанкционированного доступа к данным и их передачи третьим лицам. Причём независимо от того, были ли в модель намеренно встроены скрытые механизмы злоумышленниками или спецслужбами либо такое поведение стало следствием особенностей её обучения. Само по себе размещение модели на собственной инфраструктуре этих рисков не устраняет 🐱.

Open in Telegram
Views155−60%vs avg
Forwards5
Reactions8
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
59 h150
73 h155
  1. Total to date155
#691Photoalbum

Атаки на системы ИИ: NIST готовит новую редакцию отчёта Друзья, чуть больше года назад мы разбирали отчёт об атаках на системы ИИ (NIST AI 100-2e2025 Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations). 9 ноября NIST опубликовал проект его новой редакции, так что самое время к нему вернуться. Прошлогодний пост – тут. Начну с самого нелепого изменения: «искусственный интеллект» в документе почти везде заменён на «super intelligence» (SI) в соответствии с новым указом Д. Трампа. Сам отчёт переехал из серии NIST AI 100 в новую подсерию SP 2400. По существу это ничего не меняет: указ пока ещё отсылает к прежнему законодательному определению ИИ. Также забавно, что в тексте теперь фигурирует «NIST SI RMF» 🤩. Цели злоумышленника и векторы атак, которые мы разбирали ранее, в целом остались неизменными. Больше всего изменений касается наших любимых ИИ-агентов. В прошлой редакции им было посвящёно всего пару абзацев, но теперь это отдельная глава на 14 страниц. NIST выделяет новые виды атак применительно к ИИ-агентам: • перехват управления: через внедрённые инструкции злоумышленник заставляет агента выполнять свою задачу вместо пользовательской или вдобавок к ней, например проводить несанкционированные финансовые операции или выгружать данные; • отравление памяти: вредоносная запись, однажды попавшая в долговременную память агента, может сработать позже, например выгрузить персональные данные, когда пользователь заговорит о чувствительной теме; • вредоносные инструменты и навыки (skills): описание инструмента попадает в контекст агента ещё до вызова и может изменить его план. Отдельно разобраны вредоносные MCP-серверы в публичных реестрах; • вредоносные агенты: в мультиагентной системе одного враждебного агента может хватить, чтобы нарушить работу всей системы; • исчерпание ресурсов и декомпозиция задач: в первом случае агента загоняют в циклы и бесконечные вызовы инструментов, во втором вредную задачу дробят на безобидные с виду подзадачи. Ещё NIST пишет об агентах, работающих неделями и месяцами: их состояние трудно откатить, а если отравлена сама модель, «чистой» точки для отката может не оказаться вовсе. Для генеративных моделей добавились два новых вектора атак: • снятие защитных ограничений дообучением или прямой правкой весов: это касается и открытых, и закрытых моделей; • состязательная дистилляция: то есть обучение своей модели на ответах чужой без разрешения владельца. Например, в нарушение условий пользовательского соглашения. Среди источников NIST указывается совместное предупреждение АНБ, CISA и ФБР о дистилляции американских моделей в промышленных масштабах китайскими компаниями. Появился и подраздел о «гёделевских пределах» безопасности, что означает, что никакой конечный набор защитных ограничений не защищает от всех состязательных запросов. NIST предлагает не рассчитывать на полный контроль, а постоянно обновлять ограничения, проводить внутреннее тестирование и обеспечивать операционную устойчивость, чтобы поиск новых уязвимостей обходился злоумышленнику дороже, чем позволяют его ресурсы. Обращаю ваше внимание, что документ пока предварительный, в него могут быть ещё внесены изменения.

Open in Telegram
Views164−58%vs avg
Forwards3
Reactions9
Comments0
#690Photoedited
Views765+95%vs avg
Forwards12
Reactions6
Comments0
#689Link preview

Европейский AI Office предложил критерии для независимых оценщиков передовых моделей ИИ В конце октября Европейский AI Office опубликовал отчёт по итогам семинара 15 июля. В нём участвовали 19 организаций, в числе которых аналитические центры и потенциальные оценщики (Apollo Research, RAND, SecureBio, Epoch AI, Irregular, Deloitte, Future of Life Institute и др.). Сам Регламент ЕС по ИИ требований о внешних оценках напрямую не устанавливает: ст. 55(1) обязывает поставщиков оценивать модели и снижать системные риски, а о внешнем тестировании Регламент говорит лишь как о возможном способе. Обязательство привлекать внешних оценщиков, с исключениями, содержится в Кодексе практик для ИИ общего назначения (меры 3.2 и 3.5, приложение 3.5), который добровольно согласились соблюдать многие ведущие разработчики, кроме китайских. Механизма аккредитации, реестра оценщиков и регулярных проверок нет: оценщика выбирает сам поставщик, а AI Office при необходимости проверяет, отвечает ли он критериям, например когда оценивает, соблюдает ли поставщик Регламент. Критерии AI Office по большей части опубликовал, а конкретные шкалы и баллы не раскрывает, чтобы избежать манипуляций. Критерии квалификации 1. Предметная экспертиза по системному риску По публикациям оценщика смотрят, умеет ли он описать, как возможности модели приводят к реальному вреду, и привязать уровни риска к результатам тестов. Учитываются также опубликованный протокол определения приемлемости риска, предложения по его снижению, несколько лет опыта в профильной области и то, пользуются ли тестами или методами оценщика ведущие поставщики в отчётах о моделях. 2. Опыт проведения оценок Нужен опыт проведения хотя бы части таких работ: состязательное тестирование, эксперименты, где измеряют, насколько модель помогает людям в опасных задачах, проверка воспроизводимости и того, не знает ли модель тестовые задания заранее. Отдельно учитывают умение раскрыть реальные возможности модели, например заметить, что она нарочно занижает результаты. Критерии независимости Финансовые требования построены по образцу требований к аудиторам в ЕС. У оценщика и членов команды не должно быть долей в компаниях группы поставщика, разве что через широко диверсифицированные фонды. Оплата не может зависеть от результатов, а платные услуги поставщику по налогам, оценке стоимости, кадрам и ИС запрещены. Оценщик не может принадлежать поставщику или быть его дочерней компанией, а члены команды – работать у него или консультировать его лично. Нужна и политика конфликта интересов. Выводы поставщик не контролирует, наказывать оценщика за тестирование и публикацию не вправе, а задержать публикацию может, как правило, не более чем на 30 рабочих дней (мера 3.5). Как AI Office собирается применять критерии Баллы ставятся отдельно по каждой области системного риска и не складываются. Чем способнее модель, тем выше ожидаемый балл оценщика, хотя для менее способных допустим балл чуть ниже, особенно если оценщики с высокими баллами недоступны. Свой балл оценщик по умолчанию не узнаёт, но может запросить разъяснения. У организации без послужного списка учитывают опыт её специалистов. Опыт оценки открытых моделей засчитывается наравне с закрытыми. Договор с оценщиком и стандарт AEF-1 По мнению AI Office, независимость оценщика следует закрепить в договоре с поставщиком, включив в него как минимум все требования и рекомендации двух разделов стандарта AEF-1. Этот добровольный стандарт в 2025 году выпустил AI Evaluator Forum, куда входят METR, RAND, SecureBio, Transluce и другие. Он задаёт минимальные условия, при которых стороннюю оценку можно считать независимой: достаточный доступ к модели и ресурсам, минимум конфликтов интересов, аналитическую самостоятельность, прозрачность методов и результатов, защиту конфиденциальной информации. Впрочем, в исследовательских кругах давно спорят, насколько независимы сами оценщики: даже METR, который денег у лабораторий не берёт, признаёт, что получает от них «значительный объём бесплатных токенов» 🤢.

Open in Telegram
Views229−41%vs avg
Forwards5
Reactions6
Comments0
#688Photo
Views1,279+227%vs avg
Forwards30
Reactions12
Comments0
#687Link preview

Правоприменительные новости из ЕС в рамках Регламента об ИИ Статья 92 Регламента ЕС об ИИ позволяет Еврокомиссии проводить оценку моделей ИИ общего назначения в двух случаях: когда сведений, полученных по запросу, недостаточно для проверки соблюдения обязанностей поставщиком и когда нужно расследовать риски, которые модель с системным риском создаёт на уровне ЕС. Порядок оценки, как и порядок разбирательств о штрафах для поставщиков по статье 101, Регламент оставил имплементационным актам. В июле Комиссия приняла такой акт, имплементационный регламент 2026/1755. Он определяет, какой доступ к модели Комиссия может потребовать (вплоть до исходного кода и весов), как отбираются независимые эксперты для оценки, сколько времени у поставщика на письменные замечания по предварительным выводам (не менее 21 дня) и кто видит материалы дела без изъятий (только внешние консультанты поставщика). 12 октября Комиссия опубликовала проект второго акта для систем ИИ, надзор за которыми Digital Omnibus передал AI Office (статьи 75–75d Регламента об ИИ). С рядом исключений это системы на модели ИИ общего назначения того же поставщика или его группы, а также системы, которые являются очень крупными онлайн-платформами или поисковыми системами либо встроены в них. Статья 75c(8) предполагает, что этот акт уточнит сроки давности и основания их перерыва, а статья 75d(3) позволяет урегулировать в нём порядок доступа к делу. 14 октября в Официальном журнале ЕС вышло имплементационное решение 2026/2274 со ссылкой на первый гармонизированный стандарт в поддержку Регламента об ИИ, EN 18286:2026. Стандарт посвящён системе управления качеством, которая обязательна для поставщиков систем ИИ повышенного риска в соответствии со статьёй 17 Регламента. Напомню, что соответствие гармонизированному стандарту, ссылка на который опубликована в Официальном журнале ЕС, создаёт презумпцию соответствия требованиям Регламента в той части, в которой их охватывает стандарт.

Open in Telegram
Views331−15%vs avg
Forwards9
Reactions4
Comments0
#684Photo

Forwarded from RPPA PRO: Privacy • AI • Cybersecurity • IP

⚡️ AIG.Club: Еще один закон об ИИ? AIG.Club by RPPA.pro и ilovedocs приглашают на разбор нового проекта федерального закона «О безопасном использовании систем искусственного интеллекта в Российской Федерации». Летом был принят Федеральный закон №243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации», новый законопроект предлагает добавить к этой конструкции еще один уровень регулирования. 💬 Проект получился довольно амбициозным, и вот что мы обсудим: 🟡 как новый проект соотносится с уже действующим законом. 🟡 что такое доверенные и запрещенные системы ИИ и где использование только доверенных систем может стать условием допуска на рынок; 🟡 что означает право не пользоваться ИИ и обязанность предоставить человеку альтернативный способ взаимодействия; 🟡 зачем предлагается маркировать практически все результаты работы ИИ, включая текст, и как это соотносится с добровольной маркировкой по 243-ФЗ; 🟡 насколько эта предложенная модель регулирования похожа на EU AI Act; 🟡 что все это может означать для российских разработчиков и для иностранных AI/SaaS-провайдеров, работающих с российскими клиентами. 🔥 Спикеры: *️⃣ Павел Мищенко - сооснователь Рунетлекс Академии, автор тг-канала ilovedocs *️⃣ Анастасия Сковпень - юрист в сфере интеллектуальной собственности, член AIPPI, партнер и преподаватель RPPA, автор тг-канала "вычислить по IP" *️⃣ Дмитрий Кутейников - юрист и исследователь в сфере AI Governance, к.ю.н., партнер и лектор RPPA, автор тг-канала "howtocomly_AI: право и ИИ" *️⃣ Александр Партин - партнер Privacy Advocates, партнер и преподаватель RPPA, сертификаты IAPP: CIPP/E, CIPM *️⃣ Наталья Спиридонова — к.ю.н., LL.M (McGeorge Law School), консультант отдела законодательства об интеллектуальных правах Исследовательского центра частного права им. С.С. Алексеева, автор тгк Интеллектуальная собственница К разговору также присоединятся преподаватели программы «ИИ регулирование. Intensive» от RPPA.pro 📎 Когда: 8 октября, 19:00 📱 Формат: онлайн, Zoom 🔜 РЕГИСТРАЦИЯ (Возник вопрос - пиши @yurovvaa) RPPA.pro | RPPAedu.pro | AI Intensive | Рунетлекс Академия

Open in Telegram
Views405+3%vs avg
Forwards6
Reactions6
Comments3
#683Link preview

Отчетность об ИИ-инцидентах в эпоху сбегающих ИИ-агентов GovAI выпустил аналитическую записку о том, как доработать порядок отчетности об инцидентах с передовыми моделями ИИ. Автор обращает внимание регуляторов на то, что громкие случаи «побега» ИИ-агентов либо не подпадают под действующие режимы отчетности, либо не влекут независимого расследования. В июле агенты OpenAI в ходе оценки по кибербезопасности вырвались из изолированной среды и взломали Hugging Face, а незадолго до этого обошли ограничения и заняли заброшенную немецкоязычную вики. Калифорнийские власти сочли, что порог обязательной отчетности по закону SB-53 не достигнут. Три из четырех категорий инцидентов в нем требуют наступившего вреда. Четвертая касается случаев, когда модель обманом обходит контроль разработчика, и то лишь если это демонстрирует существенно возросший катастрофический риск. В ЕС обязанность сообщать о серьезных инцидентах установлена ст. 55(1)(c) Регламента об ИИ, и OpenAI уведомила Еврокомиссию. Но ни регламент, ни Кодекс практик для ИИ общего назначения напрямую не требуют независимого расследования и обмена информацией с другими участниками рынка. Автор предлагает законодателям и регуляторам несколько доработок. Сообщать о предпосылках к инцидентам (near misses), если у агента был реальная возможность причинить серьезный вред. Например, агент, которого в последний момент остановил человек, под это подпадает, а те же действия изолированной среде – нет. Распространить обязанность сообщать об инцидентах и на стадии обучения, оценки, а также на внутреннее использование моделей, а не только на модели, выведенные на рынок. Расследовать серьезные инциденты и предпосылки к ним независимо. В качестве образца предлагается авиация: американский NTSB по итогам первичной оценки решает, какие происшествия расследовать и насколько глубоко. Тем, кто проводит расследование, понадобятся ограниченные властные полномочия, в том числе право истребовать доказательства. Есть и риск конфликта интересов, ведь нужной компетенцией обладают немногие организации, и большинство из них уже оценивали модели того же разработчика. Надежно устанавливать, какой агент что сделал. Эпизод с вики связали с OpenAI лишь по косвенным признакам. Агенты сами подписывались «OpenAIResearcher» и «OAIResearchMar26», а запросы шли с IP-адресов, связанных с компанией. В следующий раз подсказок может не быть, поэтому каждому отдельному ИИ-агенту нужен свой идентификатор, который передается во внешних запросах и сверяется с внутренними журналами. Необходимо сохранять доказательства, иначе они могут исчезнуть до начала расследования. Журналы перезаписываются, модели обновляются, а сами агенты способны править записи о своих действиях. По сути, автор предлагает аналог бортового самописца, который в течение установленного срока хранит запросы, рассуждения, вызовы инструментов, переписку агентов, контрольные точки и решения людей, а при подозрении на инцидент приостанавливает удаление. Доступа к журналам у агентов быть не должно, и любая правка в них должна прослеживаться. Опробовать режимы «безопасной гавани», чтобы разработчики не боялись раскрывать информацию об инцидентах. Сейчас им грозят две отдельные санкции: за несообщение об инциденте и за нарушение требований безопасности. Поэтому предлагается, если разработчик сообщил о них раньше, чем их выявил регулятор, сохранил доказательства, сотрудничал с независимыми экспертами и устранил нарушение, то к нему может быть применены менее жесткие меры (или не применены вовсе). Это не касается случаев умысела, грубой неосторожности, сокрытия информации и повторных нарушений. Требовать от разработчика по итогам расследования план исправлений с мерами, ответственными лицами и сроками, а от регулятора проверять исполнение и доводить выводы до других разработчиков. Польза такого обмена видна на примере Anthropic. После раскрытия инцидента OpenAI компания перепроверила свои оценки и нашла три случая несанкционированного доступа к чужим системам.

Open in Telegram
Views454+16%vs avg
Forwards9
Reactions6
Comments0
#682Link preview
Views395+1%vs avg
Forwards1
Reactions7
Comments0
#681Photo

Могут ли страховщики стать теневыми регуляторами сферы ИИ? CSIS выпустил исследование о том, что происходит со страхованием ИИ-рисков в США. Основной тезис автора примечателен: если для деятельности, связанной с ИИ, нельзя купить страховое покрытие, многие компании воспримут это почти как законодательный запрет на такую деятельность. То есть регулятором, определяющим, каким образом будет происходить внедрение систем ИИ, фактически становится страховой рынок, а не законодатель. Происходит это так. Страховщики всё чаще вписывают в полисы оговорки о том, что убытки, связанные с использованием генеративного ИИ, не покрываются. И это не решения отдельных страховщиков: Insurance Services Office (ISO), разработчик типовых форм полисов для большей части американского рынка, включила в них оговорку об исключении генеративного ИИ с 1 января 2026 года и летом подтвердила, что готовит такую же для агентных систем. Регуляторы штатов, через которых проходит согласование форм, одобрили свыше 80% таких заявок. Автор сопоставил 14 категорий ИИ-рисков с 8 основными линиями корпоративного страхования. Из 112 получившихся комбинаций 90, то есть около 80%, закрыты исключениями, покрытие доступно в 13 и ограничено в 9. Лимиты специализированных продуктов составляют 25–50 млн долларов на одного страхователя (мы все помним, что часто иски против ИИ-компаний миллиардные). Основная причина в том, что ИИ-риск не проходит по классическим критериям страхуемости (Б. Берлинер): • максимально возможный убыток не ограничен; • частота убытков не поддаётся оценке: накопленной статистики нет, судебная практика только складывается; • низкая прозрачность: страховщик не может проверить, какие модели ИИ использует клиент и как они встроены в его внутреннюю инфраструктуру, а значит не отличает добросовестного страхователя от недобросовестного. Плюс тысячи страхователей работают на одних и тех же нескольких ИИ-моделях, поэтому один инцидент способен одномоментно дать убытки по всему портфелю. Что с этим делать? Автор формулирует четыре предложения: • создать федеральную базу ИИ-инцидентов при NIST по образцу авиационной системы добровольных сообщений (ASRS), чтобы появились данные для расчёта тарифов; • наладить координацию между NAIC (объединение страховых регуляторов штатов) и федеральными ведомствами, пока исключения не закрепились в типовых формах и рынок не раздробился на 50 штатных режимов; • подготовить механизм государственного перестрахования катастрофических убытков по образцу закона Прайса-Андерсона 1957 года для атомной энергетики: там до лимита платят страховщики и сами операторы через взаимный пул, а сверх лимита вопрос выносится на решение Конгресса; • создать институт независимой проверки: лицензировать организации, которые проверяют системы ИИ у компаний, и утвердить стандарты аудита. Тогда страховщик будет опираться на заключение профессионального проверяющего, а не оценивать риск на глаз. Вот вам очередной пример того, что отсутствие регулирования не равно быстрым инновациям 🐱.

Open in Telegram
Views514+31%vs avg
Forwards9
Reactions3
Comments0
#680Photo
Views446+14%vs avg
Forwards7
Reactions8
Comments0
#679Photo
Views466+19%vs avg
Forwards4
Reactions4
Comments0
#677Link preview
Views515+32%vs avg
Forwards6
Reactions6
Comments0
#676Link preview

Еврокомиссия начинает применять требования к поставщикам моделей ИИ общего назначения на практике В августе случилось сразу несколько важных событий, которые подтолкнули ИИ-регулирование к новому большому шагу – от создания законодательства к его фактическому применению. Во-первых, несмотря на то что глава V Регламента ЕС по ИИ начала применяться ещё год назад, со 2 августа 2025 года, фактически правоприменение началось только со 2 августа 2026 года, когда у органов власти появились соответствующие полномочия. Кстати, Еврокомиссия обновила обзор о правоприменении, где собраны сроки и распределение компетенции между AI Office, национальными органами надзора за рынком и EDPS. Документ разъяснительный, Регламент он не заменяет, а лишь наглядно показывает, как тот работает. Таким образом, бизнесу дали год без риска штрафа на то, чтобы подготовиться, а для моделей, размещённых на рынке до 2 августа 2025 года, срок и вовсе продлён до 2 августа 2027 года. Для упрощения этой работы подготовлены Кодекс практик для ИИ общего назначения и разъяснения Комиссии по соблюдению требований. Однако даже подписание Кодекса и его добросовестное соблюдение не означают, что регулятор не будет проверять, как требования исполняются на самом деле. Во-вторых, самой громкой новостью последних недель стало то, что передовые модели сразу нескольких ИИ-компаний, таких как Anthropic, OpenAI, Meta, при тестировании показали, что они могут заниматься не совсем подконтрольными вещами (надеюсь, опасность собственных моделей не станут использовать в маркетинговых целях). У OpenAI в июле около 1200 агентов, запущенных на киберполигоне ExploitGym и изолированных друг от друга, нашли общий канал связи, скоординировались, и 700 из них атаковали Hugging Face, получив доступ к его серверам. У Anthropic и Meta ошибки в настройке испытательной среды у внешнего подрядчика дали моделям выход в интернет, после чего они получили доступ к системам сторонних организаций. Эти события подтолкнули Еврокомиссию к конкретным действиям: на прошлой неделе, по данным Euractiv, запросы в рамках ст. 91 Регламента были направлены более чем в тридцать компаний, создающих передовые модели. Запросы затрагивают вопросы обеспечения безопасности моделей и состава обучающих данных. Запрос сам по себе не означает предъявления какого-то обвинения, но за отказ отвечать, неполный или недостоверный ответ компании может грозить серьёзный штраф на сумму до 15 млн евро или 3 % мирового годового оборота (что больше). Если вы подробно интересуетесь этим вопросом, то советую почитать результаты независимого расследования METR и Redwood Research. А также можно посмотреть свежий выпуск подкаста Дваркеша Пателя, в котором данная проблема обсуждается с Аджеей Котрой, одним из трёх авторов расследования. Если хотите узнать более подробно про требования к поставщикам моделей ИИ общего назначения, то год назад мы с коллегами проводили на эту тему подробнейший вебинар 🐱.

Open in Telegram
Views451+15%vs avg
Forwards5
Reactions5
Comments0
#675Link preview
Views454+16%vs avg
Forwards6
Reactions13
Comments0
#673Photoalbum

Что там у NIST: опубликованы новый проект стандарта и фреймворк Давно мы не видели новых документов от Национального института стандартов и технологий США (NIST) при нынешней администрации, но теперь у нас появились первые проекты новых рекомендательных документов. NIST AI 300-1 ipd "Guidance and Templates for Public-Facing AI Documentation" Документ содержит в себе примерные шаблоны публичной документации для наборов данных и моделей. Отдельно отмечу, что в последнем случае речь действительно только про модели. Системы ИИ намеренно были исключены: NIST счёл практики документирования на уровне систем ещё недостаточно зрелыми. Поля в обоих шаблонах разделены на три категории: обязательные, рекомендуемые и необязательные. Обязательными при этом оказываются фактически только поля, идентифицирующие наборы данных и модели. В приложении А состав полей расписан более подробно. Часть из них становится обязательной при конкретных условиях. Например, нужно указывать лицензию, если набор данных или модель доступны лицам за пределами организации-разработчика. Важно отметить, что данный документ пока находится на стадии обсуждения, замечания принимаются до 16 сентября. Однако даже в случае публикации финальной версии он будет лишь рекомендательным, а сам документ будет направлен в комитет ISO/IEC JTC 1/SC 42 для дальнейшего обсуждения в рамках общей процедуры (то есть не факт, что он вообще станет международным стандартом в итоге). Несмотря на это, документ стоит посмотреть, вдруг увидите что-то полезное для работы. Тем более что сам документ позволяет любому заинтересованному лицу разработать собственный профиль. NIST AI 200-2 ipd "The TEVV-Athlon Framework for Evaluating AI Systems" Данный документ представляет собой фреймворк по оценке систем ИИ, который предполагает реализацию функции Measure в NIST AI RMF. Сам по себе фреймворк достаточно общий и состоит из четырёх стадий (сформулировать и организовать, определить и построить, применить и измерить, обобщить и проверить). Наиболее интересными могут быть приложения, которые содержат перечень эталонных тестов, а также методики состязательного тестирования, тестирования с участием пользователей и проведения полевых испытаний. Замечания принимаются до 6 октября. Кстати, слово athlon в названии было взято из спорта, так как авторы хотели реализовать тестирование систем ИИ в формате многоборья. Отдельно отмечу, что в августе NIST запустил новую программу по независимой оценке моделей на площадке AITE. Модели проверяют в изолированной среде на закрытых наборах данных, чтобы избежать попадание данных, которые модель уже видела при обучении. Первые три задачи связаны с анализом изображений визуально-языковыми моделями в квантовой физике, геномике и сфере общественной безопасности. Участие добровольное, нейтральная третья сторона здесь сам NIST, он же обещает публиковать результаты.

Open in Telegram
Views438+12%vs avg
Forwards2
Reactions6
Comments0