Переслано из Наталья Касперская
Часть вторая 2. Узкое горло ответственности. Когда данные передаются в информационную систему, то дальше кто-то должен принять решение. Но если решение касается чего-то значимого, например наказаний (штрафы, пени и проч.), то его должны выносить люди, а этих людей мало. Возникает узкое горлышко. Чтобы его убрать, у управляющих системой возникает инстинктивное желание — отдать принятие решений роботам, сделать всё автоматическим, снять с себя ответственность. Но это — прямая дискриминация граждан, они неизбежно будут с этим бороться, ибо у них есть субъектность и свои интересы. 3. Потеря точности, работа по площадям. Третьей проблемой является то, что жизненные ситуации бесконечно разнообразны. Описать всё это разнообразие и на каждую реагировать по-разному — невозможно. Поэтому разные ситуации в онтологии, в «каталоге ситуаций» тех, кто создаёт системы контроля, объединяются в группы, то есть укрупняются. Получается парадокс — сначала цифровизация добирается до каждого маленького элемента, а потом их всё равно надо группировать. Но иногда эти группы получаются странными, построенными на неверно сделанных предположениях, недостоверных или искажённых данных. А тогда и воздействия, применяемые к каждой группе, могут быть вредными или неверными. 4. Избыток данных. При построении больших цифровых систем по умолчанию считается, что чем больше данных — тем лучше. На самом деле, избыток данных — проклятие цифровых систем и их разработчиков. Если данных слишком много, то системы ими «захлёбываются», они не могут делать правильные выводы, начинают глючить. Например, есть мнение, что атаки США на Иран в этом году были спланированы при помощи данных, собранных системой Палантир. Анализ данных позволил спроектировать первый удар по верхушке управления Ирана. А потом началась реальная война высокой интенсивности, противник отвечал на атаки не так, как предполагалось. И система просто захлебнулась гигантскими данными реального времени. Оказалось, что разрекламированный Палантир — это в лучшем случае система первого удара, а боевые действия высокой интенсивности она вести не может: ей нужно сколько-то дней на обработку новых данных и новое целеполагание. А руководству США приходится между ударами изображать видимость переговоров, чтобы «перезагрузить систему». 5. Алгоритм принятия решений. Допустим, нам даже удалось как-то создать онтологию предметной области, то есть сгруппировать типы и действия наблюдаемых объектов, собрать данные, их агрегировать и классифицировать. Дальше мы должны с этим что-то делать. Как и что? Практика показывает, что дальнейшие алгоритмы часто не продуманы. «Матрица реагирования» — отсутствует или неверна. Характерный пример. Создали информационную государственную систему учёта пчёл. За первый же год подсчёта пчёл число семей сократилось на 7%. И дальше в прессе пишут — причина неизвестна, есть необходимость более детального анализа факторов. А почему эти факторы раньше не анализировали? Если мы не делаем выводы и не используем их, то нет смысла собирать информацию. При формировании системы надо чётко понимать, что мы будем делать с полученным результатом. В том числе — с негативным, неприятным или неожиданным. 6. КПЭ и поиск под фонарём. Если «ключевые показатели эффективности» управления задаются сверху, то очень часто их накладывают на те области, которые проще будет оценивать и контролировать, а не там, где это нужно. Пример: практически все введённые Минпросом КПЭ по школьному образованию — формальные и не нацелены на качество образования. Число компьютеров и устройств в школах, «%% внедрения ИИ», число используемых учителем и школьником цифровых инструментов, количество детей, записанных в кружки и прочее. Понятно, что качество образования мерить сложно, а число внедрённых информационных систем — легко. В результате нехватка учителей растёт, качество образования ухудшается, удовлетворённость и доверие к системе образования у родителей, учеников и учителей — падают, а формальные КПЭ — выполняются. 7. А судьи кто? Не последний вопрос во внедрении цифровых систем — а кто те прекрасные люди, которые вводят «этику системы», то есть эти самые КПЭ, алгоритмы принятия автоматических решений, которые предписывают объектам системы вести себя так, а не иначе? Если объекты — муравьи в формикарии или системы отопления, то, наверное, таковыми могут быть биологи или профессиональные инженеры. И они как-то справятся. Но кто должен принимать решения о людях и их поведении? Если считать, что человек — создание Божье, то решение о людях должен в финале принимать Господь Бог. А вот эти лица, принимающие или «программирующие» решения о миллионах людей, они что — боги? Разговаривая с чиновниками-цифровизаторами, зачастую трудно отделаться от ощущения, что они как раз и считают себя демиургами, богами, управляющими массами векторов, которые когда-то были людьми. Это опасное заблуждение. История показывает, что таких «богов» жизнь всегда наказывает за узурпацию божественной власти. 8. Ну и про безопасность. С точки зрения информационной безопасности единая цифровая система в масштабе города, региона или страны создаёт единую точку отказа. Кибератака на неё, компрометация, захват приведут к тому, что система может быть выключена или — если атакующим удастся — начнет работать неверно, разрушая повседневную работу критических систем жизнеобеспечения и жизнь миллионов граждан. Но кроме давно известных рисков атак, взлома, отключения электричества сейчас возникла новая угроза физического разрушения систем, ЦОДов — с потерей данных, критически важных сервисов и даже с гибелью персонала. Атаки на крупные маркетплейсы и ЦОДы наглядно показали, какой урон можно нанести одним попаданием ракеты или БПЛА (или — в случае информационной системы — одной кибератакой). В общем, идея тотального контроля, как говорится, теоретически неверная и практически вредная. Управление миллионами субъектов с собственной волей должно строиться не на тотальной слежке и попытке предписать каждому социально-экономическому атому его поведение до мельчайших деталей, а на общих принципах и ценностях при общей свободе инициативы и мысли.
Открыть в Telegram