Кабинет

Посты канала Ivan Begtin

сначала новые

#7894Текстизменён

В продолжение про книги которые я ранее публиковал, про каталоги данных и про инвентаризацию данных, есть темы на которые я хочу завершить свои черновики и превратить в книгу/книги. Одна из них - это "Понимание данных" о том как человечество работает с данными, особенности структуризации данных, почему таблицы выглядят как таблицы, что такое семантическое аннотирование, разметка и семантические типы данных. Часть про семантические типы и разметку - самая практическая, остальное скорее про некоторые разные формы систематизации мышления и про то что 99% способов и результатов представления данных упаковываются в ограниченное число шаблонов: смысловых и технических. А вторая Скрытые данные про извлечение метаданных и иных скрытых сведений из не самых очевидных файлов, документов, мест на компьютере и тд. Таких скрытых данных немало, скрытые вкладки в Excel, замазанный, но реально доступный текст в PDF, множественные вложенные объекты выдающие реальный процесс создания документа и так далее. Вот эту тему я давно откладываю и откладываю поскольку она куда ближе к темам форенсики и OSINT, хотя и пересекается отчасти с работами по архивации цифровых объектов. Причем и то и другое теперь делается по другому если есть доступ к ИИ агентам и возможность загрузить туда данные/файл. С одной стороны, а с другой стороны, например, и сокрытие данных/метаданных стало принципиально проще. #thoughts

Открыть в Telegram
Просмотры527−38%к среднему
Пересылки2
Реакции19
Комментарии0
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
5 ч352
19 ч527
  1. Через 6 часов352
  2. Через 24 часа527
  3. Всего сейчас527
#7893Превью ссылки

Полезное чтение про данные, технологии и не только: - Commission turns to artificial intelligence to write better laws Еврокомиссия планирует начать применять ИИ для подготовки лучших и более понятных законов. Похвальная инициатива, главное не забыть следующий шаг когда ИИ будет заменять законотворцев, а не помогать им. - AI Shakes Volunteer Sites о том как ИИ меняет онлайн сообщества, разрушает StackOverflow, помогает "процветанию" Github'а и Reddit'а. - Satellite Imagery Is Being Restricted. The U.S. Government Is to Blame ссылка на пересказ статьи в NYT о том как Пр-во США влияет на коммерческие компании предоставляющие доступ к спутниковым снимкам скрывать сведения о чувствительных местах. Сама статья за пэйволом, но общая мысль очевидна. Государство крупнейший покупатель у этих компаний, а деньги оказываются отличным рычагом влияния. - A shared agenda for the economics of data научный обзор ключевых вопросов экономики данных в контексте использования ИИ. #readings #data #aiagents

Открыть в Telegram
Просмотры585−31%к среднему
Пересылки2
Реакции12
Комментарии0
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
10 ч370
38 ч496
51 ч585
  1. Всего сейчас585
#7892Превью ссылки

К вопросу о изменении моделей использования сервисов с помощью агентов. Когда я недавно доделывал атлас по геоданным Армении, то одной из задач в нем было в том чтобы собрать доступные геоданные по стране. Собственно по Армении их никогда не было особо много общедоступных да и атлас я очищал от ошибок с помощью Claude, собственно из-за этих ошибок и его анонс затянулся больше чем на полгода, в TerriaMaps надо было исправить несколько неприятных багов с кодировками, отображением некоторых данных и так далее. Долго ли коротко ли, но я подключил агента к API Dateno и поставил ему задачей найти картографические слои относящиеся к Армении. К слову, разобрался он с API моментально и столь же моментально выжрал квоту в 200 запросов в день на тарифе Free. Собственно это, конечно, стремительно меня мотивировало стать коммерческим подписчиком создаваемого нами сервиса😂 Потому что так-то для работы с данными я всегда мог подключиться к поисковому индексу через SQL напрямую, но агента напрямую пускать туда точно желания не было, а у Dateno хорошо работающие API и MCP. По Армении я тогда все что было быстро найти нашел и на maps.opendata.am можно посмотреть какие геослои доступны. Но захотеть сделать такой красивый атлас по другой стране или региону, то квота нужна побольше, даже бесплатная. Собственно это особенность того что ИИ агенты жрут API квоты как не в себя. И выбирая между сервисами, более лояльные квоты экономнее. Я ранее рассказывал как искалновые каталоги данных с помощью сервиса Censys (глобальная база сканирования IP адресов и веб-серверов) и выходило это очень накладно. После того как я переключился на китайский FOFA который имеет убогий веб интерфейс, но отлично работающее API с хорошей квотой, вот тогда процесс и пошел отлично. #thoughts #data #dateno

Открыть в Telegram
Просмотры695−18%к среднему
Пересылки4
Реакции6
Комментарии4
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
6 ч366
18 ч535
30 ч575
59 ч652
74 ч695
  1. Через 6 часов366
  2. Через 24 часа535
  3. Всего сейчас695
#7891Превью ссылки
Просмотры637−25%к среднему
Пересылки6
Реакции6
Комментарии0
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
10 ч376
34 ч637
  1. Всего сейчас637
#7890Фото
Просмотры635−25%к среднему
Пересылки9
Реакции10
Комментарии0
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
1 ч269
13 ч514
25 ч635
  1. Через 1 час269
  2. Через 24 часа635
  3. Всего сейчас635
#7889Текст
Просмотры779−8%к среднему
Пересылки0
Реакции19
Комментарии8
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
8 ч549
32 ч723
72 ч779
  1. Через 24 часа723
  2. Всего сейчас779
#7888Текстизменён

Очередная порция размышлений вслух: - Новые фронтирные модели всё более приближаются к тому чтобы заменять уже не джуниоров, а миддлов и даже синьёров. Уже сейчас они проектируют архитектуру ПО очень даже хорошо, а делают ревизию документов лучше многих экспертов. Я проверял на документах на которые я несколько лет назад писал отзывы и они находили в них даже больше ошибок и неточностей чем я тогда. - Я не просто так жалуюсь на рост потоков технологического спама. Сегодня зарепотил два abuse report'а на пользователей на Github'е которые заваливали задачами и пул реквестами, даже если по делу, но сгенерированными ИИ ботами. В первом случае кто-то делал по тысяче пул реквестов в сутки, а во втором рекламировал свой сервис ревизии кода. - Для фаундеров и руководителей ИТ компаний такой ажиотаж вокруг ИИ не на пустом месте. ИИ инструменты как создают новые ниши, так и разрушают существующие бизнес модели. Уже почти невозможно сидеть на попе ровно и получать деньги с клиентов за продление лицензий или ждать новых клиентов. При разработке любого нового продукта надо учитывать что кто-угодно может сделать его клон в кратчайшие сроки. #thoughts

Открыть в Telegram
Просмотры815−4%к среднему
Пересылки6
Реакции19
Комментарии9
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
12 ч429
36 ч746
72 ч815
  1. Всего сейчас815
#7887Фотоальбом
Просмотры944+11%к среднему
Пересылки19
Реакции—
Комментарии—
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
2 ч249
14 ч586
26 ч830
74 ч944
  1. Через 1 час249
  2. Через 24 часа830
  3. Всего сейчас944
#7886Фотоальбом
Просмотры924+9%к среднему
Пересылки19
Реакции6
Комментарии0
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
2 ч261
14 ч586
26 ч815
74 ч924
  1. Через 1 час261
  2. Через 24 часа815
  3. Всего сейчас924
#7885Превью ссылки

Полезные ссылки про данные, технологии и не только: - The Data Product Platform Navigator на сайте Мартина Фаулера обзор того как создавать дата продукты и дата мэш. С одной стороны концептуально описано многое неплохо, а с другой слишком часто в описании концептуальных вещей автор сваливается в технологическую конкретику которая у многих может сильно отличаться. - auto-ontology фреймворк для Python от NVIDIA который превращает базы данных в онтологии. Выглядит как самый серьезный шаг в сторону генерации запросов к данным с помощью ИИ и замена/дополнение всего что касается text-to-sql - Augmented Visual Analytics opensource продукт текст-в-аналитику, на основе данных дает ответы и строит графики. Умеет подключаться к базам данных и дата файлам. - I discovered a sound that leaks your exact location смотрится как документальный детектив, автор объясняет как из звуковой дорожки идентифицировать точное местонахождение места ее записи, разбирая конкретный пример очень подробно. Параноикам на заметку, не выкладывайте звуковые и видео файлы без нужды #dataengineering #ai #datatools #dataviz #osint

Открыть в Telegram
Просмотры764−10%к среднему
Пересылки14
Реакции8
Комментарии0
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
8 ч436
32 ч688
68 ч764
  1. Через 6 часов436
  2. Через 24 часа688
  3. Всего сейчас764
#7884Фото

Переслано из Open Data Armenia

В продолжение ранее опубликованных данных официальной статистики, на портале открытых данных мы опубликовали полную базу статистики Статбанка Армстата в виде цельного набора данных. Это не первичные данные, ранее извлеченные и опубликованные "как есть", а собранная из них база данных. Что о ней важно знать: 1. База данных создана как сводная из 824 таблиц индикаторов к которым теперь можно делать запросы с помощью языка работы с данными SQL. 2. Данные опубликованы в формате Parquet и в виде базы DuckDB. Parquet это популярные компактный формат для распространения данных используемый в data science. А DuckDB - это одна из наиболее популярных настольных баз данных отличающаяся очень высокой производительностью и удобством для аналитических задач. 3. В Статбанке Армстата всего два языка - армянский и английский. Причем в переводе на английский было немного ошибок. В созданной базе данных эти ошибки были исправлены, а также добавлен машинный перевод на русский язык для тех кто хотел бы работать с этими данными используя русскоязычные названия. 4. Вся документация на базу данных представлена также на этих трех языках и включает общее описание и подробности по структуре и схемам данных. 5. Код создания базы данных доступен под свободной лицензией MIT. Если Вы найдете ошибки то можно отправить их прямо в Github или в чате к каналу Open Data Armenia Самый простой способ использовать эти данные - это скачать базу DuckDB и выполнить команду duckdb armstat.duckdb для работы с командной строки или duckdb -ui armstat.duckdb для запуска веб интерфейса. Обратная связь от Вас очень важна для нашей команды. Обязательно напишите если найдете ошибки или если будут предложения чего нехватает. #opendata #opensource #armenia #datasets

Открыть в Telegram
Просмотры688−19%к среднему
Пересылки0
Реакции10
Комментарии1
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
11 ч350
35 ч587
71 ч688
  1. Всего сейчас688
#7883Фотоальбом
Просмотры844−1%к среднему
Пересылки23
Реакции—
Комментарии—
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
17 ч509
29 ч604
77 ч844
  1. Через 24 часа604
  2. Всего сейчас844
#7882Фотоальбом

А вот и вторая книга над которой я работал в этом году Инвентаризация данных. Собрана из десятков моих текстов, лекций и презентаций и посвящена тому как инвентаризировать данные находящиеся в собственном управлении или под свои задачи - тут еще и пересекается с data discovery (поиском и обнаружением данных). Книга пересекается с книгой Каталоги данных поскольку многое в том как устроены каталоги данных проистекает как раз из задач инвентаризации. Эта книга только на русском языке и тоже непонятно насколько она может быть полезна внутри РФ поскольку с доступностью данных в стране сейчас скорее идет в сторону ухудшения чем улучшения, но на русском языке говорят и пишут во многих странах так что я решил что в завершенном состоянии она будет более полезна чем если так и останется в виде закрытого черновика. Как всегда обратная связь приветствуется и более чем ценна. Если найдете ошибки, неточности или чего-то будет нехватать - напишите обязательно. #opendata #datacatalogs #books #readings #dataengineering

Открыть в Telegram
Просмотры866+2%к среднему
Пересылки23
Реакции47
Комментарии0
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
17 ч529
29 ч625
77 ч866
  1. Через 24 часа625
  2. Всего сейчас866
#7881Фотоальбом
Просмотры740−13%к среднему
Пересылки9
Реакции—
Комментарии—
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
20 ч579
32 ч617
68 ч740
  1. Через 24 часа579
  2. Всего сейчас740
#7880Фотоальбом
Просмотры741−13%к среднему
Пересылки9
Реакции—
Комментарии—
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
20 ч579
32 ч617
68 ч741
  1. Через 24 часа579
  2. Всего сейчас741
#7879Фотоальбом

Семантические типы данных - это смысловое и терминологическое описание содержимого колонки таблицы или привязанной к ключу записи в дата файле. Например, называется колонка country и можно предполагать что там название страны на одном из языков. Перечислены в колонке значения 2026-01-01, 2026-01-02 и тд., можно определить что это даты и так далее. Я много лет возился семантическими типами данных и даже писал об этом Semantic data types. Systematic approach and types registry. Потом это стало чуть менее приоритетным в работе, но осталось в моих интересах. И вот на выходных я заодно обновил реестр семантических типов данных registry.apicrafter.io который существенно расширился до 1836 семантических типов большая часть которых про географические идентификаторы и про персональные данные. А заодно обновил инструмент metacrafter и правила к нему metacrafter-rules который умеет идентифицировать хоть и не все, но очень многие из этих семантических типов и делает это очень быстро. В этой итерации у инструмента уже есть измерения precision и recall на тестовой выборке в 243 файла и показатели куда сильнее приблизились к промышленному применению. Можно обратить внимание что существенная часть семантических типов 151 и 1836 и существеная часть правил заточены под российские данные. В первую очередь по той причине что у меня на руках были архивные слепки российских порталов открытых данных и обнаружение многих семантических типов данных проводилось на их основе. Ну и конечно не могу не отметить что сам инструмент metacrafter стал значительно точнее, а реестр семантических типов полностью обновлен для поддержки ИИ агентов и семантические типы можно идентифицифровать своими силами используя любимые LLM инструменты в привязке к значениям в реестре. #opensource #opendata #datatools #semanticdatatypes #understandingdata

Открыть в Telegram
Просмотры722−15%к среднему
Пересылки9
Реакции9
Комментарии0
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
20 ч568
32 ч602
68 ч722
  1. Через 24 часа568
  2. Всего сейчас722
#7878Фотоальбом
Просмотры747−12%к среднему
Пересылки24
Реакции—
Комментарии—
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
64 ч732
76 ч747
  1. Всего сейчас747
#7877Фотоальбом

Когда-то очень давно я сделал такой простой сервис под названием Plain Russian по аналогии с Plain English. В сервисе я тогда адаптировал к русскому языку некоторое число формул оценки простоты текста о чем написал заметку на Хабре. За много лет сервис не менялся, не доходили руки, если честно. Хотя изначально задумка была в том чтобы кроме русского охватить и другие языки. С появлением ИИ сервисов и LLM вопрос стал еще более актуальным поскольку большинство тех кого я знаю используют сейчас Claude, ChatGPT и др. для оценки правки текста. Но, у меня есть подозрение, что польза от приватного инструмента есть. Того в котором на сервер ничего не передается, кроме как в специальных случаях когда пользователь этого хочет. Так что, парам пам пам, новая, бета версия PlainRussian в виде настольного приложения для Mac, Windows и Linux позволяющее делать оценку понятности и ясности языка и с опцией подключения LLM, как локальной таки облачной, тут Вы сами можете решить хотите ли что-то передавать куда-то или нет. Базовые оценки вообще без LLM формируются. Приложение сделано на WebAssembly и его можно запустить не скачивая прямо в браузере. При этом оно полностью в браузере работает так что его режим работы приватный по умолчанию, как говорят serverless и privacy-first. У проекта открытый код, на Rust и Typescript. А из экзотики у настольной версии есть опция интеграции со сберовским Gigachat'ом, но неооттестрованная потому что работа с ним требует установки корневых сертификатов Минцифры РФ и надо создавать там аккаунт. Так что поддержка как бы есть, но она непроверена. В размышлениях как его улучшить. - добавить заодно другие популярные языки - добавить наоборот не самые популярные: армянский, узбекский, казахский и тд. - добавить опции автопереписывания текста с плюшками которых нет у LLM по умолчанию - интегрировать с ИИ от Яндекса и других российских провайдеров? В любом случае сейчас это все существует в форме маленького открытого некоммерческого проекта. У всего этого версия 0.1.0, сейчас период бета тестирования и если найдутся ошибки, будут идеи и пожелания и тд. то можно писать в чате к этому каналу, мне напрямую или в issues проекта. #opensource #plainlanguage

Открыть в Telegram
Просмотры741−13%к среднему
Пересылки24
Реакции15
Комментарии2
Динамика просмотровСкрыть динамику

Рост просмотров

Часов после публикации

Показать таблицей
Часов после публикацииПросмотры
0 ч0
64 ч725
76 ч741
  1. Всего сейчас741
#7876Текст
Просмотры1 064+25%к среднему
Пересылки10
Реакции27
Комментарии3
#7872Фотоальбом

Переслано из Open Data Armenia

Для тех кто работает с геоданными и интересуется географией Армении мы открываем сервис Open Data Armenia Atlas https://maps.opendata.am/ Это геопортал на базе открытого кода TerriaJS и позволяющий не только подключать разные картографические слои, но и объединять их, настраивать уровень прозрачности и даже подключать собственные данные для визуализации. Сейчас мы подключили геоданные на нашем портале открытых данных data.opendata.am и несколько открытых геопорталов (GBIF, Sustainable Caucasus, GIS Yerevan, Human Development Exchange и другие). Некоторые из них могут быть иногда выключены, тогда эти данные могут быть недоступны, но большая часть доступны и мы будем дублировать данные на data.opendata.am при необходимости. Также важно упомянуть: 1. Интерфейс сайта на английском, армянском и русском языках. Если Вы найдете ошибки в переводе напишите нам. 2. Свои данные можно загружать на сайт, но они не грузятся на сервер и обрабатываются в браузере. 3. Геопортал ориентирован на настольные компьютеры и ноутбуки и может отображаться медленнее и хуже на телефонах. Пишите нам при любых найденных ошибках и если Вы знаете какие-то интересные геоданные которые пока отсутствуют на data.opendata.am и на геопортале. Мы обязательно их добавим. Писать можно нам на [email protected] и в Github в issues к открытому коду этого проекта https://github.com/opendataam/armterriamap/issues #opendata #geodata #geoportals #armenia

Открыть в Telegram
Просмотры893+5%к среднему
Пересылки14
Реакции23
Комментарии0
#7871Превью ссылки

Мой маленький-большой пэт проект - это открытые связанные инструменты qddate и newsworker. qddate - это Python библиотека для ускоренного парсинга и идентификации шаблона дат, заточенная под парсинг миллионов строк в очень быстром режиме. Для Python'а есть библиотеки вроде dateparser и dateutil охватывающие большее число языков, но qddate существенно быстрее и в новом релизе 1.1.0 она была еще сильнее оптимизирована и дает ускорение примерно в 1.5 раза по сравнению с предыдущей версией. На некоторых видах текстов/дат ускорение еще больше. newsworker - это инструмент командной строки и библиотека для Python для извлечения новостей из HTML страниц и превращения их в данные с экспортом в RSS, ATOM, Markdown, JSON и так далее. Чтобы было понятнее - это не парсер RSS лент, эта штука находит новостные блоки на веб странице, идентифицирует в них даты, заголовки, текст, изображения, ссылки и так далее и извлекает их умным образом так чтобы туда не попадали мусорные блоки и были сгруппированы кластеры новостей. Делалось оно для сбора новостей с сайтов не экспортирующих RSS, превратилось в нечто большее умеющее сохранять спеки, кэшировать, запускать локальный сервер и MCP сервис. Новая версия 1.5.0 также подверглась сильной оптимизации и сейчас дает ускорение, на некоторых страницах, в 20-40 раз (0.39 секунды вместо 15.9 секунд при начальном анализе) и 0.22 секунды вместо 4.7 секунд при работе по спецификации. Мне все больше нравится то что получается на выходе, даже при том что я не могу найти этому коммерческое применение, лично полезного тут много. А qddate я еще использую активно в инструментах вроде metacrafter по смысловой разметке и документированию наборов данных. #opendata #opensource #petprojects

Открыть в Telegram
Просмотры973+14%к среднему
Пересылки19
Реакции16
Комментарии0
#7866Фотоальбом

America on Data Centers интерактивная визуализация которую можно назвать data story по результатам анализа 10 202 общественных комментариев в 417 местных сообществах США за 2026 год. Интересна, и визуализация, и результаты. В визуализации много интерактивных графиков, причем те что показывают комментари на карте по клику открывают видео с конкретными выступлениями где произносят слова которые далее расшифрованы в выводах. А в части выводов можно сказать многое, но главное в том что почти все дата центры ненавидят. Кроме, почему-то, работников профсоюзов. Основные акценты идут на проблемы из-за использования воды, далее нагрузки на электрические сети, шум, загрязнение воздуха и еще многое другое, включая недоверие компаниям и непрозрачность решений. Плюс редкое единодушие среди людей разных партий, вне зависимости от партийного уклона почти все сообщества формируют схожее отношение к дата центрам. #ai #usa #datacenters

Открыть в Telegram
Просмотры868+2%к среднему
Пересылки14
Реакции13
Комментарии7
#7865Текстизменён

Почему я снова пишу про цифровую архивацию, так это потому что военные действия не только между РФ и Украиной, но и вокруг Ирана и не только активно перешли на сетевую инфраструктуру. Как через уничтожение дата-центров, так и усиление кибератак и того что хакеры явно применяют ИИ агенты для автоматизации своей работы. Тут доступ к фронтирным моделям со снятыми ограничениями может играть большую роль. Из последнего: разрушение датацентров Яндекса, взлом и недоступность сайтов Росстата, взлом провайдера Beget и разрушение многих датацентров на территории Украины, а также прошлые атаки Ирана на датацентр AWS в регионе и слухи что в любой момент конфликт Израиль/США/Иран может продолжится и весь регион снова будет под угрозой атак, в том числе по датацентрам. Я даже не знаю что из этого обозначить как нечто наиболее критичное, оно все вместе и в частности про уничтожение цифровых материалов массовым образом. Что-то, при этом, можно восстанавливать, например, мы архивировали Росстат неоднократно, а украинские сайты куда меньше выпадали из Common Crawl и Интернет архива. Возможно что многие российские частные (негосударственные) сайты тоже, но это неточно, поскольку российские сайты куда чаще находятся за геоблокировками. К чему это я. Не забывайте делать резервные копии. Всего. #digitalpreservation #webarchives

Открыть в Telegram
Просмотры1 142+34%к среднему
Пересылки6
Реакции23
Комментарии0