Account

Posts of Ivan Begtin

newest first

#7894Textedited

В продолжение про книги которые я ранее публиковал, про каталоги данных и про инвентаризацию данных, есть темы на которые я хочу завершить свои черновики и превратить в книгу/книги. Одна из них - это "Понимание данных" о том как человечество работает с данными, особенности структуризации данных, почему таблицы выглядят как таблицы, что такое семантическое аннотирование, разметка и семантические типы данных. Часть про семантические типы и разметку - самая практическая, остальное скорее про некоторые разные формы систематизации мышления и про то что 99% способов и результатов представления данных упаковываются в ограниченное число шаблонов: смысловых и технических. А вторая Скрытые данные про извлечение метаданных и иных скрытых сведений из не самых очевидных файлов, документов, мест на компьютере и тд. Таких скрытых данных немало, скрытые вкладки в Excel, замазанный, но реально доступный текст в PDF, множественные вложенные объекты выдающие реальный процесс создания документа и так далее. Вот эту тему я давно откладываю и откладываю поскольку она куда ближе к темам форенсики и OSINT, хотя и пересекается отчасти с работами по архивации цифровых объектов. Причем и то и другое теперь делается по другому если есть доступ к ИИ агентам и возможность загрузить туда данные/файл. С одной стороны, а с другой стороны, например, и сокрытие данных/метаданных стало принципиально проще. #thoughts

Open in Telegram
Views527−38%vs avg
Forwards2
Reactions19
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
5 h352
19 h527
  1. After 6 hours352
  2. After 24 hours527
  3. Total to date527
#7893Link preview

Полезное чтение про данные, технологии и не только: - Commission turns to artificial intelligence to write better laws Еврокомиссия планирует начать применять ИИ для подготовки лучших и более понятных законов. Похвальная инициатива, главное не забыть следующий шаг когда ИИ будет заменять законотворцев, а не помогать им. - AI Shakes Volunteer Sites о том как ИИ меняет онлайн сообщества, разрушает StackOverflow, помогает "процветанию" Github'а и Reddit'а. - Satellite Imagery Is Being Restricted. The U.S. Government Is to Blame ссылка на пересказ статьи в NYT о том как Пр-во США влияет на коммерческие компании предоставляющие доступ к спутниковым снимкам скрывать сведения о чувствительных местах. Сама статья за пэйволом, но общая мысль очевидна. Государство крупнейший покупатель у этих компаний, а деньги оказываются отличным рычагом влияния. - A shared agenda for the economics of data научный обзор ключевых вопросов экономики данных в контексте использования ИИ. #readings #data #aiagents

Open in Telegram
Views585−31%vs avg
Forwards2
Reactions12
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
10 h370
38 h496
51 h585
  1. Total to date585
#7892Link preview

К вопросу о изменении моделей использования сервисов с помощью агентов. Когда я недавно доделывал атлас по геоданным Армении, то одной из задач в нем было в том чтобы собрать доступные геоданные по стране. Собственно по Армении их никогда не было особо много общедоступных да и атлас я очищал от ошибок с помощью Claude, собственно из-за этих ошибок и его анонс затянулся больше чем на полгода, в TerriaMaps надо было исправить несколько неприятных багов с кодировками, отображением некоторых данных и так далее. Долго ли коротко ли, но я подключил агента к API Dateno и поставил ему задачей найти картографические слои относящиеся к Армении. К слову, разобрался он с API моментально и столь же моментально выжрал квоту в 200 запросов в день на тарифе Free. Собственно это, конечно, стремительно меня мотивировало стать коммерческим подписчиком создаваемого нами сервиса😂 Потому что так-то для работы с данными я всегда мог подключиться к поисковому индексу через SQL напрямую, но агента напрямую пускать туда точно желания не было, а у Dateno хорошо работающие API и MCP. По Армении я тогда все что было быстро найти нашел и на maps.opendata.am можно посмотреть какие геослои доступны. Но захотеть сделать такой красивый атлас по другой стране или региону, то квота нужна побольше, даже бесплатная. Собственно это особенность того что ИИ агенты жрут API квоты как не в себя. И выбирая между сервисами, более лояльные квоты экономнее. Я ранее рассказывал как искалновые каталоги данных с помощью сервиса Censys (глобальная база сканирования IP адресов и веб-серверов) и выходило это очень накладно. После того как я переключился на китайский FOFA который имеет убогий веб интерфейс, но отлично работающее API с хорошей квотой, вот тогда процесс и пошел отлично. #thoughts #data #dateno

Open in Telegram
Views695−18%vs avg
Forwards4
Reactions6
Comments4
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
6 h366
18 h535
30 h575
59 h652
74 h695
  1. After 6 hours366
  2. After 24 hours535
  3. Total to date695
#7891Link preview
Views637−25%vs avg
Forwards6
Reactions6
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
10 h376
34 h637
  1. Total to date637
#7890Photo
Views635−25%vs avg
Forwards9
Reactions10
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
1 h269
13 h514
25 h635
  1. After 1 hour269
  2. After 24 hours635
  3. Total to date635
#7889Text
Views779−8%vs avg
Forwards0
Reactions19
Comments8
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
8 h549
32 h723
72 h779
  1. After 24 hours723
  2. Total to date779
#7888Textedited

Очередная порция размышлений вслух: - Новые фронтирные модели всё более приближаются к тому чтобы заменять уже не джуниоров, а миддлов и даже синьёров. Уже сейчас они проектируют архитектуру ПО очень даже хорошо, а делают ревизию документов лучше многих экспертов. Я проверял на документах на которые я несколько лет назад писал отзывы и они находили в них даже больше ошибок и неточностей чем я тогда. - Я не просто так жалуюсь на рост потоков технологического спама. Сегодня зарепотил два abuse report'а на пользователей на Github'е которые заваливали задачами и пул реквестами, даже если по делу, но сгенерированными ИИ ботами. В первом случае кто-то делал по тысяче пул реквестов в сутки, а во втором рекламировал свой сервис ревизии кода. - Для фаундеров и руководителей ИТ компаний такой ажиотаж вокруг ИИ не на пустом месте. ИИ инструменты как создают новые ниши, так и разрушают существующие бизнес модели. Уже почти невозможно сидеть на попе ровно и получать деньги с клиентов за продление лицензий или ждать новых клиентов. При разработке любого нового продукта надо учитывать что кто-угодно может сделать его клон в кратчайшие сроки. #thoughts

Open in Telegram
Views815−4%vs avg
Forwards6
Reactions19
Comments9
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
12 h429
36 h746
72 h815
  1. Total to date815
#7887Photoalbum
Views944+11%vs avg
Forwards19
Reactions—
Comments—
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
2 h249
14 h586
26 h830
74 h944
  1. After 1 hour249
  2. After 24 hours830
  3. Total to date944
#7886Photoalbum
Views924+9%vs avg
Forwards19
Reactions6
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
2 h261
14 h586
26 h815
74 h924
  1. After 1 hour261
  2. After 24 hours815
  3. Total to date924
#7885Link preview

Полезные ссылки про данные, технологии и не только: - The Data Product Platform Navigator на сайте Мартина Фаулера обзор того как создавать дата продукты и дата мэш. С одной стороны концептуально описано многое неплохо, а с другой слишком часто в описании концептуальных вещей автор сваливается в технологическую конкретику которая у многих может сильно отличаться. - auto-ontology фреймворк для Python от NVIDIA который превращает базы данных в онтологии. Выглядит как самый серьезный шаг в сторону генерации запросов к данным с помощью ИИ и замена/дополнение всего что касается text-to-sql - Augmented Visual Analytics opensource продукт текст-в-аналитику, на основе данных дает ответы и строит графики. Умеет подключаться к базам данных и дата файлам. - I discovered a sound that leaks your exact location смотрится как документальный детектив, автор объясняет как из звуковой дорожки идентифицировать точное местонахождение места ее записи, разбирая конкретный пример очень подробно. Параноикам на заметку, не выкладывайте звуковые и видео файлы без нужды #dataengineering #ai #datatools #dataviz #osint

Open in Telegram
Views764−10%vs avg
Forwards14
Reactions8
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
8 h436
32 h688
68 h764
  1. After 6 hours436
  2. After 24 hours688
  3. Total to date764
#7884Photo

Forwarded from Open Data Armenia

В продолжение ранее опубликованных данных официальной статистики, на портале открытых данных мы опубликовали полную базу статистики Статбанка Армстата в виде цельного набора данных. Это не первичные данные, ранее извлеченные и опубликованные "как есть", а собранная из них база данных. Что о ней важно знать: 1. База данных создана как сводная из 824 таблиц индикаторов к которым теперь можно делать запросы с помощью языка работы с данными SQL. 2. Данные опубликованы в формате Parquet и в виде базы DuckDB. Parquet это популярные компактный формат для распространения данных используемый в data science. А DuckDB - это одна из наиболее популярных настольных баз данных отличающаяся очень высокой производительностью и удобством для аналитических задач. 3. В Статбанке Армстата всего два языка - армянский и английский. Причем в переводе на английский было немного ошибок. В созданной базе данных эти ошибки были исправлены, а также добавлен машинный перевод на русский язык для тех кто хотел бы работать с этими данными используя русскоязычные названия. 4. Вся документация на базу данных представлена также на этих трех языках и включает общее описание и подробности по структуре и схемам данных. 5. Код создания базы данных доступен под свободной лицензией MIT. Если Вы найдете ошибки то можно отправить их прямо в Github или в чате к каналу Open Data Armenia Самый простой способ использовать эти данные - это скачать базу DuckDB и выполнить команду duckdb armstat.duckdb для работы с командной строки или duckdb -ui armstat.duckdb для запуска веб интерфейса. Обратная связь от Вас очень важна для нашей команды. Обязательно напишите если найдете ошибки или если будут предложения чего нехватает. #opendata #opensource #armenia #datasets

Open in Telegram
Views688−19%vs avg
Forwards0
Reactions10
Comments1
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
11 h350
35 h587
71 h688
  1. Total to date688
#7883Photoalbum
Views844−1%vs avg
Forwards23
Reactions—
Comments—
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
17 h509
29 h604
77 h844
  1. After 24 hours604
  2. Total to date844
#7882Photoalbum

А вот и вторая книга над которой я работал в этом году Инвентаризация данных. Собрана из десятков моих текстов, лекций и презентаций и посвящена тому как инвентаризировать данные находящиеся в собственном управлении или под свои задачи - тут еще и пересекается с data discovery (поиском и обнаружением данных). Книга пересекается с книгой Каталоги данных поскольку многое в том как устроены каталоги данных проистекает как раз из задач инвентаризации. Эта книга только на русском языке и тоже непонятно насколько она может быть полезна внутри РФ поскольку с доступностью данных в стране сейчас скорее идет в сторону ухудшения чем улучшения, но на русском языке говорят и пишут во многих странах так что я решил что в завершенном состоянии она будет более полезна чем если так и останется в виде закрытого черновика. Как всегда обратная связь приветствуется и более чем ценна. Если найдете ошибки, неточности или чего-то будет нехватать - напишите обязательно. #opendata #datacatalogs #books #readings #dataengineering

Open in Telegram
Views866+2%vs avg
Forwards23
Reactions47
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
17 h529
29 h625
77 h866
  1. After 24 hours625
  2. Total to date866
#7881Photoalbum
Views740−13%vs avg
Forwards9
Reactions—
Comments—
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
20 h579
32 h617
68 h740
  1. After 24 hours579
  2. Total to date740
#7880Photoalbum
Views741−13%vs avg
Forwards9
Reactions—
Comments—
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
20 h579
32 h617
68 h741
  1. After 24 hours579
  2. Total to date741
#7879Photoalbum

Семантические типы данных - это смысловое и терминологическое описание содержимого колонки таблицы или привязанной к ключу записи в дата файле. Например, называется колонка country и можно предполагать что там название страны на одном из языков. Перечислены в колонке значения 2026-01-01, 2026-01-02 и тд., можно определить что это даты и так далее. Я много лет возился семантическими типами данных и даже писал об этом Semantic data types. Systematic approach and types registry. Потом это стало чуть менее приоритетным в работе, но осталось в моих интересах. И вот на выходных я заодно обновил реестр семантических типов данных registry.apicrafter.io который существенно расширился до 1836 семантических типов большая часть которых про географические идентификаторы и про персональные данные. А заодно обновил инструмент metacrafter и правила к нему metacrafter-rules который умеет идентифицировать хоть и не все, но очень многие из этих семантических типов и делает это очень быстро. В этой итерации у инструмента уже есть измерения precision и recall на тестовой выборке в 243 файла и показатели куда сильнее приблизились к промышленному применению. Можно обратить внимание что существенная часть семантических типов 151 и 1836 и существеная часть правил заточены под российские данные. В первую очередь по той причине что у меня на руках были архивные слепки российских порталов открытых данных и обнаружение многих семантических типов данных проводилось на их основе. Ну и конечно не могу не отметить что сам инструмент metacrafter стал значительно точнее, а реестр семантических типов полностью обновлен для поддержки ИИ агентов и семантические типы можно идентифицифровать своими силами используя любимые LLM инструменты в привязке к значениям в реестре. #opensource #opendata #datatools #semanticdatatypes #understandingdata

Open in Telegram
Views722−15%vs avg
Forwards9
Reactions9
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
20 h568
32 h602
68 h722
  1. After 24 hours568
  2. Total to date722
#7878Photoalbum
Views747−12%vs avg
Forwards24
Reactions—
Comments—
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
64 h732
76 h747
  1. Total to date747
#7877Photoalbum

Когда-то очень давно я сделал такой простой сервис под названием Plain Russian по аналогии с Plain English. В сервисе я тогда адаптировал к русскому языку некоторое число формул оценки простоты текста о чем написал заметку на Хабре. За много лет сервис не менялся, не доходили руки, если честно. Хотя изначально задумка была в том чтобы кроме русского охватить и другие языки. С появлением ИИ сервисов и LLM вопрос стал еще более актуальным поскольку большинство тех кого я знаю используют сейчас Claude, ChatGPT и др. для оценки правки текста. Но, у меня есть подозрение, что польза от приватного инструмента есть. Того в котором на сервер ничего не передается, кроме как в специальных случаях когда пользователь этого хочет. Так что, парам пам пам, новая, бета версия PlainRussian в виде настольного приложения для Mac, Windows и Linux позволяющее делать оценку понятности и ясности языка и с опцией подключения LLM, как локальной таки облачной, тут Вы сами можете решить хотите ли что-то передавать куда-то или нет. Базовые оценки вообще без LLM формируются. Приложение сделано на WebAssembly и его можно запустить не скачивая прямо в браузере. При этом оно полностью в браузере работает так что его режим работы приватный по умолчанию, как говорят serverless и privacy-first. У проекта открытый код, на Rust и Typescript. А из экзотики у настольной версии есть опция интеграции со сберовским Gigachat'ом, но неооттестрованная потому что работа с ним требует установки корневых сертификатов Минцифры РФ и надо создавать там аккаунт. Так что поддержка как бы есть, но она непроверена. В размышлениях как его улучшить. - добавить заодно другие популярные языки - добавить наоборот не самые популярные: армянский, узбекский, казахский и тд. - добавить опции автопереписывания текста с плюшками которых нет у LLM по умолчанию - интегрировать с ИИ от Яндекса и других российских провайдеров? В любом случае сейчас это все существует в форме маленького открытого некоммерческого проекта. У всего этого версия 0.1.0, сейчас период бета тестирования и если найдутся ошибки, будут идеи и пожелания и тд. то можно писать в чате к этому каналу, мне напрямую или в issues проекта. #opensource #plainlanguage

Open in Telegram
Views741−13%vs avg
Forwards24
Reactions15
Comments2
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
64 h725
76 h741
  1. Total to date741
#7876Text
Views1,064+25%vs avg
Forwards10
Reactions27
Comments3
#7875Photoalbum

Forwarded from Open Data Armenia

No text

Open in Telegram
Views958+13%vs avg
Forwards13
Reactions—
Comments—
#7874Photoalbum

Forwarded from Open Data Armenia

No text

Open in Telegram
Views974+15%vs avg
Forwards13
Reactions—
Comments—
#7873Photoalbum

Forwarded from Open Data Armenia

No text

Open in Telegram
Views971+14%vs avg
Forwards13
Reactions—
Comments—
#7872Photoalbum

Forwarded from Open Data Armenia

Для тех кто работает с геоданными и интересуется географией Армении мы открываем сервис Open Data Armenia Atlas https://maps.opendata.am/ Это геопортал на базе открытого кода TerriaJS и позволяющий не только подключать разные картографические слои, но и объединять их, настраивать уровень прозрачности и даже подключать собственные данные для визуализации. Сейчас мы подключили геоданные на нашем портале открытых данных data.opendata.am и несколько открытых геопорталов (GBIF, Sustainable Caucasus, GIS Yerevan, Human Development Exchange и другие). Некоторые из них могут быть иногда выключены, тогда эти данные могут быть недоступны, но большая часть доступны и мы будем дублировать данные на data.opendata.am при необходимости. Также важно упомянуть: 1. Интерфейс сайта на английском, армянском и русском языках. Если Вы найдете ошибки в переводе напишите нам. 2. Свои данные можно загружать на сайт, но они не грузятся на сервер и обрабатываются в браузере. 3. Геопортал ориентирован на настольные компьютеры и ноутбуки и может отображаться медленнее и хуже на телефонах. Пишите нам при любых найденных ошибках и если Вы знаете какие-то интересные геоданные которые пока отсутствуют на data.opendata.am и на геопортале. Мы обязательно их добавим. Писать можно нам на [email protected] и в Github в issues к открытому коду этого проекта https://github.com/opendataam/armterriamap/issues #opendata #geodata #geoportals #armenia

Open in Telegram
Views893+5%vs avg
Forwards14
Reactions23
Comments0
#7871Link preview

Мой маленький-большой пэт проект - это открытые связанные инструменты qddate и newsworker. qddate - это Python библиотека для ускоренного парсинга и идентификации шаблона дат, заточенная под парсинг миллионов строк в очень быстром режиме. Для Python'а есть библиотеки вроде dateparser и dateutil охватывающие большее число языков, но qddate существенно быстрее и в новом релизе 1.1.0 она была еще сильнее оптимизирована и дает ускорение примерно в 1.5 раза по сравнению с предыдущей версией. На некоторых видах текстов/дат ускорение еще больше. newsworker - это инструмент командной строки и библиотека для Python для извлечения новостей из HTML страниц и превращения их в данные с экспортом в RSS, ATOM, Markdown, JSON и так далее. Чтобы было понятнее - это не парсер RSS лент, эта штука находит новостные блоки на веб странице, идентифицирует в них даты, заголовки, текст, изображения, ссылки и так далее и извлекает их умным образом так чтобы туда не попадали мусорные блоки и были сгруппированы кластеры новостей. Делалось оно для сбора новостей с сайтов не экспортирующих RSS, превратилось в нечто большее умеющее сохранять спеки, кэшировать, запускать локальный сервер и MCP сервис. Новая версия 1.5.0 также подверглась сильной оптимизации и сейчас дает ускорение, на некоторых страницах, в 20-40 раз (0.39 секунды вместо 15.9 секунд при начальном анализе) и 0.22 секунды вместо 4.7 секунд при работе по спецификации. Мне все больше нравится то что получается на выходе, даже при том что я не могу найти этому коммерческое применение, лично полезного тут много. А qddate я еще использую активно в инструментах вроде metacrafter по смысловой разметке и документированию наборов данных. #opendata #opensource #petprojects

Open in Telegram
Views973+14%vs avg
Forwards19
Reactions16
Comments0
#7866Photoalbum

America on Data Centers интерактивная визуализация которую можно назвать data story по результатам анализа 10 202 общественных комментариев в 417 местных сообществах США за 2026 год. Интересна, и визуализация, и результаты. В визуализации много интерактивных графиков, причем те что показывают комментари на карте по клику открывают видео с конкретными выступлениями где произносят слова которые далее расшифрованы в выводах. А в части выводов можно сказать многое, но главное в том что почти все дата центры ненавидят. Кроме, почему-то, работников профсоюзов. Основные акценты идут на проблемы из-за использования воды, далее нагрузки на электрические сети, шум, загрязнение воздуха и еще многое другое, включая недоверие компаниям и непрозрачность решений. Плюс редкое единодушие среди людей разных партий, вне зависимости от партийного уклона почти все сообщества формируют схожее отношение к дата центрам. #ai #usa #datacenters

Open in Telegram
Views868+2%vs avg
Forwards14
Reactions13
Comments7
#7865Textedited

Почему я снова пишу про цифровую архивацию, так это потому что военные действия не только между РФ и Украиной, но и вокруг Ирана и не только активно перешли на сетевую инфраструктуру. Как через уничтожение дата-центров, так и усиление кибератак и того что хакеры явно применяют ИИ агенты для автоматизации своей работы. Тут доступ к фронтирным моделям со снятыми ограничениями может играть большую роль. Из последнего: разрушение датацентров Яндекса, взлом и недоступность сайтов Росстата, взлом провайдера Beget и разрушение многих датацентров на территории Украины, а также прошлые атаки Ирана на датацентр AWS в регионе и слухи что в любой момент конфликт Израиль/США/Иран может продолжится и весь регион снова будет под угрозой атак, в том числе по датацентрам. Я даже не знаю что из этого обозначить как нечто наиболее критичное, оно все вместе и в частности про уничтожение цифровых материалов массовым образом. Что-то, при этом, можно восстанавливать, например, мы архивировали Росстат неоднократно, а украинские сайты куда меньше выпадали из Common Crawl и Интернет архива. Возможно что многие российские частные (негосударственные) сайты тоже, но это неточно, поскольку российские сайты куда чаще находятся за геоблокировками. К чему это я. Не забывайте делать резервные копии. Всего. #digitalpreservation #webarchives

Open in Telegram
Views1,142+34%vs avg
Forwards6
Reactions23
Comments0