Account
Ivan Begtin

Ivan Begtin

I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and etc. CTO&Founder of Dateno https://dateno.io Telegram @ibegtin Facebook - https://facebook.com/ibegtin Email [email protected] Ads/promotion agent: @k0shk

Username
@begtin
Category
Technologies
Country
RussiaRussia
Created
, 10 years
Subscribers9,109+2 in 6 days
Avg views per post, 7d727−20.5% vs prev 7d
ERR7.98%last 7 days

Subscribers, 30 days

Nov 10 – Nov 16+2 (0%)

Show as table
DateSubscribers
Nov 10, 20269,107
Nov 11, 20269,108
Nov 12, 20269,108
Nov 13, 20269,111
Nov 14, 20269,108
Nov 16, 20269,109

Average views per post by day

By publication day

Show as table
DateAvg views per post
Nov 2, 20261,070
Nov 4, 2026992
Nov 5, 2026972
Nov 7, 2026744
Nov 9, 2026783
Nov 10, 2026688
Nov 11, 2026862
Nov 12, 2026684
Nov 13, 2026640
Nov 15, 2026527

Most viewed this month

  1. 01

    Почему я снова пишу про цифровую архивацию, так это потому что военные действия не только между РФ и Украиной, но и вокруг Ирана и не только активно перешли на сетевую инфраструктуру. Как через уничтожение дата-центров, так и усиление кибератак и того что хакеры явно применяют ИИ агенты для автоматизации своей работы. Тут доступ к фронтирным моделям со снятыми ограничениями может играть большую роль. Из последнего: разрушение датацентров Яндекса, взлом и недоступность сайтов Росстата, взлом провайдера Beget и разрушение многих датацентров на территории Украины, а также прошлые атаки Ирана на датацентр AWS в регионе и слухи что в любой момент конфликт Израиль/США/Иран может продолжится и весь регион снова будет под угрозой атак, в том числе по датацентрам. Я даже не знаю что из этого обозначить как нечто наиболее критичное, оно все вместе и в частности про уничтожение цифровых материалов массовым образом. Что-то, при этом, можно восстанавливать, например, мы архивировали Росстат неоднократно, а украинские сайты куда меньше выпадали из Common Crawl и Интернет архива. Возможно что многие российские частные (негосударственные) сайты тоже, но это неточно, поскольку российские сайты куда чаще находятся за геоблокировками. К чему это я. Не забывайте делать резервные копии. Всего. #digitalpreservation #webarchives

    Textedited
    Views1.14K
    Forwards6
    Reactions23
    Comments0
  2. 02

    No text

    Photoalbum
    Views1.08K
    Forwards14
    Reactions—
    Comments—
  3. 03
    Views1.06K
    Forwards10
    Reactions27
    Comments3
  4. 04

    No text

    Photoalbum
    Views1.02K
    Forwards14
    Reactions—
    Comments—
  5. 05

    No text

    Photoalbum
    Views1.02K
    Forwards14
    Reactions—
    Comments—

Latest posts

#7894Textedited

В продолжение про книги которые я ранее публиковал, про каталоги данных и про инвентаризацию данных, есть темы на которые я хочу завершить свои черновики и превратить в книгу/книги. Одна из них - это "Понимание данных" о том как человечество работает с данными, особенности структуризации данных, почему таблицы выглядят как таблицы, что такое семантическое аннотирование, разметка и семантические типы данных. Часть про семантические типы и разметку - самая практическая, остальное скорее про некоторые разные формы систематизации мышления и про то что 99% способов и результатов представления данных упаковываются в ограниченное число шаблонов: смысловых и технических. А вторая Скрытые данные про извлечение метаданных и иных скрытых сведений из не самых очевидных файлов, документов, мест на компьютере и тд. Таких скрытых данных немало, скрытые вкладки в Excel, замазанный, но реально доступный текст в PDF, множественные вложенные объекты выдающие реальный процесс создания документа и так далее. Вот эту тему я давно откладываю и откладываю поскольку она куда ближе к темам форенсики и OSINT, хотя и пересекается отчасти с работами по архивации цифровых объектов. Причем и то и другое теперь делается по другому если есть доступ к ИИ агентам и возможность загрузить туда данные/файл. С одной стороны, а с другой стороны, например, и сокрытие данных/метаданных стало принципиально проще. #thoughts

Open in Telegram
Views527−38%vs avg
Forwards2
Reactions19
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
5 h352
19 h527
  1. After 6 hours352
  2. After 24 hours527
  3. Total to date527
#7893Link preview

Полезное чтение про данные, технологии и не только: - Commission turns to artificial intelligence to write better laws Еврокомиссия планирует начать применять ИИ для подготовки лучших и более понятных законов. Похвальная инициатива, главное не забыть следующий шаг когда ИИ будет заменять законотворцев, а не помогать им. - AI Shakes Volunteer Sites о том как ИИ меняет онлайн сообщества, разрушает StackOverflow, помогает "процветанию" Github'а и Reddit'а. - Satellite Imagery Is Being Restricted. The U.S. Government Is to Blame ссылка на пересказ статьи в NYT о том как Пр-во США влияет на коммерческие компании предоставляющие доступ к спутниковым снимкам скрывать сведения о чувствительных местах. Сама статья за пэйволом, но общая мысль очевидна. Государство крупнейший покупатель у этих компаний, а деньги оказываются отличным рычагом влияния. - A shared agenda for the economics of data научный обзор ключевых вопросов экономики данных в контексте использования ИИ. #readings #data #aiagents

Open in Telegram
Views585−31%vs avg
Forwards2
Reactions12
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
10 h370
38 h496
51 h585
  1. Total to date585
#7892Link preview

К вопросу о изменении моделей использования сервисов с помощью агентов. Когда я недавно доделывал атлас по геоданным Армении, то одной из задач в нем было в том чтобы собрать доступные геоданные по стране. Собственно по Армении их никогда не было особо много общедоступных да и атлас я очищал от ошибок с помощью Claude, собственно из-за этих ошибок и его анонс затянулся больше чем на полгода, в TerriaMaps надо было исправить несколько неприятных багов с кодировками, отображением некоторых данных и так далее. Долго ли коротко ли, но я подключил агента к API Dateno и поставил ему задачей найти картографические слои относящиеся к Армении. К слову, разобрался он с API моментально и столь же моментально выжрал квоту в 200 запросов в день на тарифе Free. Собственно это, конечно, стремительно меня мотивировало стать коммерческим подписчиком создаваемого нами сервиса😂 Потому что так-то для работы с данными я всегда мог подключиться к поисковому индексу через SQL напрямую, но агента напрямую пускать туда точно желания не было, а у Dateno хорошо работающие API и MCP. По Армении я тогда все что было быстро найти нашел и на maps.opendata.am можно посмотреть какие геослои доступны. Но захотеть сделать такой красивый атлас по другой стране или региону, то квота нужна побольше, даже бесплатная. Собственно это особенность того что ИИ агенты жрут API квоты как не в себя. И выбирая между сервисами, более лояльные квоты экономнее. Я ранее рассказывал как искалновые каталоги данных с помощью сервиса Censys (глобальная база сканирования IP адресов и веб-серверов) и выходило это очень накладно. После того как я переключился на китайский FOFA который имеет убогий веб интерфейс, но отлично работающее API с хорошей квотой, вот тогда процесс и пошел отлично. #thoughts #data #dateno

Open in Telegram
Views695−18%vs avg
Forwards4
Reactions6
Comments4
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
6 h366
18 h535
30 h575
59 h652
74 h695
  1. After 6 hours366
  2. After 24 hours535
  3. Total to date695
#7891Link preview
Views637−25%vs avg
Forwards6
Reactions6
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
10 h376
34 h637
  1. Total to date637
#7890Photo
Views635−25%vs avg
Forwards9
Reactions10
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
1 h269
13 h514
25 h635
  1. After 1 hour269
  2. After 24 hours635
  3. Total to date635
#7889Text
Views779−8%vs avg
Forwards0
Reactions19
Comments8
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
8 h549
32 h723
72 h779
  1. After 24 hours723
  2. Total to date779
#7888Textedited

Очередная порция размышлений вслух: - Новые фронтирные модели всё более приближаются к тому чтобы заменять уже не джуниоров, а миддлов и даже синьёров. Уже сейчас они проектируют архитектуру ПО очень даже хорошо, а делают ревизию документов лучше многих экспертов. Я проверял на документах на которые я несколько лет назад писал отзывы и они находили в них даже больше ошибок и неточностей чем я тогда. - Я не просто так жалуюсь на рост потоков технологического спама. Сегодня зарепотил два abuse report'а на пользователей на Github'е которые заваливали задачами и пул реквестами, даже если по делу, но сгенерированными ИИ ботами. В первом случае кто-то делал по тысяче пул реквестов в сутки, а во втором рекламировал свой сервис ревизии кода. - Для фаундеров и руководителей ИТ компаний такой ажиотаж вокруг ИИ не на пустом месте. ИИ инструменты как создают новые ниши, так и разрушают существующие бизнес модели. Уже почти невозможно сидеть на попе ровно и получать деньги с клиентов за продление лицензий или ждать новых клиентов. При разработке любого нового продукта надо учитывать что кто-угодно может сделать его клон в кратчайшие сроки. #thoughts

Open in Telegram
Views815−4%vs avg
Forwards6
Reactions19
Comments9
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
12 h429
36 h746
72 h815
  1. Total to date815
#7887Photoalbum
Views944+11%vs avg
Forwards19
Reactions—
Comments—
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
2 h249
14 h586
26 h830
74 h944
  1. After 1 hour249
  2. After 24 hours830
  3. Total to date944
#7886Photoalbum
Views924+9%vs avg
Forwards19
Reactions6
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
2 h261
14 h586
26 h815
74 h924
  1. After 1 hour261
  2. After 24 hours815
  3. Total to date924
#7885Link preview

Полезные ссылки про данные, технологии и не только: - The Data Product Platform Navigator на сайте Мартина Фаулера обзор того как создавать дата продукты и дата мэш. С одной стороны концептуально описано многое неплохо, а с другой слишком часто в описании концептуальных вещей автор сваливается в технологическую конкретику которая у многих может сильно отличаться. - auto-ontology фреймворк для Python от NVIDIA который превращает базы данных в онтологии. Выглядит как самый серьезный шаг в сторону генерации запросов к данным с помощью ИИ и замена/дополнение всего что касается text-to-sql - Augmented Visual Analytics opensource продукт текст-в-аналитику, на основе данных дает ответы и строит графики. Умеет подключаться к базам данных и дата файлам. - I discovered a sound that leaks your exact location смотрится как документальный детектив, автор объясняет как из звуковой дорожки идентифицировать точное местонахождение места ее записи, разбирая конкретный пример очень подробно. Параноикам на заметку, не выкладывайте звуковые и видео файлы без нужды #dataengineering #ai #datatools #dataviz #osint

Open in Telegram
Views764−10%vs avg
Forwards14
Reactions8
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
8 h436
32 h688
68 h764
  1. After 6 hours436
  2. After 24 hours688
  3. Total to date764

All posts

Connections