Account
Backend VK Hub

Backend VK Hub

Комьюнити VK для бэкендеров. Cамые хардовые кейсы, дискуссии в кругу своих и прямой доступ к нашим экспертам 😎

Username
@backendhubvk
Category
Technologies
Country
RussiaRussia
Created
, 1 year
Subscribers1,108−7 last week
Avg views per post, 7d203+1% vs prev 7d
ERR18.28%last 7 days

Subscribers, 30 days

Nov 5 – Nov 15−9 (−0.8%)

Show as table
DateSubscribers
Nov 5, 20261,117
Nov 6, 20261,116
Nov 7, 20261,115
Nov 8, 20261,115
Nov 9, 20261,115
Nov 10, 20261,114
Nov 11, 20261,111
Nov 12, 20261,110
Nov 13, 20261,108
Nov 14, 20261,108
Nov 15, 20261,108

Average views per post by day

By publication day

Show as table
DateAvg views per post
Oct 20, 2026391
Oct 22, 2026424
Oct 27, 2026360
Oct 29, 2026336
Nov 3, 2026220
Nov 5, 2026181
Nov 10, 2026234
Nov 12, 2026171

Most viewed this month

  1. 01

    No text

    Photoalbum
    Views439
    Forwards0
    Reactions—
    Comments—
  2. 02

    No text

    Photoalbum
    Views430
    Forwards0
    Reactions—
    Comments—
  3. 03

    REPACK CONCURRENTLY в PostgreSQL 19: VACUUM FULL без остановки таблицы После массового удаления таблица может занимать на диске в разы больше живых данных. Обычный VACUUM помечает место как свободное, но сам файл почти не уменьшает. VACUUM FULL переписывает таблицу и отдаёт место системе, только всё это время держит ACCESS EXCLUSIVE, и нельзя ни читать таблицу, ни записывать в неё. Поэтому большие таблицы годами чистили сторонним расширением pg_repack. В PostgreSQL 19 появилась команда REPACK. Она объединяет VACUUM FULL и CLUSTER (старые команды оставили для совместимости), а с опцией CONCURRENTLY перестраивает таблицу, не блокируя чтение и запись. RC1 вышел 15 октября, релиз запланирован на 29 октября. -- то же, что VACUUM FULL REPACK orders; -- то же, что CLUSTER: переложить строки в порядке индекса REPACK orders USING INDEX orders_created_at_idx; -- без блокировки чтения и записи REPACK (CONCURRENTLY) orders; Работает это так: таблица копируется в новый файл без мёртвых строк, индексы строятся заново, а изменения, пришедшие за это время, ловятся через логическое декодирование и докатываются отдельной фазой. ACCESS EXCLUSIVE берётся только на подмену файлов, и обычно это ненадолго. Затянуться процесс может, если в таблицу успели много записать, пока команда ждала блокировку: эти изменения применяются уже под ней. Ограничений у CONCURRENTLY хватает. Опция не работает для партиционированных и UNLOGGED таблиц, материализованных представлений и внутри транзакции. Таблице нужен первичный ключ или replica identity по индексу. Каждый запуск занимает слот репликации, а их число ограничивает max_repack_replication_slots: по умолчанию 5, меняется только с рестартом. Свободного места на диске нужно не меньше суммы размеров таблицы и её индексов. К тому же REPACK CONCURRENTLY не MVCC-безопасен, как и TRUNCATE. Транзакция, которая взяла снимок до завершения команды и ещё не трогала таблицу, увидит её пустой. Поэтому с отчётами, которые долго читают несколько таблиц в одном снимке, такой запуск лучше не пересекать. Следить за ходом удобно через новое представление: SELECT relid::regclass, phase, heap_blks_scanned, heap_blks_total, heap_tuples_updated, heap_tuples_deleted FROM pg_stat_progress_repack; Счётчики updated и deleted растут только в фазе catch-up, когда докатываются чужие изменения, и по ним видно, сколько записей накопилось за время копирования. Если bloat сейчас чистят через pg_repack, после перехода на версию 19 можно обойтись встроенной командой. Заранее стоит проверить, что у больших таблиц есть первичный ключ, и заложить место на диске. VACUUM FULL в старых скриптах продолжит работать, а новые задачи обслуживания логичнее писать уже на REPACK. @backendvkhub @postgresql

    Photo
    Views424
    Forwards3
    Reactions10
    Comments0
  4. 04

    No text

    Photoalbum
    Views380
    Forwards0
    Reactions—
    Comments—
  5. 05

    No text

    Photoalbum
    Views377
    Forwards0
    Reactions—
    Comments—

Latest posts

#418Photo

JDK 27: G1 по умолчанию в маленьких подах и рост RSS ➡️ В JDK 27, который вышел 15 сентября, G1 стал сборщиком по умолчанию во всех окружениях (JEP 523). До JDK 26 включительно JVM выбирала G1, только если видела хотя бы два процессора и 1 792 МиБ памяти, а иначе брала Serial. В контейнере JVM берёт число процессоров и объём памяти из cgroup. Поэтому поды с лимитом 1 CPU или с лимитом памяти меньше 1 792 МиБ годами работали на Serial, и мало кто это замечал. Каких подов коснётся переход? Однопроцессорными дело не ограничивается. В нашем тесте под с 2 CPU и 1 ГиБ на JDK 21 тоже получил Serial, на этот раз из-за памяти. Проверить, какой сборщик работает, можно у запущенного процесса через jcmd <pid> VM.flags или при старте с -Xlog:gc: java -Xlog:gc -version 2>&1 | grep Using # JDK 21, 1 CPU / 1 ГиБ: [...][info][gc] Using Serial # JDK 27, те же лимиты: [...][info][gc] Using G1 Главный эффект перехода — рост RSS. Мы запустили в cgroup на 1 CPU и 1 ГиБ синтетический однопоточный сервис с 80 МиБ живых данных. Xmx по умолчанию был 256 МиБ. На JDK 21 с Serial пиковый RSS был 181 МиБ, на JDK 27 с G1 — 297 МиБ, на 64% больше. JDK 27 с явным -XX:+UseSerialGC уложился в 170 МиБ. По общему времени прогона G1 и Serial на JDK 27 шли почти вровень. Откуда разница? G1 подбирает размер heap так, чтобы сборка занимала небольшую долю процессорного времени, поэтому в нашем тесте committed heap у него держался почти на уровне Xmx: 245 из 256 МиБ. Serial при тех же данных держал heap в пределах 120–160 МиБ. Смена сборщика объясняет меньшую часть разницы: JDK 21 с явным G1 в том же тесте показал около 205 МиБ RSS, а изменения в самом G1 между JDK 21 и 27 добавили ещё около 90 МиБ. Тикет JDK-8385348 о росте потребления памяти с JDK 25 до 27 закрыли как Won’t Fix. Флаг -XX:SoftMaxHeapSize не снизил RSS: G1 пока не учитывает его (JDK-8236073). Выигрыш G1 виден в другом сценарии, где объекты регулярно уходят в старое поколение. Там RSS у G1 был всего на 10% больше, чем у Serial, а максимальная задержка запроса у G1 — 55–65 мс, у Serial — около 100 мс. Полных сборок за прогон у G1 не было, у Serial их было 34. Подвести при переходе могут и флаги запуска. Некоторые команды включали G1 в маленьких подах через -XX:+AlwaysActAsServerClassMachine. JDK 27 выводит предупреждение и игнорирует этот флаг, а JVM из JDK 28 EA с ним вообще не запускается: Unrecognized VM option 'AlwaysActAsServerClassMachine'. С NeverActAsServerClassMachine то же самое. ➡️ Перед переходом на JDK 27 смотрим, какой сборщик работает в каждом маленьком поде. Если там Serial, а лимит памяти подбирали по фактическому RSS, выбираем сборщик по профилю нагрузки. В подах, где объекты регулярно уходят в старое поколение и важны задержки, переходим на G1 и поднимаем лимит до суммы Xmx и нативной памяти. В остальных задаём -XX:+UseSerialGC. Флаги *ActAsServerClassMachine убираем из манифестов сразу. #backendvkhub #jdk

Open in Telegram
Views171−48%vs avg
Forwards0
Reactions5
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
10 h129
35 h159
74 h171
  1. Total to date171
#417Photo

В Go 1.27 после resp.Body.Close() транспорт сам дочитывает тело HTTP/1-ответа и возвращает соединение в пул. Лимитов два: 256 KiB и 50 мс на дочитку. У ответа с Content-Length всё тело должно уложиться в 256 KiB, у chunked-ответа — только непрочитанный остаток. До 1.27 Transport закрывал соединение, если тело не было прочитано до конца, и следующий запрос открывал новое TCP-соединение, а для HTTPS ещё и проходил TLS-рукопожатие. Какого кода это касается? Того, который смотрит только на статус: проверок health-check, вебхуков, обработки ошибок. И самого частого случая, когда json.NewDecoder(resp.Body).Decode(&v) читает объект и останавливается, а в соединении остаётся хвост chunked-ответа. В нашем тесте сервер досылал завершающий chunk через 2 мс. На Go 1.25 каждый из 500 HTTPS-запросов открыл новое соединение, на Go 1.27 соединений было около 170, а среднее время запроса упало с 2,3-2,6 до 0,7-1 мс. resp, err := client.Do(req) if err != nil { return err } defer resp.Body.Close() // в 1.27 соединение вернётся в пул if resp.StatusCode != http.StatusOK { return fmt.Errorf("status %d", resp.StatusCode) } return json.NewDecoder(resp.Body).Decode(&v) Почему соединений всё же около 170? Дочитка асинхронная: Close() сразу возвращает управление, а фоновый цикл транспорта дочитывает остаток. В пул соединение попадает только после дочитки, и если следующий запрос стартует раньше, он открывает новое. Явная дочитка через io.Copy(io.Discard, io.LimitReader(resp.Body, 64<<10)) в том же тесте обошлась одним соединением, но каждый запрос ждал хвост и занимал 2,6 мс. Если лимит превышен или хвост не успел прийти за 50 мс, всё остаётся по-старому: соединение закрывается. Отключить механизм через GODEBUG нельзя, он работает в любой программе, собранной тулчейном Go 1.27, независимо от версии в go.mod. Выключить его можно только вместе с повторным использованием соединений: для всего транспорта через Transport.DisableKeepAlives, для отдельного запроса через req.Close = true. На HTTP/2 механизм не распространяется. В release notes предупреждают тех, кто задаёт Transport.MaxIdleConns равным 0 (без лимита) или создаёт отдельный Client на каждый запрос: простаивающих соединений станет больше, и производительность может упасть. Версию берём не ниже 1.27.2 от 8 октября. В ней исправили дедлок при одновременном вызове Read и Close у тела ответа (#81411) и гонку при доступе к Response.Trailer во время дочитки (#81522). Актуальная версия — 1.27.3 от 19 октября. Начинать можно с поиска ручной дочитки в клиентах. Дочитку без лимита убираем: на большом теле она читает его целиком, а на медленном потоке зависает. Вариант с io.LimitReader оставляем только там, где соединение должно вернуться в пул до следующего запроса. А у вас в HTTP-клиентах стоит ручная дочитка перед Close()? #backendvkhub #go

Open in Telegram
Views234−29%vs avg
Forwards2
Reactions6
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
9 h164
33 h199
70 h234
  1. Total to date234
#416Photo

JDK 27: JFR сам скрывает секреты в записи, но не все ➡️ С JDK 27, который вышел 15 сентября, JFR по умолчанию заменяет секреты в записи на [REDACTED] (JEP 536). Под замену попадают значения переменных окружения и системных свойств с подозрительными именами, а также аргументы командной строки, совпавшие с масками. До версии 27 значения PGPASSWORD, -Djavax.net.ssl.keyStorePassword и --token лежали в файле .jfr открытым текстом и вместе с записью уходили в тикеты. Как JFR решает, что перед ним секрет? По маскам с * и ? без учёта регистра. Для имён переменных и свойств это *password*, *pwd*, *secret*, *token*, *api*key*, *auth* и ещё несколько. Для аргументов есть и парные маски вроде -*password *: они скрывают опцию вместе со значением, которое идёт следующим аргументом. Маски проверяют только имена, поэтому секрет под непредусмотренным именем или внутри значения остаётся открытым. В нашем тесте на 27.0.1 открытыми остались DB_PASS, DATABASE_URL=postgres://app:pw@db/app, -Dapp.db.pass и аргумент --db-url postgres://u:pw@h/db. JFR скрыл свойство -Dspring.datasource.url=jdbc:…password=… в списке аргументов JVM, но в событии jdk.InitialSystemProperty оставил его значение открытым. Обратная проблема — лишние срабатывания: *pwd* скрывает PWD и OLDPWD, и рабочий каталог пропадает из записи. Свои маски добавляем через +, иначе стандартный список заменяется целиком: printf '*pass\n*_url\n*.url\n' > k.txt printf '*://*:*@*\n' > a.txt java '-XX:FlightRecorderOptions:[email protected],[email protected]' \ -Xlog:jfr+redact=debug -XX:StartFlightRecording:filename=app.jfr -jar app.jar redact-key проверяет имена переменных и свойств, redact-argument — аргументы, а маска *://*:*@* ловит URL с логином и паролем. -Xlog:jfr+redact=debug печатает, загрузились ли файлы с масками и какие переменные скрыты. Если файл с масками не читается, JVM завершается при старте. Механизм полностью отключается опцией redact-argument=none,redact-key=none. JFR не трогает событие jdk.ProcessStart с командами дочерних процессов, а jcmd <pid> VM.command_line и /proc/<pid>/cmdline показывают аргументы без маскировки. Слишком короткая маска для аргумента задевает и переменные окружения: текст скрытого аргумента заменяется на [REDACTED] и в их значениях. С маской -p * и аргументом -p v значение api-pr-preview.example.com превратилось в api[REDACTED]r[REDACTED]re[REDACTED]iew.example.com. 📌 Перед переходом на JDK 27 прогоняем реальный стартовый скрипт с -Xlog:jfr+redact=debug, смотрим запись через jfr print и добавляем маски под имена своих переменных и свойств. Записи JDK до 27 перед отправкой наружу чистим командой jfr scrub, которая есть в JDK 19 и новее. --exclude-events убирает события InitialEnvironmentVariable, InitialSystemProperty, ProcessStart и JVMInformation с аргументами JVM и приложения. #backendvkhub #jdk #jfr

Open in Telegram
Views181−45%vs avg
Forwards1
Reactions7
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
8 h148
32 h170
68 h181
  1. After 6 hours148
  2. After 24 hours170
  3. Total to date181
#415Photo

Что происходило в бэкенде во второй половине октября 2026 Вторая половина октября выдалась нервной: почти каждая новость сводилась к «обновитесь». Ключи промежуточных сертификатов eMudhra оказались скомпрометированы, в PHP закрыли две RCE с оценкой 9,2 по CVSS, а на PyPI почти два часа лежал litellm с вредоносным кодом. Главные новости собрали в короткий дайджест. 🔵 eMudhra: сертификаты, которым больше нельзя верить 17 октября Google получила сообщение, что ключи восьми промежуточных CA eMudhra скомпрометированы: ими можно подписать поддельный TLS-сертификат для любого домена. Go 1.27.3 и 1.26.10 от 19 октября перестали доверять «небольшому набору промежуточных сертификатов». Какой это CA, в анонсе не сказано. Node.js 21 октября удалил корни eMudhra из хранилища, а Python 3.15.2 от 25 октября отклоняет эти сертификаты в модуле ssl. 🔵 PHP: две RCE без аутентификации 21 октября вышли PHP 8.5.12, 8.4.27, 8.3.36 и 8.2.35. Обе уязвимости затрагивают любую установку, которая обслуживает веб-запросы, от FPM до FrankenPHP. Для mod_php показали эксплойт, который срабатывает до того, как выполнится код приложения. Надёжно защищает только обновление. 🔵 litellm: почти два часа с вредоносом на PyPI 21 октября атакующие с украденными токенами GitHub выложили на PyPI заражённый litellm==1.107.0, а на Docker Hub и GHCR — образы, включая тег latest. Вредоносный код лежит в cook.pth и запускается при каждом старте Python, даже при вызове самого pip. Окружения с этой версией проще пересобрать, а ключи из них — перевыпустить. 🔵 Node.js: Brotli и обход проверки TLS Релизы от 21 октября закрывают 10 CVE. Самая неприятная — запись за пределы буфера в декодере Brotli в node:zlib: если сервис распаковывает чужие данные, возможна RCE. Ещё две позволяют обойти проверку hostname: сертификат принимается для чужого IP, если адрес записан полноширинными цифрами или с ведущим нулём вроде 0127.0.0.1. 🔵 JDK 25.0.5: постквантовый TLS из коробки В обновлении от 20 октября гибридная группа X25519MLKEM768 включена по умолчанию и стала самой предпочтительной в TLS 1.3. Встроенный HttpServer стал строже: на HTTP/1.1-запросы без заголовка Host или с двумя такими заголовками он отвечает кодом 400, и самописные клиенты без Host начнут получать ошибку. 🔵 Redis и Valkey: 4 ГиБ в 32 битах 26 октября раскрыли переполнение буфера в куче в кластерном режиме. При пересылке PUBLISH по шине кластера длина сообщения усекается до 32 бит: под сообщение больше 4 ГиБ выделяется маленький буфер, а копируется оно целиком. Клиент с настройками по умолчанию такое не отправит, но серверный скрипт его соберёт. Исправлено в Valkey 9.1.3 и Redis 8.10.3. 🔵 Kafka 4.4.0: обновиться есть ради чего Релиз от 22 октября добавил dead-letter queue для share groups и транзакционные state stores в Kafka Streams. А 28 октября раскрыли CVE-2026-112375: брокер разбирал конфигурацию до проверки прав, и аутентифицированный пользователь без прав мог через AlterConfigs прочитать файл или переменную окружения брокера. Исправлено в 4.4.0, 4.3.2 и 4.2.2. Статья от инженеров VK ➡️ ClickHouse под трейсы: почему шесть бэкендов Jaeger оказались выбором из двух #backendvkhub #дайджест

Open in Telegram
Views220−33%vs avg
Forwards1
Reactions7
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
54 h210
78 h220
  1. Total to date220
#409Photoalbum
Views3320%vs avg
Forwards2
Reactions6
Comments0

All posts

Connections