Account

Posts of Backend VK Hub

newest first

#418Photo

JDK 27: G1 по умолчанию в маленьких подах и рост RSS ➡️ В JDK 27, который вышел 15 сентября, G1 стал сборщиком по умолчанию во всех окружениях (JEP 523). До JDK 26 включительно JVM выбирала G1, только если видела хотя бы два процессора и 1 792 МиБ памяти, а иначе брала Serial. В контейнере JVM берёт число процессоров и объём памяти из cgroup. Поэтому поды с лимитом 1 CPU или с лимитом памяти меньше 1 792 МиБ годами работали на Serial, и мало кто это замечал. Каких подов коснётся переход? Однопроцессорными дело не ограничивается. В нашем тесте под с 2 CPU и 1 ГиБ на JDK 21 тоже получил Serial, на этот раз из-за памяти. Проверить, какой сборщик работает, можно у запущенного процесса через jcmd <pid> VM.flags или при старте с -Xlog:gc: java -Xlog:gc -version 2>&1 | grep Using # JDK 21, 1 CPU / 1 ГиБ: [...][info][gc] Using Serial # JDK 27, те же лимиты: [...][info][gc] Using G1 Главный эффект перехода — рост RSS. Мы запустили в cgroup на 1 CPU и 1 ГиБ синтетический однопоточный сервис с 80 МиБ живых данных. Xmx по умолчанию был 256 МиБ. На JDK 21 с Serial пиковый RSS был 181 МиБ, на JDK 27 с G1 — 297 МиБ, на 64% больше. JDK 27 с явным -XX:+UseSerialGC уложился в 170 МиБ. По общему времени прогона G1 и Serial на JDK 27 шли почти вровень. Откуда разница? G1 подбирает размер heap так, чтобы сборка занимала небольшую долю процессорного времени, поэтому в нашем тесте committed heap у него держался почти на уровне Xmx: 245 из 256 МиБ. Serial при тех же данных держал heap в пределах 120–160 МиБ. Смена сборщика объясняет меньшую часть разницы: JDK 21 с явным G1 в том же тесте показал около 205 МиБ RSS, а изменения в самом G1 между JDK 21 и 27 добавили ещё около 90 МиБ. Тикет JDK-8385348 о росте потребления памяти с JDK 25 до 27 закрыли как Won’t Fix. Флаг -XX:SoftMaxHeapSize не снизил RSS: G1 пока не учитывает его (JDK-8236073). Выигрыш G1 виден в другом сценарии, где объекты регулярно уходят в старое поколение. Там RSS у G1 был всего на 10% больше, чем у Serial, а максимальная задержка запроса у G1 — 55–65 мс, у Serial — около 100 мс. Полных сборок за прогон у G1 не было, у Serial их было 34. Подвести при переходе могут и флаги запуска. Некоторые команды включали G1 в маленьких подах через -XX:+AlwaysActAsServerClassMachine. JDK 27 выводит предупреждение и игнорирует этот флаг, а JVM из JDK 28 EA с ним вообще не запускается: Unrecognized VM option 'AlwaysActAsServerClassMachine'. С NeverActAsServerClassMachine то же самое. ➡️ Перед переходом на JDK 27 смотрим, какой сборщик работает в каждом маленьком поде. Если там Serial, а лимит памяти подбирали по фактическому RSS, выбираем сборщик по профилю нагрузки. В подах, где объекты регулярно уходят в старое поколение и важны задержки, переходим на G1 и поднимаем лимит до суммы Xmx и нативной памяти. В остальных задаём -XX:+UseSerialGC. Флаги *ActAsServerClassMachine убираем из манифестов сразу. #backendvkhub #jdk

Open in Telegram
Views171−48%vs avg
Forwards0
Reactions5
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
10 h129
35 h159
74 h171
  1. Total to date171
#417Photo

В Go 1.27 после resp.Body.Close() транспорт сам дочитывает тело HTTP/1-ответа и возвращает соединение в пул. Лимитов два: 256 KiB и 50 мс на дочитку. У ответа с Content-Length всё тело должно уложиться в 256 KiB, у chunked-ответа — только непрочитанный остаток. До 1.27 Transport закрывал соединение, если тело не было прочитано до конца, и следующий запрос открывал новое TCP-соединение, а для HTTPS ещё и проходил TLS-рукопожатие. Какого кода это касается? Того, который смотрит только на статус: проверок health-check, вебхуков, обработки ошибок. И самого частого случая, когда json.NewDecoder(resp.Body).Decode(&v) читает объект и останавливается, а в соединении остаётся хвост chunked-ответа. В нашем тесте сервер досылал завершающий chunk через 2 мс. На Go 1.25 каждый из 500 HTTPS-запросов открыл новое соединение, на Go 1.27 соединений было около 170, а среднее время запроса упало с 2,3-2,6 до 0,7-1 мс. resp, err := client.Do(req) if err != nil { return err } defer resp.Body.Close() // в 1.27 соединение вернётся в пул if resp.StatusCode != http.StatusOK { return fmt.Errorf("status %d", resp.StatusCode) } return json.NewDecoder(resp.Body).Decode(&v) Почему соединений всё же около 170? Дочитка асинхронная: Close() сразу возвращает управление, а фоновый цикл транспорта дочитывает остаток. В пул соединение попадает только после дочитки, и если следующий запрос стартует раньше, он открывает новое. Явная дочитка через io.Copy(io.Discard, io.LimitReader(resp.Body, 64<<10)) в том же тесте обошлась одним соединением, но каждый запрос ждал хвост и занимал 2,6 мс. Если лимит превышен или хвост не успел прийти за 50 мс, всё остаётся по-старому: соединение закрывается. Отключить механизм через GODEBUG нельзя, он работает в любой программе, собранной тулчейном Go 1.27, независимо от версии в go.mod. Выключить его можно только вместе с повторным использованием соединений: для всего транспорта через Transport.DisableKeepAlives, для отдельного запроса через req.Close = true. На HTTP/2 механизм не распространяется. В release notes предупреждают тех, кто задаёт Transport.MaxIdleConns равным 0 (без лимита) или создаёт отдельный Client на каждый запрос: простаивающих соединений станет больше, и производительность может упасть. Версию берём не ниже 1.27.2 от 8 октября. В ней исправили дедлок при одновременном вызове Read и Close у тела ответа (#81411) и гонку при доступе к Response.Trailer во время дочитки (#81522). Актуальная версия — 1.27.3 от 19 октября. Начинать можно с поиска ручной дочитки в клиентах. Дочитку без лимита убираем: на большом теле она читает его целиком, а на медленном потоке зависает. Вариант с io.LimitReader оставляем только там, где соединение должно вернуться в пул до следующего запроса. А у вас в HTTP-клиентах стоит ручная дочитка перед Close()? #backendvkhub #go

Open in Telegram
Views234−29%vs avg
Forwards2
Reactions6
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
9 h164
33 h199
70 h234
  1. Total to date234
#416Photo

JDK 27: JFR сам скрывает секреты в записи, но не все ➡️ С JDK 27, который вышел 15 сентября, JFR по умолчанию заменяет секреты в записи на [REDACTED] (JEP 536). Под замену попадают значения переменных окружения и системных свойств с подозрительными именами, а также аргументы командной строки, совпавшие с масками. До версии 27 значения PGPASSWORD, -Djavax.net.ssl.keyStorePassword и --token лежали в файле .jfr открытым текстом и вместе с записью уходили в тикеты. Как JFR решает, что перед ним секрет? По маскам с * и ? без учёта регистра. Для имён переменных и свойств это *password*, *pwd*, *secret*, *token*, *api*key*, *auth* и ещё несколько. Для аргументов есть и парные маски вроде -*password *: они скрывают опцию вместе со значением, которое идёт следующим аргументом. Маски проверяют только имена, поэтому секрет под непредусмотренным именем или внутри значения остаётся открытым. В нашем тесте на 27.0.1 открытыми остались DB_PASS, DATABASE_URL=postgres://app:pw@db/app, -Dapp.db.pass и аргумент --db-url postgres://u:pw@h/db. JFR скрыл свойство -Dspring.datasource.url=jdbc:…password=… в списке аргументов JVM, но в событии jdk.InitialSystemProperty оставил его значение открытым. Обратная проблема — лишние срабатывания: *pwd* скрывает PWD и OLDPWD, и рабочий каталог пропадает из записи. Свои маски добавляем через +, иначе стандартный список заменяется целиком: printf '*pass\n*_url\n*.url\n' > k.txt printf '*://*:*@*\n' > a.txt java '-XX:FlightRecorderOptions:[email protected],[email protected]' \ -Xlog:jfr+redact=debug -XX:StartFlightRecording:filename=app.jfr -jar app.jar redact-key проверяет имена переменных и свойств, redact-argument — аргументы, а маска *://*:*@* ловит URL с логином и паролем. -Xlog:jfr+redact=debug печатает, загрузились ли файлы с масками и какие переменные скрыты. Если файл с масками не читается, JVM завершается при старте. Механизм полностью отключается опцией redact-argument=none,redact-key=none. JFR не трогает событие jdk.ProcessStart с командами дочерних процессов, а jcmd <pid> VM.command_line и /proc/<pid>/cmdline показывают аргументы без маскировки. Слишком короткая маска для аргумента задевает и переменные окружения: текст скрытого аргумента заменяется на [REDACTED] и в их значениях. С маской -p * и аргументом -p v значение api-pr-preview.example.com превратилось в api[REDACTED]r[REDACTED]re[REDACTED]iew.example.com. 📌 Перед переходом на JDK 27 прогоняем реальный стартовый скрипт с -Xlog:jfr+redact=debug, смотрим запись через jfr print и добавляем маски под имена своих переменных и свойств. Записи JDK до 27 перед отправкой наружу чистим командой jfr scrub, которая есть в JDK 19 и новее. --exclude-events убирает события InitialEnvironmentVariable, InitialSystemProperty, ProcessStart и JVMInformation с аргументами JVM и приложения. #backendvkhub #jdk #jfr

Open in Telegram
Views181−45%vs avg
Forwards1
Reactions7
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
8 h148
32 h170
68 h181
  1. After 6 hours148
  2. After 24 hours170
  3. Total to date181
#415Photo

Что происходило в бэкенде во второй половине октября 2026 Вторая половина октября выдалась нервной: почти каждая новость сводилась к «обновитесь». Ключи промежуточных сертификатов eMudhra оказались скомпрометированы, в PHP закрыли две RCE с оценкой 9,2 по CVSS, а на PyPI почти два часа лежал litellm с вредоносным кодом. Главные новости собрали в короткий дайджест. 🔵 eMudhra: сертификаты, которым больше нельзя верить 17 октября Google получила сообщение, что ключи восьми промежуточных CA eMudhra скомпрометированы: ими можно подписать поддельный TLS-сертификат для любого домена. Go 1.27.3 и 1.26.10 от 19 октября перестали доверять «небольшому набору промежуточных сертификатов». Какой это CA, в анонсе не сказано. Node.js 21 октября удалил корни eMudhra из хранилища, а Python 3.15.2 от 25 октября отклоняет эти сертификаты в модуле ssl. 🔵 PHP: две RCE без аутентификации 21 октября вышли PHP 8.5.12, 8.4.27, 8.3.36 и 8.2.35. Обе уязвимости затрагивают любую установку, которая обслуживает веб-запросы, от FPM до FrankenPHP. Для mod_php показали эксплойт, который срабатывает до того, как выполнится код приложения. Надёжно защищает только обновление. 🔵 litellm: почти два часа с вредоносом на PyPI 21 октября атакующие с украденными токенами GitHub выложили на PyPI заражённый litellm==1.107.0, а на Docker Hub и GHCR — образы, включая тег latest. Вредоносный код лежит в cook.pth и запускается при каждом старте Python, даже при вызове самого pip. Окружения с этой версией проще пересобрать, а ключи из них — перевыпустить. 🔵 Node.js: Brotli и обход проверки TLS Релизы от 21 октября закрывают 10 CVE. Самая неприятная — запись за пределы буфера в декодере Brotli в node:zlib: если сервис распаковывает чужие данные, возможна RCE. Ещё две позволяют обойти проверку hostname: сертификат принимается для чужого IP, если адрес записан полноширинными цифрами или с ведущим нулём вроде 0127.0.0.1. 🔵 JDK 25.0.5: постквантовый TLS из коробки В обновлении от 20 октября гибридная группа X25519MLKEM768 включена по умолчанию и стала самой предпочтительной в TLS 1.3. Встроенный HttpServer стал строже: на HTTP/1.1-запросы без заголовка Host или с двумя такими заголовками он отвечает кодом 400, и самописные клиенты без Host начнут получать ошибку. 🔵 Redis и Valkey: 4 ГиБ в 32 битах 26 октября раскрыли переполнение буфера в куче в кластерном режиме. При пересылке PUBLISH по шине кластера длина сообщения усекается до 32 бит: под сообщение больше 4 ГиБ выделяется маленький буфер, а копируется оно целиком. Клиент с настройками по умолчанию такое не отправит, но серверный скрипт его соберёт. Исправлено в Valkey 9.1.3 и Redis 8.10.3. 🔵 Kafka 4.4.0: обновиться есть ради чего Релиз от 22 октября добавил dead-letter queue для share groups и транзакционные state stores в Kafka Streams. А 28 октября раскрыли CVE-2026-112375: брокер разбирал конфигурацию до проверки прав, и аутентифицированный пользователь без прав мог через AlterConfigs прочитать файл или переменную окружения брокера. Исправлено в 4.4.0, 4.3.2 и 4.2.2. Статья от инженеров VK ➡️ ClickHouse под трейсы: почему шесть бэкендов Jaeger оказались выбором из двух #backendvkhub #дайджест

Open in Telegram
Views220−33%vs avg
Forwards1
Reactions7
Comments0
Views growthHide views growth

Views growth

Hours after publication

Show as table
Hours after publicationViews
0 h0
54 h210
78 h220
  1. Total to date220
#409Photoalbum
Views3320%vs avg
Forwards2
Reactions6
Comments0
#408Photo

Jujutsu: система контроля версий нового поколения Про Jujutsu, или коротко jj, скорее всего, слышали немногие. Это распределённая система контроля версий от Мартина фон Цвейгбергка, бывшего инженера Google. Начать пользоваться ею можно в одиночку, поверх существующего репозитория. Наружу уходят обычные Git-коммиты, поэтому для CI и коллег ничего не меняется. Проект пока называется экспериментальным, но README уточняет, что Git-совместимость стабильна и многие разработчики используют jj ежедневно. Написан jj на Rust и разделён на библиотеку и CLI, причём библиотека рассчитана и на GUI, и на серверные сценарии. Есть популярный туториал по jj от Стива Клабника, признанного Rust-разработчика. Как устроена модель Главная идея Jujutsu касается переписывания истории. В Git коммит — это неизменяемый снимок, и любой amend или rebase создаёт новый хеш. Преемственность между исходной и обновлённой версиями одного и того же патча нигде не фиксируется, поэтому связь между его итерациями приходится держать в имени веток, Gerrit Change-Id или в памяти разработчика. В jj у логического изменения есть стабильный Change ID, который переживает amend, split и rebase, а конкретные версии различаются по Commit ID. Когда разработчик доработал патч после ревью, в истории это сохранится как одно изменение, а не набор новых хешей. Рабочая директория в jj сама является коммитом. Любая команда автоматически делает снапшот изменённых файлов и обновляет этот рабочий коммит, поэтому индекс (staging area) полностью исчезает, а цикл git add, git commit и git stash заменяется работой с графом. Незаконченные правки всегда представлены в истории, и над ними доступны обычные команды: jj new # начать новое изменение поверх текущего jj squash # влить текущие правки в предыдущее изменение jj split # разрезать изменение на два jj absorb # разложить мелкие правки по старым коммитам Правка раннего коммита в стеке автоматически переносится на всех потомков. Конфликты при этом не останавливают работу, потому что jj сохраняет конфликт прямо в коммит как состояние, и разрешить его можно позже, когда видны все затронутые потомки. Если что-то пошло не так, jj позволяет откатить изменения через operation log — журнал атомарных переходов между состояниями всего репозитория. Если reflog в Git помнит движение отдельных веток, то operation log в jj фиксирует репозиторий целиком, поэтому jj undo отменяет последнюю операцию, а jj op restore возвращает любое прошлое состояние. Ветки в jj называются bookmark и двигаются явно, когда пора что-то публиковать. Локально можно держать стек зависимых изменений вообще без имён, а bookmark поставить только на вершину перед пушем. И таких интересных изменений по сравнению с классическим Git достаточно много, подробнее можно изучить в документации. Совместимость с Git Коммиты хранятся как обычные Git-объекты и уходят через обычный Git-транспорт. Git и jj спокойно работают в одной директории и сами синхронизируются при каждой команде. Jujutsu автоматически сопоставляет своё Change ID с Gerrit Change-Id, поэтому повторная отправка изменённого коммита автоматически регистрируется как новая редакция патча. Что учесть Поддержка субмодулей ещё не закончена, а на очень больших репозиториях есть проблемы с производительностью. Делать jj командным стандартом пока рано, но вот попробовать лично стоит уже сегодня. В существующем локальном Git-репозитории Jujutsu будет работать как умный и удобный интерфейс поверх обычного гита, который отправляет стандартные коммиты в ваш привычный удалённый репозиторий. Либо новая модель войдёт в ваш воркфлоу, либо вы вернётесь к Git без потерь. #backendvkhub #jj

Open in Telegram
Views360+9%vs avg
Forwards6
Reactions6
Comments0
#407Photo

REPACK CONCURRENTLY в PostgreSQL 19: VACUUM FULL без остановки таблицы После массового удаления таблица может занимать на диске в разы больше живых данных. Обычный VACUUM помечает место как свободное, но сам файл почти не уменьшает. VACUUM FULL переписывает таблицу и отдаёт место системе, только всё это время держит ACCESS EXCLUSIVE, и нельзя ни читать таблицу, ни записывать в неё. Поэтому большие таблицы годами чистили сторонним расширением pg_repack. В PostgreSQL 19 появилась команда REPACK. Она объединяет VACUUM FULL и CLUSTER (старые команды оставили для совместимости), а с опцией CONCURRENTLY перестраивает таблицу, не блокируя чтение и запись. RC1 вышел 15 октября, релиз запланирован на 29 октября. -- то же, что VACUUM FULL REPACK orders; -- то же, что CLUSTER: переложить строки в порядке индекса REPACK orders USING INDEX orders_created_at_idx; -- без блокировки чтения и записи REPACK (CONCURRENTLY) orders; Работает это так: таблица копируется в новый файл без мёртвых строк, индексы строятся заново, а изменения, пришедшие за это время, ловятся через логическое декодирование и докатываются отдельной фазой. ACCESS EXCLUSIVE берётся только на подмену файлов, и обычно это ненадолго. Затянуться процесс может, если в таблицу успели много записать, пока команда ждала блокировку: эти изменения применяются уже под ней. Ограничений у CONCURRENTLY хватает. Опция не работает для партиционированных и UNLOGGED таблиц, материализованных представлений и внутри транзакции. Таблице нужен первичный ключ или replica identity по индексу. Каждый запуск занимает слот репликации, а их число ограничивает max_repack_replication_slots: по умолчанию 5, меняется только с рестартом. Свободного места на диске нужно не меньше суммы размеров таблицы и её индексов. К тому же REPACK CONCURRENTLY не MVCC-безопасен, как и TRUNCATE. Транзакция, которая взяла снимок до завершения команды и ещё не трогала таблицу, увидит её пустой. Поэтому с отчётами, которые долго читают несколько таблиц в одном снимке, такой запуск лучше не пересекать. Следить за ходом удобно через новое представление: SELECT relid::regclass, phase, heap_blks_scanned, heap_blks_total, heap_tuples_updated, heap_tuples_deleted FROM pg_stat_progress_repack; Счётчики updated и deleted растут только в фазе catch-up, когда докатываются чужие изменения, и по ним видно, сколько записей накопилось за время копирования. Если bloat сейчас чистят через pg_repack, после перехода на версию 19 можно обойтись встроенной командой. Заранее стоит проверить, что у больших таблиц есть первичный ключ, и заложить место на диске. VACUUM FULL в старых скриптах продолжит работать, а новые задачи обслуживания логичнее писать уже на REPACK. @backendvkhub @postgresql

Open in Telegram
Views424+28%vs avg
Forwards3
Reactions10
Comments0
#401Photoalbum
Views360+9%vs avg
Forwards0
Reactions9
Comments0
#399Photo

Python 3.15 принёс ленивые импорты, UTF-8 по умолчанию и профилировщик Tachyon Свежий релиз Python 3.15.0 вышел 9 октября. Ленивые импорты поменяли запуск приложений, текстовые файлы на Windows теперь читаются в кодировке UTF-8, а новый встроенный семплирующий профилировщик Tachyon подключается к живому процессу. Разобрали главное, а подробности доступны в документации. Ленивые импорты Ключевое слово lazy откладывает загрузку модуля до первого обращения к имени (PEP 810). lazy import json print("Старт") # json ещё не загружен data = json.loads("{}") # json загружается здесь Вместо модуля интерпретатор держит прокси, а ошибка загрузки возникает в точке первого использования. В traceback при этом видны и место обращения, и исходная строка lazy import. Разрешён такой импорт только на уровне модуля, а режим для всего процесса задают -X lazy_imports и PYTHON_LAZY_IMPORTS. Библиотекам с поддержкой нескольких версий подойдёт переменная lazy_modules, которую старые Python игнорируют. Авторы PEP обещают сократить запуск CLI на 50–70%, но можно нарваться и на побочные эффекты, поскольку регистрация плагинов при импорте уедет на момент первого использования. UTF-8 по умолчанию Теперь open("file.txt") без encoding читает UTF-8 независимо от локали (PEP 686). В локали C и POSIX так было и раньше, поэтому основной удар приходится на Windows. CSV в cp1251, которые раньше читались без указания кодировки, теперь прочитаются как UTF-8. Авторы PEP предупреждают, что возможна даже тихая порча данных. Найти такие места поможет команда для CI. python -X warn_default_encoding -W error::EncodingWarning -m pytest Старое поведение возвращается через PYTHONUTF8=0. Профилировщик Tachyon Пакет profiling.sampling читает стеки процесса снаружи, без хуков. Частота доходит до 1 МГц, а нагрузку на процесс авторы называют практически нулевой. python -m profiling.sampling attach --flamegraph -d 30 -o profile.html <PID> Команда подключается к работающему процессу и за 30 секунд собирает флеймграф. Режимы wall и cpu помогают отличить вычисления от ожидания, а gil показывает код, который монополизирует интерпретатор. Среди форматов вывода есть pstats, дифференциальный флеймграф и JSON для Firefox Profiler. Время в отчётах оценивается по семплам, а профилировщик и цель должны работать на одной минорной версии Python. JIT и free-threading JIT остаётся экспериментальным и включается переменной PYTHON_JIT=1. Прирост по geomean pyperformance составляет 7–8% на x86-64 Linux и 11–12% на AArch64 macOS. На отдельных бенчмарках разброс велик, а для I/O-bound кода выигрыш незначителен. На Windows официальные 64-разрядные сборки теперь используют интерпретатор на хвостовых вызовах. Он даёт 15–20% относительно switch-case интерпретатора. В установщике для macOS пакет с free-threaded сборкой теперь отмечен по умолчанию и ставится рядом с обычной, но команда python3 по-прежнему запускает сборку с GIL. Free-threaded сборка медленнее на однопоточном коде на 1–8%, но новый abi3t позволяет одному и тому же бинарнику работать и на обычных сборках и на сборках без GIL. Новый синтаксис Появились встроенные frozendict и sentinel, а распаковка аргументов заработала в comprehensions. Файлы .start заменяют исполняемые строки import в .pth. flat = [*li for li in lists] # вместо вложенного цикла MISSING = sentinel("MISSING") # отличает «не передан» от None def get(key, default=MISSING): ... Заключение Тесты на 3.15 можно гонять в CI уже сейчас, а для продакшена лучше дождаться колёс зависимостей и версии 3.15.1. Начинать миграцию разумнее с EncodingWarning, а lazy и JIT включать только после собственных замеров. #backendvkhub #python

Open in Telegram
Views347+5%vs avg
Forwards2
Reactions6
Comments0
#398Photo

ON CONFLICT DO SELECT в PostgreSQL 19: get-or-create одним запросом Get-or-create в PostgreSQL до сих пор пишется в обход. Задача знакомая: нужен id тега, пользователя или ключа идемпотентности, и если строка уже есть, следует вернуть её, а если нет — создать. Очевидный вариант с DO NOTHING не подходит, потому что RETURNING отдаёт только вставленные строки, и на существующую запрос ответит пустым результатом. INSERT INTO tags (name) VALUES ('postgres') ON CONFLICT (name) DO NOTHING RETURNING id; -- тег уже есть: 0 строк Дальше обычно выбирают из двух неудобных вариантов. Второй SELECT означает лишний поход в базу и окно, за которое строку могут удалить. Холостой DO UPDATE SET name = EXCLUDED.name заставляет RETURNING работать, но PostgreSQL выполняет физическое обновление, даже если данные не изменились. Каждый вызов оставляет новую версию строки, мёртвый кортеж для VACUUM и запись в WAL, а если HOT не сработал, ещё и правки во всех индексах. Вдобавок срабатывают триггеры на UPDATE, и аудит фиксирует изменения, которых не было. В PostgreSQL 19 появилось третье действие при конфликте — DO SELECT. Существующая строка возвращается как есть, без записи: INSERT INTO tags (name) VALUES ('postgres') ON CONFLICT (name) DO SELECT RETURNING id, old.id IS NULL AS created; Вторая колонка опирается на ссылку old в RETURNING, её добавили в версии 18. У вставленной строки старые значения равны NULL, у найденной заполнены, так что приложение сразу понимает, создало оно запись или получило существующую. От DO NOTHING конструкция отличается двумя требованиями: RETURNING обязателен, а цель конфликта нужно назвать явно. Арбитром может быть только уникальный индекс или ограничение NOT DEFERRABLE, а exclusion constraints не подходят. Если найденную строку дальше меняют в той же транзакции, её можно заблокировать в этом же запросе: INSERT INTO balances (account_id, amount) VALUES (42, 0) ON CONFLICT (account_id) DO SELECT FOR UPDATE RETURNING *; Поддерживаются все четыре режима блокировки, от FOR UPDATE до FOR KEY SHARE, и условие WHERE, по которому отбираются возвращаемые строки. Блокировку получат все конфликтующие строки, в том числе те, что под условие не попали. PostgreSQL 19 сейчас в четвёртой бете, вышедшей 24 сентября, а релиз-кандидат обещают в начале октября. В этой бете из релиза убрали SQL/PGQ, FOR PORTION OF и операции над партициями, но DO SELECT в документации версии 19 остался. Холостые DO UPDATE в коде стоит пометить уже сейчас: после обновления каждый из них заменяется одной правкой, и таблицы с частым get-or-create перестанут копить мёртвые кортежи. #backendvkhub #postgresql

Open in Telegram
Views422+28%vs avg
Forwards5
Reactions11
Comments1
#397Photoedited
Views447+35%vs avg
Forwards2
Reactions21
Comments0