Skip to content

Проблема в архивации валов при использовании пакетной передачи (--batch-size) [pg_probackup 2.5.15 (PostgreSQL 14.11)] #680

Description

@cherepyiiika

При использовании pg_probackup с параметром --batch-size возникла ситуация, когда из-за временного сбоя (ошибка Resource temporarily unavailable) один WAL-файл был пропущен (skipped: 1), но команда завершилась с кодом успеха (0).

В результате:

  • На сервере резервных копий остался битый файл .gz.part
  • На мастер-сервере WAL-файл был удален, так как PostgreSQL посчитал операцию успешной
  • Восстановление до этого WAL-файла стало невозможным. Последующие PAGE уже создавались с ошибкой

Как можно избежать данной проблемы при использовании --batch-size ?
Почему при игнорировании (skipped) мы получаем корректное завершение и удаление пропущенного файла с каталога pg_wal ?

Image

2026-09-06 15:53:43 MSK [63507]: [1-1]: INFO: pg_probackup archive-push WAL file: 0000000C00001B4600000082, threads: 2/2, batch: 10/10, compression: zlib
2026-09-06 15:54:14 MSK [63507]: [1-1]: ERROR: Agent error: src/utils/file.c:3908: (rename(buf, buf + strlen(buf) + 1)) Resource temporarily unavailable

2026-09-06 15:54:15 MSK [63507]: [2-1]: ERROR: Terminated while waiting for prev file
2026-09-06 15:54:15 MSK [63507]: [1-1]: ERROR: pg_probackup archive-push failed, pushed: 4, skipped: 0, failed: 2, time elapsed: 32s:312ms
2026-09-06 15:54:15.466 MSK [36487] СООБЩЕНИЕ: команда архивации завершилась ошибкой с кодом 1
2026-09-06 15:54:15.466 MSK [36487] ПОДРОБНОСТИ: Команда архивации с ошибкой: /usr/bin/pg_probackup-14 archive-push -B /data/backup/vili/db/ --instance vili --wal-fil
e-name=0000000C00001B4600000082 --remote-user probackup --remote-host kis-backups --compress --batch-size=10 -j 2
2026-09-06 15:54:16 MSK [63868]: [1-1]: INFO: pg_probackup archive-push WAL file: 0000000C00001B4600000082, threads: 2/2, batch: 10/10, compression: zlib
2026-09-06 15:59:24 MSK [63868]: [1-1]: INFO: pg_probackup archive-push completed successfully, pushed: 9, skipped: 1, time elapsed: 5m:8s
2026-09-06 15:59:25 MSK [2943]: [1-1]: INFO: pg_probackup archive-push WAL file: 0000000C00001B460000008F, threads: 2/2, batch: 8/10, compression: zlib
2026-09-06 15:59:31 MSK [2943]: [1-1]: INFO: pg_probackup archive-push completed successfully, pushed: 8, skipped: 0, time elapsed: 6s:68ms
2026-09-06 16:00:36 MSK [3912]: [1-1]: INFO: pg_probackup archive-push WAL file: 0000000C00001B4600000097, threads: 1/2, batch: 1/10, compression: zlib

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions