M9K blog: заметки с тегом системное администрирование

Как временно расширить ZFS-пул с помощью zvol из другого пула

Tue, 21 Jul 2026 09:36:32 +0000

Иногда ZFS-пул оказывается заполнен почти полностью, но переносить данные на другой файловый раздел неудобно или слишком долго.

Было два независимых пула:

zpool list

NAME    SIZE  ALLOC   FREE  FRAG  CAP  HEALTH
db     11.7T  8.99T  2.71T   18%  76%  ONLINE
limon  79.5G  77.0G  2.46G   90%  96%  ONLINE

Пул limon закончился, а в пуле db оставалось несколько терабайт свободного пространства.

Требовалось временно дать пулу limon около 10 ГБ, очистить логи и затем вернуть конфигурацию в исходное состояние.

Почему нельзя просто передать свободное место?

Свободное пространство принадлежит конкретному ZFS-пулу. Датасет одного пула не может непосредственно использовать место из другого пула.

Топология исходного пула

Пул limon состоял из одного раздела:

zpool status limon

pool: limon
state: ONLINE
config:

    NAME        STATE     READ WRITE CKSUM
    limon       ONLINE       0     0     0
      sdd1      ONLINE       0     0     0

Для последующего удаления временного vdev необходимо проверить поддержку функции device_removal:

zpool get feature@device_removal limon

В моём случае функция была включена:

NAME   PROPERTY                VALUE    SOURCE
limon  feature@device_removal  enabled  local

Также необходимо определить фактическое значение ashift существующего vdev.

Команда:

zpool get ashift limon

может показать:

limon  ashift  0  default

Значение 0 означает автоматический выбор для новых устройств и не показывает фактический ashift уже существующего vdev.

Реальное значение можно получить через zdb:

zdb -C limon | grep -E 'path|ashift'

Результат:

path: '/dev/sdd1'
phys_path: 'acpi-VMBUS:01-vmbus-3d4511ba2bac43a19298b9d3bddf7b27-lun-2'
ashift: 12

Таким образом, временный vdev тоже нужно добавлять с ashift=12.

Важное предупреждение

Описанный способ создаёт зависимость одного ZFS-пула от другого.

Пока временный zvol входит в пул limon:

пул db нельзя экспортировать;
zvol нельзя удалить;
сервер нельзя загружать без доступного пула db;
потеря пула db может привести к потере всего пула limon
Это аварийная временная мера, а не постоянная архитектура хранения.

Создание временного zvol

Чтобы не повторять изменяемые значения в командах, зададим переменные:

POOL_SOURCE="db"
POOL_TARGET="limon"
ZVOL_NAME="limon-temp-vdev"
ZVOL_SIZE="10G"
ZVOL_DATASET="${POOL_SOURCE}/${ZVOL_NAME}"
ZVOL_DEVICE="/dev/zvol/${ZVOL_DATASET}"
ASHIFT="12"
VOLBLOCKSIZE="16K"

Создаём обычный, неразреженный zvol:

zfs create -V "${ZVOL_SIZE}" -b "${VOLBLOCKSIZE}" -o compression=off "${ZVOL_DATASET}"

Проверяем созданный zvol:

zfs get volsize,volblocksize,refreservation,compression "${ZVOL_DATASET}"

Проверяем наличие блочного устройства:

udevadm settle
ls -l "${ZVOL_DEVICE}"
blockdev --getsize64 "${ZVOL_DEVICE}"

У обычного zvol параметр refreservation должен быть примерно равен его размеру. Это гарантирует, что необходимые 10 ГБ действительно зарезервированы в пуле db.

Проверка добавления без изменения пула

Сначала выполняем пробный запуск:

zpool add -n -o ashift="${ASHIFT}" "${POOL_TARGET}" "${ZVOL_DEVICE}"

В предполагаемой конфигурации исходный диск и временный zvol должны находиться на одном уровне:

limon
sdd1
/dev/zvol/db/limon-temp-vdev

Добавление временного пространства

Если пробная проверка не показывает ошибок, добавляем zvol:

zpool add -o ashift="${ASHIFT}" "${POOL_TARGET}" "${ZVOL_DEVICE}"

После этого проверяем состояние:

zpool status -P "${POOL_TARGET}"zpool list "${POOL_TARGET}"
zfs list "${POOL_TARGET}"

Дополнительно проверяем ashift обоих vdev:

zdb -C "${POOL_TARGET}" | grep -E 'path|ashift'

Оба top-level vdev должны иметь ashift=12. Разный ashift может помешать последующему удалению временного устройства.

После добавления zvol пул limon получит немного меньше 10 ГБ полезного пространства из-за внутренних накладных расходов ZFS.

Удаление временного vdev

Сначала проверяем возможность удаления:

zpool remove -n "${POOL_TARGET}" "${ZVOL_DEVICE}"

Параметр -n не выполняет полноценную симуляцию переноса данных. Он используется для оценки параметров операции, включая необходимый объём памяти для таблиц перенаправления.

Если ошибок нет, запускаем удаление с ожиданием завершения:

zpool remove -w "${POOL_TARGET}" "${ZVOL_DEVICE}"

Во время удаления ZFS переносит блоки с временного zvol обратно на исходный диск sdd1.

За процессом можно наблюдать в другом терминале:

watch -n 5 "zpool status ${POOL_TARGET}; zpool list ${POOL_TARGET}"

До полного завершения операции нельзя:

уничтожать zvol;
экспортировать пул db;
отключать устройство;
перезагружать систему без необходимости.

После успешного удаления проверяем, что в пуле остался только исходный vdev:

zpool status -P "${POOL_TARGET}"

В конфигурации должен снова отображаться только sdd1.

Удаление временного zvol

Только после успешного завершения zpool remove можно уничтожить zvol:

zfs destroy "${ZVOL_DATASET}"

Финальная проверка:

zpool status "${POOL_TARGET}"
zpool list "${POOL_TARGET}"
zfs list "${POOL_SOURCE}" "${POOL_TARGET}"

В терминале Linux пропал текст? Верните echo

Tue, 21 Jul 2026 08:40:59 +0000

Иногда терминал продолжает принимать команды, но перестаёт показывать вводимый текст. Печатаешь вслепую, нажимаешь Enter — команда выполняется. Выглядит как поломка терминала, но чаще всего просто отключён режим отображения ввода.

Вернуть его можно одной командой:

stty echo

После этого символы снова будут отображаться при вводе.

Обычно echo отключается после некорректно завершившейся программы, которая временно скрывала ввод — например, при запросе пароля. Если терминал выглядит совсем странно, можно выполнить более радикальный сброс:

stty sane

Скучная банальность, но именно такие мелочи особенно приятно случайно узнать после нескольких минут печати в пустоту.

Clash Verge Rev Local Tunnel

Wed, 10 Jun 2026 17:27:20 +0000

Получив намедни на локальной станции отвал сразу нескольких утилит, которые умеют пробрасывать трафик через TUN-режим, я пошёл искать альтернативы. В итоге нашлась Clash Verge:
https://github.com/clash-verge-rev/clash-verge-rev

Задача простая: завернуть трафик через TUN в локальный прокси.

Идём по пути:

Профили -> Новый -> Local -> Выбираем файл

Дальше скармливаем Clash Verge YAML-конфиг:

mixed-port: 7890
allow-lan: false
mode: global
log-level: info
ipv6: false

tun:
  enable: true
  stack: mixed
  auto-route: true
  auto-detect-interface: true
  strict-route: true
  dns-hijack:
    - any:53
    - tcp://any:53

dns:
  enable: true
  ipv6: false
  enhanced-mode: fake-ip
  listen: 127.0.0.1:1053
  default-nameserver:
    - 1.1.1.1
    - 8.8.8.8
  nameserver:
    - 1.1.1.1
    - 8.8.8.8
  fake-ip-filter:
    - "*.lan"
    - "*.local"
    - "localhost"

proxies:
  - name: lan-socks5
    type: socks5
    server: %IP прокси%
    port: %порт прокси%
    udp: true

proxy-groups:
  - name: PROXY
    type: select
    proxies:
      - lan-socks5
      - DIRECT

rules:
  - IP-CIDR,%IP прокси%/32,DIRECT,no-resolve
  - IP-CIDR,192.168.0.0/16,DIRECT,no-resolve
  - IP-CIDR,10.0.0.0/8,DIRECT,no-resolve
  - IP-CIDR,172.16.0.0/12,DIRECT,no-resolve
  - MATCH,PROXY

После этого можно на главной включать Tun.
В результате весь трафик, кроме локальных сетей и самого прокси-сервера, будет заворачиваться через указанный SOCKS5-прокси. Локальные диапазоны оставлены в DIRECT, чтобы не словить прекрасный цирк с недоступными локальными ресурсами, роутерами, NAS и прочими домашними зверушками.

ID Docker контейнеров — максимальных потребителей SWAP в Linux

Mon, 27 Apr 2026 02:48:52 +0000

for pid in $(ls /proc | grep -E '^[0-9]+$'); do     swap=$(grep VmSwap /proc/$pid/status 2>/dev/null | awk '{print $2}');          if [[ -n "$swap" && "$swap" -gt 0 ]]; then         cmd=$(tr '\0' ' ' < /proc/$pid/cmdline);          cgroup=$(cat /proc/$pid/cgroup 2>/dev/null);
        container_id=$(echo "$cgroup" | grep -Eo '[a-f0-9]{64}' | head -n1);
        if [[ -z "$container_id" ]]; then             container_id=$(echo "$cgroup" | grep -Eo 'docker-[a-f0-9]+' | sed 's/docker-//' | head -n1);         fi;          echo -e "$swap KB\tPID: $pid\tCID: ${container_id:-host}\tCMD: $cmd";     fi; done | sort -nr | head

Proxmox 7 + Debian 12|13 LXC Template

Sat, 07 Feb 2026 03:27:43 +0000

У Proxmox есть неплохая обратная совместимость с более свежими версиями LXC-контейнеров по сравнению с той версией Debian, на которой основан текущий релиз. В нашем случае используется Proxmox 7 (на базе Debian 11).

При попытке создать контейнер получаем ошибку вида:

TASK ERROR: unable to create CT 100 - unsupported debian version '1X'

Для обхода проблемы правим файл
/usr/share/perl5/PVE/LXC/Setup/Debian.pm в двух местах.

Обновляем карту версий:

my $version_map = { 'stretch/sid' => 9.1, 'buster/sid' => 10, 'bullseye/sid'=> 11, 'bookworm/sid'=> 12, 'trixie/sid' => 13, 'kali-rolling'=> 11, };

Расширяем допустимый диапазон версий:

if !($version >= 4 && $version <= 14);

После этого перезапускаем связанные демоны:

systemctl restart pvedaemon 
systemctl restart pveproxy

Готово, контейнер успешно создаётся.

Разумеется, это грязный хак: при обновлениях Proxmox изменения будут перезаписаны, так что решение подходит только как временное.

Windows перемещение файлов в директории по совпадению части имени

Fri, 10 Oct 2025 02:38:06 +0000

В указанной директории ищем файлы с «_45» или «_16», перемещаем во внутреннюю создаваемую директорию.

$dir = "C:\work\pics"
$target = Join-Path $dir 'substrateInstagram'
New-Item -ItemType Directory -Path $target -Force | Out-Null
Get-ChildItem -Path $dir -Filter *.jpg -File |
  Where-Object { $_.BaseName -match '(_45|_16)' } |
  Move-Item -Destination $target

Linux Passwordless oneliner

Mon, 25 Aug 2025 10:44:17 +0000

TARGET=user@host; PORT=22; [[ -r ~/.ssh/id_ed25519.pub ]] || ssh-keygen -t ed25519 -N "" -f ~/.ssh/id_ed25519; ssh -p "$PORT" "$TARGET" 'umask 077; mkdir -p ~/.ssh && cat > ~/.ssh/authorized_keys' < ~/.ssh/id_ed25519.pub && ssh -p "$PORT" "$TARGET" 'echo ">>> Root доступ подтверждён"'

CouchDB, Debian, AstraLinux, Docker и все-все-все

Thu, 14 Aug 2025 10:40:09 +0000

Возникла необходимость запустить Couchdb в контейнере, где базовая ось (и базовые же пакеты) должны быть очень-очень свежими, в противной случай контейнер не проходит встроенную проверку на безопасность.
Стандартный официальный образ собран на базе Debian 12.

FROM debian:bookworm-slim

Простая замена базового образа на

FROM debian:trixie-slim

приводит к тому, что контейнер не собирается по зависимостям.
Смотрим официальную репу в части зависимостей и видим прекрасное — libmozjs-78-0 (>= 78.15.0). Пробуем ставить свежую версию, которая есть в репах — не помогает, пакет couchdb принципиально требует libmozjs-78-0.

Ок, скрещиваем ежа и ужа.

У debian есть механизм apt-pinning. Это механизм, позволяющий задать приоритеты для версий пакетов из разных источников (репозиториев, release-веток, PPA), чтобы фиксировать версию, запрещать обновление или предпочитать конкретный источник.

Коротко приоритеты делятся на:

< 0 — никогда не устанавливать.
1..99 — ставить только при явном указании версии.
100 — приоритет уже установленной версии.
500 — дефолт для неприоритетных источников.
990 — приоритет для целевого релиза (-t), либо если явно указан release.
>1000 — разрешает понижение версии (downgrade) к закреплённой.

Добавляет в наш Dockerfile:

RUN echo "deb http://deb.debian.org/debian bookworm main" > /etc/apt/sources.list.d/bookworm.list && \
    echo "Package: *\nPin: release n=bookworm\nPin-Priority: 500" > /etc/apt/preferences.d/bookworm && \
    echo "Package: *\nPin: release n=trixie\nPin-Priority: 600" > /etc/apt/preferences.d/trixie && \
    echo "deb [signed-by=/usr/share/keyrings/couchdb-archive-keyring.gpg] https://apache.jfrog.io/artifactory/couchdb-deb/ bookworm main" \
            > /etc/apt/sources.list.d/couchdb.list && \
    apt-get update

Основная часть пакетов ставится из свежей репы, часть, которых в ней нет — из старых.

Curl over ssh-tls-tunnel

Thu, 14 Aug 2025 10:21:23 +0000

Есть ресурс resource.name, на который нужно ходить curl-ом с засылкой данных через JSON. Специфика ресурса такова, что он принимает соединения через TLS 1.3.
Есть сервер A server.name, на котором нет выхода на нужный ресурс, но есть Nginx, и есть ssh-доступ до сервера B
Есть сервер B, на котором есть выход на нужный ресурс, но сам сервер очень старый, и TLS на нём не проходит по требования resource.name.

printf '' | openssl s_client -connect 127.0.0.1:8443 -servername resource.name -tls1_3 -brief

Костылим:
На сервере A поднимаем туннель на внутренний порт:

ssh -fN -o ExitOnForwardFailure=yes -o ServerAliveInterval=60 -o ServerAliveCountMax=3 -L 8443:resource.name:443 user@serverB

На Nginx рисуем конфиг:

server {
        listen 9090;
        server_name         server.name;

        access_log  /site/logs/nginx/port_9090.log  main;
        error_log   /site/logs/nginx/port_9090.error.log;

location / {
        proxy_pass https://127.0.0.1:8443;

        proxy_set_header Host resource.name;
        proxy_ssl_server_name on;
        proxy_ssl_name resource.name;
        proxy_ssl_protocols TLSv1.3;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto https;
        proxy_connect_timeout 10s;
        proxy_read_timeout 60s;
        proxy_ssl_verify off;
}
}

Кидаемся тестовым запросом:

curl -v -X POST 'http://server.name:9090/resource' -H 'Content-Type: application/json' --data '{"login":"$LOGIN","password":"$PASSWORD"}'

Unzip без unzip

Thu, 14 Aug 2025 10:07:44 +0000

Есть сервер без выхода в сеть с древней ОС и мёртвыми репами. Нужно распаковать zip-архив — но утилиты нет.
Решаем вопрос python-ом:

python - <<'EOF'
import zipfile, os
archive = 'archive.zip'
target_dir = 'archive.zip'

if not os.path.exists(target_dir):
    os.makedirs(target_dir)

with zipfile.ZipFile(archive, 'r') as z:
    for name in z.namelist():
        z.extract(name, target_dir)
EOF

Multistage Docker — как пересобирать без кэша не весь Dockefile

Tue, 05 Aug 2025 08:47:54 +0000

Возникла необходимость пересобрать отдельный stage-контейнер из Dockerfile. Первый собранный контейнер — это контейнер сборки OpenSSL, который выполняется очень, очень долго. Для того, чтоб сэкономить время, во вторую часть добавляем:

# Stage 1: OpenSSL-сборка (пусть останется закешированной)
FROM debian:bookworm AS openssl-build
# ... 
# Stage 2: основная
FROM debian:bookworm-slim
# Аргумент, чтобы инвалидировать кэш
ARG CACHE_BREAKER=default
# Используем его в ENV, чтобы Docker счёл слой новым
ENV CACHE_BREAKER=${CACHE_BREAKER}

Перечитывание топологии диска в ВМ после расширения его в гипервизоре

Tue, 08 Apr 2025 08:04:53 +0000

echo 1 > /sys/class/scsi_device/0:0:0:0/device/rescan

Chain из цепочки сертификатов

Wed, 19 Mar 2025 03:47:53 +0000

cat domain.crt intermediate.crt root.crt > chain.crt

-----BEGIN CERTIFICATE-----
...
-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----
...
-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----
...
-----END CERTIFICATE-----

ZFS на Oracle Linux 8.10

Thu, 06 Mar 2025 10:29:29 +0000

При установке ZFS на Oracle Linux 8.10 по официальной доке столкнулся с неочевидной ошибкой:

checking for kernel config option compatibility... done
checking whether CONFIG_MODULES is defined... no
configure: error:
*** This kernel does not include the required loadable module
*** support!
***
*** To build OpenZFS as a loadable Linux kernel module
*** enable loadable module support by setting
*** `CONFIG_MODULES=y` in the kernel configuration and run
*** `make modules_prepare` in the Linux source tree.
***
*** If you don’t intend to enable loadable kernel module
*** support, please compile OpenZFS as a Linux kernel built-in.
***
*** Prepare the Linux source tree by running `make prepare`,
*** use the OpenZFS `—enable-linux-builtin` configure option,
*** copy the OpenZFS sources into the Linux source tree using
*** `./copy-builtin `,
*** set `CONFIG_ZFS=y` in the kernel configuration and compile
*** kernel as usual.

Объяснение и решение проблемы нашёл тут

The root of the problem is with the GCC toolset used to build UEK7 kernel, which is different from the one used to build Redhat compatible version. RH kernel is built (using the default) GCC.

Решение:

dnf install -y gcc-toolset-11-annobin-plugin-gcc
. /opt/rh/gcc-toolset-11/enable
dkms install zfs/$VERSION

Python 2.7 на Debian 12

Thu, 06 Mar 2025 10:22:59 +0000

Потребовалось старым Ansible выполнить скрипты на свежайщем Debian 12. Столкнулся с тем, что в дистрибутиве окончательно выпилили поддержку Python 2.7. Пришлось сотворить Франкенштейна:

Добавляем в /etc/apt/sources.list:

deb http://archive.debian.org/debian/ stretch contrib main non-free

Обновляемся

sudo apt-get update

Делаем установку

sudo apt-get install python2.7

Делаем симлинк на бинарь

cd /usr/bin &&  ln -s python2.7 python

Удаляем добавленное в п.1 и повторно делаем пункт 2.

Основной потребитель swap на Linux-серверах

Tue, 04 Mar 2025 02:45:41 +0000

for file in /proc/*/status ; do awk '/VmSwap|Name/{printf $2 " " $3}END{ print ""}' $file; done | sort -k 2 -n -r | less

Взято отсюда

SED удалить комментарии из XML

Mon, 24 Feb 2025 04:28:21 +0000

Возникла задача сравнить два XML-файла конфигурации Clickhouse для выяснения, что же в ней не так. Беда конфигурации в том, что она содержит прям какое-то совершенное безумное количество закомментированных параметров, и сравнение «в лоб» превращается в муку. Почистим файлы SED-ом:

cat config.xml | sed '/<!--.*-->/d' | sed '/<!--/,/-->/d' | sed '/^[[:space:]]*$/d' > config_without_comments.xml

Apache Kafka Чтение из топиков

Fri, 14 Feb 2025 09:19:41 +0000

Простое чтение топика с нулевой позиции:

./kafka-console-consumer.sh --bootstrap-server $HOST:$PORT --topic $TOPIC_NAME --from-beginning

Для чтения с определённой позиции нужно знать максимальный оффсет:

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list $HOST:$PORT --topic $TOPIC_NAME

Цифра, которую выдаст команда, это максимальное смещение.

./kafka-console-consumer.sh --bootstrap-server $HOST:$PORT --topic $TOPIC_NAME --offset $OFFSET_START --partition $PARTITION_NUMBER

$OFFSET_START — это максимальное смещение минус некая величина до позиции, с которой мы хотим вычитать топик.

Hairpin NAT Mikrotik

Sat, 08 Feb 2025 08:26:00 +0000

Потребовалось настроить хождение на сайты в локальной сети не через интернет, и тут неожиданно выяснилось, что инструкция на официальной Вики не очень рабочая. Беглый гуглинг привёл вот https://blog.mark99.ru/pravilnyj-nat-loopback-hairpin-nat-v-mikrotik/. Копипаст самого основного:

/ip firewall mangle
add chain=prerouting comment="NAT Loopback detect" dst-address=%EXTERNAL_IP% in-interface=LAN connection-state=new action=mark-packet new-packet-mark=nat-loopback passthrough=yes
/ip firewall nat
add chain=srcnat packet-mark=nat-loopback action=masquerade comment="NAT Loopback replace address" 
/ip firewall nat
add chain=dstnat dst-address=%EXTERNAL_IP% protocol=tcp dst-port=80,443 action=dst-nat to-addresses=%SITE_IP_INTERNAL%

gallery-dl

Thu, 30 Jan 2025 13:41:39 +0000

Минималистичная консольная утилита, которая позволяет в автоматическом режиме тягать контент с нескольких десятков сайтов. Мне потребовалось, чтоб в автоматическом режиме вытянуть контент со страницы, на которую я был подписан в Boosty.
GitHub

gallery-dl --cookies-from-browser firefox "URL"