M9K blog: заметки с тегом системное администрирование

Proxmox 7 + Debian 12|13 LXC Template

Sat, 07 Feb 2026 03:27:43 +0000

У Proxmox есть неплохая обратная совместимость с более свежими версиями LXC-контейнеров по сравнению с той версией Debian, на которой основан текущий релиз. В нашем случае используется Proxmox 7 (на базе Debian 11).

При попытке создать контейнер получаем ошибку вида:

TASK ERROR: unable to create CT 100 - unsupported debian version '1X'

Для обхода проблемы правим файл
/usr/share/perl5/PVE/LXC/Setup/Debian.pm в двух местах.

Обновляем карту версий:

my $version_map = { 'stretch/sid' => 9.1, 'buster/sid' => 10, 'bullseye/sid'=> 11, 'bookworm/sid'=> 12, 'trixie/sid' => 13, 'kali-rolling'=> 11, };

Расширяем допустимый диапазон версий:

if !($version >= 4 && $version <= 14);

После этого перезапускаем связанные демоны:

systemctl restart pvedaemon 
systemctl restart pveproxy

Готово, контейнер успешно создаётся.

Разумеется, это грязный хак: при обновлениях Proxmox изменения будут перезаписаны, так что решение подходит только как временное.

Windows перемещение файлов в директории по совпадению части имени

Fri, 10 Oct 2025 02:38:06 +0000

В указанной директории ищем файлы с «_45» или «_16», перемещаем во внутреннюю создаваемую директорию.

$dir = "C:\work\pics"
$target = Join-Path $dir 'substrateInstagram'
New-Item -ItemType Directory -Path $target -Force | Out-Null
Get-ChildItem -Path $dir -Filter *.jpg -File |
  Where-Object { $_.BaseName -match '(_45|_16)' } |
  Move-Item -Destination $target

Linux Passwordless oneliner

Mon, 25 Aug 2025 10:44:17 +0000

TARGET=user@host; PORT=22; [[ -r ~/.ssh/id_ed25519.pub ]] || ssh-keygen -t ed25519 -N "" -f ~/.ssh/id_ed25519; ssh -p "$PORT" "$TARGET" 'umask 077; mkdir -p ~/.ssh && cat > ~/.ssh/authorized_keys' < ~/.ssh/id_ed25519.pub && ssh -p "$PORT" "$TARGET" 'echo ">>> Root доступ подтверждён"'

CouchDB, Debian, AstraLinux, Docker и все-все-все

Thu, 14 Aug 2025 10:40:09 +0000

Возникла необходимость запустить Couchdb в контейнере, где базовая ось (и базовые же пакеты) должны быть очень-очень свежими, в противной случай контейнер не проходит встроенную проверку на безопасность.
Стандартный официальный образ собран на базе Debian 12.

FROM debian:bookworm-slim

Простая замена базового образа на

FROM debian:trixie-slim

приводит к тому, что контейнер не собирается по зависимостям.
Смотрим официальную репу в части зависимостей и видим прекрасное — libmozjs-78-0 (>= 78.15.0). Пробуем ставить свежую версию, которая есть в репах — не помогает, пакет couchdb принципиально требует libmozjs-78-0.

Ок, скрещиваем ежа и ужа.

У debian есть механизм apt-pinning. Это механизм, позволяющий задать приоритеты для версий пакетов из разных источников (репозиториев, release-веток, PPA), чтобы фиксировать версию, запрещать обновление или предпочитать конкретный источник.

Коротко приоритеты делятся на:

< 0 — никогда не устанавливать.
1..99 — ставить только при явном указании версии.
100 — приоритет уже установленной версии.
500 — дефолт для неприоритетных источников.
990 — приоритет для целевого релиза (-t), либо если явно указан release.
>1000 — разрешает понижение версии (downgrade) к закреплённой.

Добавляет в наш Dockerfile:

RUN echo "deb http://deb.debian.org/debian bookworm main" > /etc/apt/sources.list.d/bookworm.list && \
    echo "Package: *\nPin: release n=bookworm\nPin-Priority: 500" > /etc/apt/preferences.d/bookworm && \
    echo "Package: *\nPin: release n=trixie\nPin-Priority: 600" > /etc/apt/preferences.d/trixie && \
    echo "deb [signed-by=/usr/share/keyrings/couchdb-archive-keyring.gpg] https://apache.jfrog.io/artifactory/couchdb-deb/ bookworm main" \
            > /etc/apt/sources.list.d/couchdb.list && \
    apt-get update

Основная часть пакетов ставится из свежей репы, часть, которых в ней нет — из старых.

Curl over ssh-tls-tunnel

Thu, 14 Aug 2025 10:21:23 +0000

Есть ресурс resource.name, на который нужно ходить curl-ом с засылкой данных через JSON. Специфика ресурса такова, что он принимает соединения через TLS 1.3.
Есть сервер A server.name, на котором нет выхода на нужный ресурс, но есть Nginx, и есть ssh-доступ до сервера B
Есть сервер B, на котором есть выход на нужный ресурс, но сам сервер очень старый, и TLS на нём не проходит по требования resource.name.

printf '' | openssl s_client -connect 127.0.0.1:8443 -servername resource.name -tls1_3 -brief

Костылим:
На сервере A поднимаем туннель на внутренний порт:

ssh -fN -o ExitOnForwardFailure=yes -o ServerAliveInterval=60 -o ServerAliveCountMax=3 -L 8443:resource.name:443 user@serverB

На Nginx рисуем конфиг:

server {
        listen 9090;
        server_name         server.name;

        access_log  /site/logs/nginx/port_9090.log  main;
        error_log   /site/logs/nginx/port_9090.error.log;

location / {
        proxy_pass https://127.0.0.1:8443;

        proxy_set_header Host resource.name;
        proxy_ssl_server_name on;
        proxy_ssl_name resource.name;
        proxy_ssl_protocols TLSv1.3;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto https;
        proxy_connect_timeout 10s;
        proxy_read_timeout 60s;
        proxy_ssl_verify off;
}
}

Кидаемся тестовым запросом:

curl -v -X POST 'http://server.name:9090/resource' -H 'Content-Type: application/json' --data '{"login":"$LOGIN","password":"$PASSWORD"}'

Unzip без unzip

Thu, 14 Aug 2025 10:07:44 +0000

Есть сервер без выхода в сеть с древней ОС и мёртвыми репами. Нужно распаковать zip-архив — но утилиты нет.
Решаем вопрос python-ом:

python - <<'EOF'
import zipfile, os
archive = 'archive.zip'
target_dir = 'archive.zip'

if not os.path.exists(target_dir):
    os.makedirs(target_dir)

with zipfile.ZipFile(archive, 'r') as z:
    for name in z.namelist():
        z.extract(name, target_dir)
EOF

Multistage Docker — как пересобирать без кэша не весь Dockefile

Tue, 05 Aug 2025 08:47:54 +0000

Возникла необходимость пересобрать отдельный stage-контейнер из Dockerfile. Первый собранный контейнер — это контейнер сборки OpenSSL, который выполняется очень, очень долго. Для того, чтоб сэкономить время, во вторую часть добавляем:

# Stage 1: OpenSSL-сборка (пусть останется закешированной)
FROM debian:bookworm AS openssl-build
# ... 
# Stage 2: основная
FROM debian:bookworm-slim
# Аргумент, чтобы инвалидировать кэш
ARG CACHE_BREAKER=default
# Используем его в ENV, чтобы Docker счёл слой новым
ENV CACHE_BREAKER=${CACHE_BREAKER}

Перечитывание топологии диска в ВМ после расширения его в гипервизоре

Tue, 08 Apr 2025 08:04:53 +0000

echo 1 > /sys/class/scsi_device/0:0:0:0/device/rescan

Chain из цепочки сертификатов

Wed, 19 Mar 2025 03:47:53 +0000

cat domain.crt intermediate.crt root.crt > chain.crt

-----BEGIN CERTIFICATE-----
...
-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----
...
-----END CERTIFICATE-----
-----BEGIN CERTIFICATE-----
...
-----END CERTIFICATE-----

ZFS на Oracle Linux 8.10

Thu, 06 Mar 2025 10:29:29 +0000

При установке ZFS на Oracle Linux 8.10 по официальной доке столкнулся с неочевидной ошибкой:

checking for kernel config option compatibility... done
checking whether CONFIG_MODULES is defined... no
configure: error:
*** This kernel does not include the required loadable module
*** support!
***
*** To build OpenZFS as a loadable Linux kernel module
*** enable loadable module support by setting
*** `CONFIG_MODULES=y` in the kernel configuration and run
*** `make modules_prepare` in the Linux source tree.
***
*** If you don’t intend to enable loadable kernel module
*** support, please compile OpenZFS as a Linux kernel built-in.
***
*** Prepare the Linux source tree by running `make prepare`,
*** use the OpenZFS `—enable-linux-builtin` configure option,
*** copy the OpenZFS sources into the Linux source tree using
*** `./copy-builtin `,
*** set `CONFIG_ZFS=y` in the kernel configuration and compile
*** kernel as usual.

Объяснение и решение проблемы нашёл тут

The root of the problem is with the GCC toolset used to build UEK7 kernel, which is different from the one used to build Redhat compatible version. RH kernel is built (using the default) GCC.

Решение:

dnf install -y gcc-toolset-11-annobin-plugin-gcc
. /opt/rh/gcc-toolset-11/enable
dkms install zfs/$VERSION

Python 2.7 на Debian 12

Thu, 06 Mar 2025 10:22:59 +0000

Потребовалось старым Ansible выполнить скрипты на свежайщем Debian 12. Столкнулся с тем, что в дистрибутиве окончательно выпилили поддержку Python 2.7. Пришлось сотворить Франкенштейна:

Добавляем в /etc/apt/sources.list:

deb http://archive.debian.org/debian/ stretch contrib main non-free

Обновляемся

sudo apt-get update

Делаем установку

sudo apt-get install python2.7

Делаем симлинк на бинарь

cd /usr/bin &&  ln -s python2.7 python

Удаляем добавленное в п.1 и повторно делаем пункт 2.

Основной потребитель swap на Linux-серверах

Tue, 04 Mar 2025 02:45:41 +0000

for file in /proc/*/status ; do awk '/VmSwap|Name/{printf $2 " " $3}END{ print ""}' $file; done | sort -k 2 -n -r | less

Взято отсюда

SED удалить комментарии из XML

Mon, 24 Feb 2025 04:28:21 +0000

Возникла задача сравнить два XML-файла конфигурации Clickhouse для выяснения, что же в ней не так. Беда конфигурации в том, что она содержит прям какое-то совершенное безумное количество закомментированных параметров, и сравнение «в лоб» превращается в муку. Почистим файлы SED-ом:

cat config.xml | sed '/<!--.*-->/d' | sed '/<!--/,/-->/d' | sed '/^[[:space:]]*$/d' > config_without_comments.xml

Apache Kafka Чтение из топиков

Fri, 14 Feb 2025 09:19:41 +0000

Простое чтение топика с нулевой позиции:

./kafka-console-consumer.sh --bootstrap-server $HOST:$PORT --topic $TOPIC_NAME --from-beginning

Для чтения с определённой позиции нужно знать максимальный оффсет:

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list $HOST:$PORT --topic $TOPIC_NAME

Цифра, которую выдаст команда, это максимальное смещение.

./kafka-console-consumer.sh --bootstrap-server $HOST:$PORT --topic $TOPIC_NAME --offset $OFFSET_START --partition $PARTITION_NUMBER

$OFFSET_START — это максимальное смещение минус некая величина до позиции, с которой мы хотим вычитать топик.

Hairpin NAT Mikrotik

Sat, 08 Feb 2025 08:26:00 +0000

Потребовалось настроить хождение на сайты в локальной сети не через интернет, и тут неожиданно выяснилось, что инструкция на официальной Вики не очень рабочая. Беглый гуглинг привёл вот https://blog.mark99.ru/pravilnyj-nat-loopback-hairpin-nat-v-mikrotik/. Копипаст самого основного:

/ip firewall mangle
add chain=prerouting comment="NAT Loopback detect" dst-address=%EXTERNAL_IP% in-interface=LAN connection-state=new action=mark-packet new-packet-mark=nat-loopback passthrough=yes
/ip firewall nat
add chain=srcnat packet-mark=nat-loopback action=masquerade comment="NAT Loopback replace address" 
/ip firewall nat
add chain=dstnat dst-address=%EXTERNAL_IP% protocol=tcp dst-port=80,443 action=dst-nat to-addresses=%SITE_IP_INTERNAL%

gallery-dl

Thu, 30 Jan 2025 13:41:39 +0000

Минималистичная консольная утилита, которая позволяет в автоматическом режиме тягать контент с нескольких десятков сайтов. Мне потребовалось, чтоб в автоматическом режиме вытянуть контент со страницы, на которую я был подписан в Boosty.
GitHub

gallery-dl --cookies-from-browser firefox "URL"

Bombardier

Fri, 24 Jan 2025 15:03:29 +0000

Максимальная простая и удобная тулза для тестирования нагрузки веб-приложений.
GitHub
Пример:

bombardier -c 125 -n 10000000 http://localhost:8080

Oracle: Cloning scheme in entire DB

Tue, 06 Aug 2024 07:27:14 +0000

>CREATE USER <SCHEME_DEST> IDENTIFIED BY "<SCHEME_DEST_PASSWORD>";
>GRANT CONNECT TO <SCHEME_DEST>;
>GRANT CREATE SESSION TO <SCHEME_DEST>;
>ALTER USER <SCHEME_DEST> quota unlimited on <DEFAULT_USER_TABLESPACE>;
>expdp system/<SYSTEM PASSWORD>@<DB_SID> schemas=<SCHEME_SRC> directory=<DIRECTORY NAME> dumpfile=<DUMP NAME>.dmp logfile=explog.txt
>impdp system/<SYSTEM PASSWORD>@<DB_SID> directory=<DIRECTORY NAME> dumpfile=<DUMP NAME>.dmp logfile=implog.txt remap_schema=<SCHEME_SRC>:<SCHEME_DEST> transform=OID:N

Add NonPassword Sudo to sudoers

Mon, 15 Jul 2024 03:14:19 +0000

echo "$USER ALL=(ALL:ALL) NOPASSWD: ALL" | sudo tee /etc/sudoers.d/$USER

Проверка работы FTPs с использованием сертификатов

Fri, 12 Jul 2024 05:47:00 +0000

curl -3 -k -v --ftp-ssl --tlsv1.2 --ftp-ssl-reqd --ftp-pasv --key client.key --cacert ca.crt --cert client.crt --user $USERNAME ftp://$IP:$PORT