Теория без практики - бесполезна, поэтому настало время написать подробную установку и настройку OpenVZ на CentOS/Red Hat/ Fedora. У меня установлена именно CentOS 6.5.

Добавим репозитории для того чтобы установить ядро OpenVZ и пару программ для работы с контейнерами, для этого выполним:

# wget -P /etc/yum.repos.d/ http://ftp.openvz.org/openvz.repo # rpm --import http://ftp.openvz.org/RPM-GPG-Key-OpenVZ

Установим ядро и все наши утилиты, выполним команду в терминале:

# yum install vzctl vzquota ploop

Ограниченная функциональности в OpenVZ поддерживается при запуске современного ядра 3.x (нужно проверить vzctl апстрима ядра, так что установка OpenVZ ядро является обязательным):

# yum install vzkernel

На офф сайте говорится, что с vzctl начиная с версии 4.4 настройки параметров ядра нужно немного видоизменить (/etc/sysctl.conf), . На официальном сайте вычитал что это необходимо сделать так как есть целый ряд параметров ядра, которые должны быть установлены в OpenVZ для корректной работы. Эти параметры хранятся в /etc/sysctl.conf. Вот соответствующие фрагменты файла; пожалуйста, измените соответствующим образом:

# On Hardware Node we generally need # packet forwarding enabled and proxy arp disabled net.ipv4.ip_forward = 1 net.ipv6.conf.default.forwarding = 1 net.ipv6.conf.all.forwarding = 1 net.ipv4.conf.default.proxy_arp = 0 # Enables source route verification net.ipv4.conf.all.rp_filter = 1 # Enables the magic-sysrq key kernel.sysrq = 1 # We do not want all our interfaces to send redirects net.ipv4.conf.default.send_redirects = 1 net.ipv4.conf.all.send_redirects = 0

Необходимо отключить SELinux в вашей системе.По этому положите SELINUX=disabled в /etc/sysconfig/selinux выполнив команду:

# echo "SELINUX=disabled" > /etc/sysconfig/selinux

Теперь перезагрузите машину и выберем «OpenVZ» в самом меню загрузчика.

Перегрузимся и убедимся что версии ядра совпадают:

Если версия ядра совпадают, то вы все сделали правильно, или нужно проверить какое именно ядро загружает в GRUB. Создадим наш контейнер:

vzctl create 103 —ostemplate debian-7.0-x86_64 —config vswap-2g

Шаблон для создания контейнера с Debian 7 будет скачан с официального сайта OpenVZ и установится сам для дальнейшего использования (если вы хотите еще добавить в контейнер, то выберите на сайтике!).

Создадим конфигурацию для нового нашего контейнера: Добавим контейнер в автозагрузку после запуска нашей хост-системы.

# vzctl set 103 --onboot yes --save

Задаем hostname для нашей новой системы (для ВПСки).

# vzctl set 103 --hostname debian7.for_test.com --save

Назначим айпи (ИП) , установка для VENET — соединения

# vzctl set 103 --save --ipadd 192.168.244.31

Прописываем DNS — сервера

# vzctl set 103 --save --nameserver 8.8.8.8 --nameserver 8.8.4.4

Присвоим количество cpu-ядер

# vzctl set 103 --save --cpus 2

Присвоим количество RAM

# vzctl set 103 --save --ram 4G

Присвоим количество swap

# vzctl set 103 --save --swap 2G

Задаем размер нашего жесткого диска

# vzctl set 103 --save --diskspace 10G

Запустим наш контейнер

# vzctl start 103

Установим пароль для root-пользователя

# vzctl exec 103 passwd

Таким образом мною был создан и настроем новый контейнер на системе Debian 7. Я настроил VENET-соединение для связи с внешним миром. В следующий раз можно исправить конфигурацию контейнера, отредактировав конфиг в /etc/vz/conf/:

Физически контейнер лежит в /vz/private/103:

# cd /vz/private/103

Если контейнер работает и вам нужно что то добавить или настроить, то все изменения лучше осуществлять пользуясь путем /vz/root/103, который делает синхронизацию с /vz/private/103. OpenVZ имеет возможность настройки VETH (Virtual ETHernet) или VENET (Virtual NETwork) сетевого интерфейса внутри вашего контейнера. VETH позволяет отправлять broadcasts-сообщения внутри вашего контейнера и у него имеется MAC - адрес на интерфейсе, поэтому можно настроить автоматическое получение адреса с помощью DHCP или настроить Samba - сервер, который также требует broadcasts-сообщений. VETH-интерфейс задается исключительно с помощью vzctl, все другие настройки интерфейса (ввод IP, gateway и др.) нужно делать в самом контейнере. Но, скорее всего, VENET-соединения будет вам с головой. К преимуществам последнего можно отнести высокую скорость работы по сравнению с VETH и быструю его настройку ресурсами хост-машины.

Немного больше о сетевых соединениях контейнеров почитайте на wiki OpenVZ. Сейчас напишу как создать контейнер с использованием VETH-соединения. Для начала нужно создать vmbr0 bridge. Нужно установить пакет bridge-utils, после чего будем настраивать интерфейс vmbr0:

# yum install bridge-utils # ee /etc/sysconfig/network-scripts/ifcfg-vmbr0 DEVICE="vmbr0" BOOTPROTO="static" IPV6INIT="no" ONBOOT="yes" TYPE="Bridge" DELAY=0 IPADDR=192.168.244.30 NETMASK=255.255.255.0 GATEWAY=192.168.244.1

eth0 настроим таким образом:

# ee /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" ONBOOT="yes" IPV6INIT="no" TYPE="Ethernet" BRIDGE="vmbr0"

Но до этого у eth0 был статический IP 192.168.244.30. Создадим /etc/vz/vznet.conf со следующим содержанием:

# ee /etc/vz/vznet.conf #! /bin/bash EXTERNAL_SCRIPT = "/usr/sbin/vznetaddbr"

Ребутнем нашу хост-машинку. В этот раз,я выберу др ОС для создания нового (другого) контейнера с VETH сетевым соединением:

# vzctl create 102 --ostemplate centos-6-x86_64 --config vswap-1g

И соответственно настроим:

# vzctl set 102 --save --onboot yes # vzctl set 102 --save --hostname centos6.for_test.com

задание VETH-соединения

# vzctl set 102 --save --netif_add eth0,FE:FF:FF:FF:FF:FF # vzctl set 102 --save --nameserver 8.8.8.8 --nameserver 8.8.4.4 # vzctl set 102 --save --cpus 1 # vzctl set 102 --save --ram 2G # vzctl set 102 --save --swap 1G # vzctl set 102 --save --diskspace 10G # vzctl start 102 # vzctl exec 102 passwd

Создадим новый конфиг для нашей сети нового контейнера и ребутнем сеть:

# cat << _EOF_ > /vz/root/102/etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" HOSTNAME="centos6" IPV6INIT="no" MTU="1500" TYPE="Ethernet" ONBOOT=yes BOOTPROTO=static IPADDR=192.168.244.32 NETMASK=255.255.255.0 GATEWAY=192.168.244.1 _EOF_ # vzctl exec 102 /etc/init.d/network restart

Учтите что для Ubuntu/Debian все настройки сети хранятся в /etc/network/interfaces:

# cat << _EOF_ > /vz/root/102/etc/network/interfaces auto lo eth0 iface lo inet loopback iface eth0 inet static address 192.168.244.32 netmask 255.255.255.0 gateway 192.168.244.1 _EOF_ # vzctl exec 102 /etc/init.d/networking restart

В результате сетевое соединение (VETH) мы имеем:

А когда я настраивал VENET было вот так:

Управление контейнерами или их квотами выполняется через программу vzctl. Напишу нужные команды: Запуск $CTID контейнера

# vzctl start $CTID

Прекращение работы контейнера

# vzctl stop $CTID

Ребут контейнера

# vzctl restart $CTID

Удаления контейнера, но до этого нужно остановить его

# vzctl destroy $CTID

Запуск команды в контейнере

# vzctl exec $CTID command

Логин в консоль контейнера $CTID через хост — машину

# vzctl enter $CTID

Настройки опций для виртуальной машины

# vzctl set $CTID different_options --save

Если есть нужда в настройках квоты для ваши контейнеров без перегрузки, то ограничить объем HDD и количество инод можно так (синтаксис задания такой software_limit:hardware_limit):
1000000 — это приблизительно 1GB

# vzctl set 101 --diskspace 1000000:1100000 --save

Задаем количество дисковых инод.

# vzctl set 101 --diskinodes 90000:91000 --save

Задаем время на которое можно поднять квоту до hardware limit

# vzctl set 101 --quotatime 600 --save

Если есть необходимость,то можно перенастроить приоритет ввода/вывода (disk I/O) на HDD. Самый высокий — это уровень 7, низкий - это 0. По дефолту disk I/O установлен на 4, но можно это и поправить:

# vzctl set 101 --ioprio 6 --save

Проверяем:

# grep IOPRIO /etc/vz/conf/101.conf IOPRIO = " 6"

Если есть необходимость то легко можно поправить (увеличить или уменьшить) количество ядер до 4 на новом контейнере:

# vzctl set 101 --cpus 4 --save

Если на самой хост-системе будет меньше ядер чем в контейнере, то желаемых изменений не увидите. Установить количество RAM и SWAP-а можно следующим образом:

# vzctl set 101 --physpages 256M --save # vzctl set 101 --swappages 384M --save

Чтобы увидеть все контейнеры и их статус можно запустить утилиту vzlist:

Хочу рассказать о дампах в контейнерах. Чтобы это сделать нужна утилита vzdump. Она с легкостью может почти без стопа вашего контейнера копировать/мигрировать/бекапить контейнер. Но для начала нужно установить:

# rpm -ivh "http://ftp.openvz.org/contrib/utils/vzdump/vzdump-1.2-4.noarch.rpm"

А пользоваться ею можно так:

vzdump —suspend 102

Можно легко отресторить дамп в новую машину с новым CTID:

Установка OpenVZ на CentOS окончена! Рассказал что знал и собрал много материала до кучи! Если есть вопросы, пишите. Если вы хотите графический интерфейс для того чтобы хорошо работать с вашими виртуальными машинами то используйте Proxmox или OpenVZ Web Panel.

Система виртуализации OpenVZ

Часть 1.Введение

Серия контента:

Назначение систем виртуализации

Виртуализация – это термин, обозначающий, в частности, имитацию отдельного компьютера и/или отдельной операционной системы с помощью специального программного обеспечения.

В настоящее время виртуализация популярна по нескольким причинам.

Во-первых, она уменьшает потребность в физических компьютерах, так как одна машина получает возможность одновременно выполнять несколько разнотипных операционных систем. При этом улучшается утилизация вычислительных ресурсов, так как для большинства задач современное оборудование обладает избыточной мощностью.

Во-вторых, повышается безопасность за счёт возможности переноса в изолированные окружения таких сервисов, как Samba и Apache, работающих с правами суперпользователя и имеющих большое количество выявленных и потенциальных уязвимостей. Если различные сервисы управляются разными администраторами, каждый администратор может получить права суперпользователя в своём окружении, в то же время не имея доступа ни к соседним окружениям, ни к основной системе.

Системы виртуализации предоставляют также дополнительный контроль над потреблением ресурсов, благодаря чему проблемы в одном окружении не приводят к проблемам в остальных.

В-третьих, упрощается обслуживание. Например, так как гостевые окружения не содержат аппаратно-зависимых настроек, упрощается их перенос (миграция) с одного компьютера на другой. Создание новых виртуальных окружений происходит намного быстрее, чем инсталляция новой системы на компьютер. Настройки сервисов, разнесённых по разным окружениям, перестают пересекаться, что облегчает их сопровождение. Настройка дисков, межсетевого экрана, резервное копирование и прочие задачи выполняются однократно в основной системе.

Краткое сравнение популярных систем

Программное обеспечение для виртуализации полезно оценивать по следующим критериям:

• необходимость аппаратной поддержки (например, Intel VT и AMD SVM);
• возможность использовать аппаратную поддержку при её наличии;
• установка и запуск из-под существующей операционной системы (Windows, Linux) или на «голое железо»;
• способность запускать операционные системы, отличные от установленной;
• наличие и необходимость драйверов паравиртуализации для запускаемых операционных систем;
• необходимость графической консоли для работы.

С одной стороны, по предоставляемым возможностям OpenVZ уступает большинству других решений: запускается только из-под Linux, в виртуальных окружениях запускает только Linux и для работы на десктопе не предназначен.

С другой стороны, OpenVZ выигрывает по предъявляемым требованиям: аппаратная поддержка виртуализации ему не требуется, потребление ресурсов и разница в быстродействии между базовой и виртуальной средой минимальны, установка и управление упрощены до предела.

Таким образом, главной нишей применения OpenVZ являются:

• хостинги Linux-VPS;
• серверы, на которых запущено несколько сервисов с правами суперпользователя (разнесение по изолированным окружениям повысит безопасность) или со сложными настройками (разнесение упростит сопровождение).

В этой нише по набору возможностей OpenVZ превосходит FreeBSD Jails и linux-vserver, и приближается к Solaris Zones.

Данная статья в первую очередь адресована не специалистам хостинг-провайдеров, так как изложенная здесь информация им давно известна, а рядовым Linux-администраторам, серверы которых подпадают под второй пункт.

Архитектура

OpenVZ разрабатывается как патч (набор улучшений и дополнений) к исходным текстам ядра Linux. В модифицированном ядре добавлен массив дополнительных сущностей – виртуальных окружений (virtual environments, VE), а для всех имеющихся объектов (процессы, сокеты и т. д.) введены дополнительные поля – номер VE, к которому этот объект относится, и номер объекта внутри VE.

Каждое виртуальное окружение имеет собственный набор квот на потребление системных ресурсов и отдельный каталог для использования в качестве корневой файловой системы.

Дополнительные модули ядра – vzdev, vzmon и прочие – отвечают за работу ограничений, мониторинг, эмуляцию сети в VE, сохранение и восстановление текущего состояния запущенных контейнеров.

К преимуществам OpenVZ по сравнению с более универсальными инструментами виртуализации, такими как Xen и KVM, является прозрачный доступ из внешней системы к процессам, файлам и прочим ресурсам в гостевых. Например, если потребуется остановить во всех контейнерах сервис, в котором обнаружилась уязвимость, во внешней системе («хост-системе») достаточно выполнить команду «killall имя_исполняемого_файла».

Данный пример выводит номера (PID) всех процессов init с номерами контейнеров, в которых они запущены:

# ps -A | grep -w init | awk "{print $1}" | xargs vzpid Pid VEID Name 1 0 init 6905 11 init 7462 12 init

Процессы init, запущенные в контейнерах 11 и 12, внутри контейнеров, как им и положено, имеют PID 1, при этом в хост-системе они видны как PID 6905 и 7462. Номер контейнера, которому принадлежит процесс с указанным PID, сообщает утилита vzpid.

Установка OpenVZ

В ALT Linux Server поддержка OpenVZ присутствует из «коробки», ядро и утилиты находятся на инсталляционном CD-ROM"е и устанавливаются по умолчанию:

$ rpm -qa | grep vz vzctl-3.0.22-alt3 alterator-ovz-0.4-alt8 spt-profiles-ovz-0.2.2-alt1 vzquota-3.0.11-alt1 kernel-image-ovz-smp-2.6.27-alt6

Debian, начиная с текущей стабильной версии 5.0 «Lenny», также содержит OpenVZ в стандартном репозитории. Его установка выполняется следующей командой («-686» для 32-разрядной системы, «-amd64» для 64-разрядной):

sudo aptitude install vzctl vzquota linux-image-openvz-686

В Ubuntu ситуация обратная: OpenVZ поддерживался в версии 8.04, а из 8.10 был исключён в связи с появлением KVM. Так как версия 8.04 имеет увеличенный срок поддержки до 2013 года, с точки зрения безопасности допустимо подключить её репозитарий к более новой системе. Это делается созданием файла /etc/apt/sources.list.d/8.04-hardy-main со следующим содержимым:

deb http://mirror.yandex.ru/ubuntu hardy main deb http://mirror.yandex.ru/ubuntu hardy-updates main deb http://mirror.yandex.ru/ubuntu hardy-security main

Чтение подключённого репозитария и установка OpenVZ:

sudo apt-get update sudo apt-get install vzctl vzquota linux-openvz

Естественно, при этом в обмен на поддержку OpenVZ придётся пожертвовать функциональностью, появившейся в новых версиях ядра после выхода Ubuntu 8.04.

Поддержка Fedora, RHEL (RedHat Enterprise Linux) и CentOS выполняется самими разработчиками OpenVZ. Со своей стороны, разработчики Fedora добавили драйвер для OpenVZ в libvirt , универсальную библиотеку управления виртуальными окружениями, включаемую во многие Linux-дистрибутивы.

1. Подключение yum-репозитария: cd /etc/yum.repos.d wget http://download.openvz.org/openvz.repo rpm --import http://download.openvz.org/RPM-GPG-Key-OpenVZ
2. Отключение SELinux (строка «SELINUX=disabled» в файле /etc/sysconfig/selinux) и настройка sysctl.
3. Установка ядра, перезапуск, установка утилит: yum install ovzkernel reboot yum install vzctl vzquota

Для всех дистрибутивов некоторые переменные ядра рекомендуется установить в следующие значения:

net.ipv4.conf.default.forwarding=1 net.ipv4.conf.default.proxy_arp = 0 net.ipv4.ip_forward=1 net.ipv4.conf.all.rp_filter = 1 kernel.sysrq = 1 net.ipv4.conf.default.send_redirects = 1 net.ipv4.conf.all.send_redirects = 0

Добавьте эти строки в /etc/sysctl.conf и примените командой «sudo sysctl -p».

После завершения установки можно запустить OpenVZ командой «/etc/init.d/vz start» и включить автоматический запуск при старте системы командой chkconfig или update-rc.d.

Структура каталогов

Ниже перечислены наиболее важные файлы и каталоги OpenVZ:

• /etc/vz/vz.conf – файл с общими настройками;
• /etc/vz/conf/*.conf – файлы с настройками контейнеров;
• /var/lib/vz/private – каталог с корневыми файловыми системами контейнеров;
• /var/lib/vz/root – каталог с точками монтирования корневых файловых систем запущенных контейнеров;
• /var/lib/vz/template/cache – каталог для архивов с образами корневых файловых систем для заполнения создаваемых контейнеров;
• /proc/user_beancounters – счётчики ограничений.

В тот момент, когда контейнер остановлен, его каталог в /var/lib/vz/root пуст, и редактирование данных следует производить в /var/lib/vz/private. Когда контейнер запущен, рекомендуется вносить изменения в.../root и ничего не менять в.../private. Синхронизация произойдёт автоматически.

В первых версиях OpenVZ каталог /var/lib/vz располагался в /vz, т.е. непосредственно в корневом каталоге. Некоторые описания рекомендуют создавать символьную ссылку с нового имени на старое («ln -sf /var/lib/vz /»), чтобы гарантировать правильность работы устаревших инструментов.

Шаблоны

При архивации файловой системы в шаблон желательно также очистить от ненужной информации каталоги /var/log, /var/spool, /var/cache и т. д.

Обновление шаблона свежими версиями программного обеспечения должно происходить по следующей схеме (на примере обновления ALT Linux с 4.1 до 5.0):

• создаётся и запускается новый контейнер: vzctl create 101 --ostemplate altlinux-4.1-x86_64 vzctl start 101
• в контейнере в /etc/apt/sources.list оставляется единственный файл branch50.list: rpm http://mirror.yandex.ru/altlinux/5.0/branch x86_64 classic rpm http://mirror.yandex.ru/altlinux/5.0/branch noarch classic #rpm http://mirror.yandex.ru/altlinux/updates/5.0 x86_64 updates #rpm http://mirror.yandex.ru/altlinux/backports/5.0 x86_64 backports
• запускается обновление: vzctl enter 101 apt-get update apt-get dist-upgrade apt-get clean
• удаляются файлы *.rpmnew (свежие варианты настроек, конфликтующие с изменёнными вариантами из шаблона) и *.rpmsave (старые настройки, не использующиеся в обновлённой системе)
• контейнер останавливается, его каталог запаковывается в новый шаблон: vzctl stop 101 tar -C /var/lib/vz/private/101 \ -czf /var/lib/vz/template/cache/altlinux-5.0-x86_64.tar.gz.

Конфигурации

Информация в данном разделе не требуется для практического использования в большинстве случаев, но будет полезной для общего понимания структуры OpenVZ.

Кроме файловой системы, создаваемому контейнеру назначается конфигурация . Как правило, «vzctl create» определяет её автоматически по имени файла-шаблона, но при необходимости можно указать её вручную параметром «--config». После создания контейнера имя его конфигурации хранится в его файле настроек (/etc/vz/conf/*.conf) – либо в строке «CONFIG=...», либо вычисляется по строке «OSTEMPLATE=...».

Конфигурации хранятся в каталоге /etc/vz/dists и содержат списки команд для управления настройками в системе, работающей внутри контейнера. Например, назначение IP-адреса для контейнера производится следующей командой:

vzctl set 101 --ipadd 192.0.2.101

В зависимости от конфигурации, наряду с сохранением IP-адреса в /etc/vz/conf/11.conf, внутри запущенного контейнера будут выполнены следующие действия:

• для Slackware: записать IP-адрес в файл /etc/rc.d/rc.inet1.conf
  и выполнить команду «/etc/rc.d/rc.inet restart»;
• для Debian и Ubuntu: записать IP-адрес в /etc/network/interfaces
  и выполнить «/etc/init.d/networking restart»;
• для ALT Linux: записать IP-адрес в /etc/net/ifaces/venet0/ipv4address
  и выполнить «ifup venet0».

Кроме перечисленных систем, готовые конфигурации имеются для Arch, Centos/Fedora/RHEL, Mandrake, SLES/OpenSUSE, Openwall, старых версий RedHat и SuSE. Конфигурация по умолчанию (dists/default) предназначена для систем от Redhat. Скелет для создания собственных конфигураций с подробными комментариями находится в dists/distribution.conf-template.

Заключение

Итак, мы рассмотрели архитектуру системы виртуализации OpenVZ и некоторые вопросы, связанные с ее установкой и практическим использованием. В следующей, завершающей статье цикла подробнее расскажем об использовании этой системы виртуализации.

Ресурсы для скачивания

static.content.url=http://www.сайт/developerworks/js/artrating/

ArticleID=471423

ArticleTitle=Система виртуализации OpenVZ: Часть 1.Введение

Система виртуализации OpenVZ

Часть 2.Работаем с контейнерами

Серия контента:

Утилита управления vzctl

Снова рассмотрим команду создания нового контейнера:

vzctl create 101 --ostemplate ubuntu-9.04-x86_64

Здесь 101 – это вручную выбираемый VEID (virtual environment ID) или CTID (container ID), целочисленный номер нового контейнера, который будет использоваться для управления им. Рекомендуется не использовать: а) зарезервированные номера меньше 101 и б) одинаковые номера на разных VPS-фермах, чтобы не иметь потенциальных проблем с миграцией и легче идентифицировать физическое расположение контейнера по его номеру.

После завершения данной команды появятся файл /etc/vz/conf/101.conf с настройками и каталоги: /var/lib/vz/private/101 (заполненный содержимым шаблона) и /var/lib/vz/root/101 (пустой).

Затем выполняется настройка:

vzctl set 101 --save --name example1 --ipadd 192.0.2.101 --hostname example1.homelink.ru --nameserver 192.0.2.2 --onboot yes --privvmpages 72000:80000

В этом примере используются следующие аргументы:

• «save» приказывает сохранить изменения в conf-файле. Без этого параметра они будут применены к запущенному контейнеру без сохранения;
• «name» задаёт произвольное читабельное имя, которое затем можно использовать вместо VEID. Например, «vzctl status example1»;
• «ipadd» назначает контейнеру IP-адрес во внутренней сети OpenVZ;
• «hostname» изменяет имя системы, используемое внутри контейнера для самоидентификации;
• «nameserver» конфигурирует контейнер на использование указанного DNS-сервера;
• «onboot» приказывает запускать контейнер при старте OpenVZ;
• «privvmpages» устанавливает новые лимиты для одного из параметров.

После этого контейнер можно запустить:

vzctl start example1

Проверить его выполнение:

# vzctl status example1 VEID 101 exist mounted running # vzlist VEID NPROC STATUS IP_ADDR HOSTNAME 20 53 running 192.0.2.101 example1.homelink.ru

Выполнить в нём одиночную команду:

vzctl exec example1 uname -a

Перейти в командную строку контейнера с правами суперпользователя:

vzctl enter example1

Лимиты

OpenVZ ограничивает для контейнеров потребление всех системных ресурсов: процессора, оперативной памяти, дискового пространства, системных буферов, сокетов и т. д. Начальные лимиты настолько строгие, что даже команда «apt-get update» в только что созданном контейнере завершается с сообщением об ошибке.

Управление ограничениями в системе с OpenVZ является двухуровневым: для контейнера в целом – средствами OpenVZ, внутри контейнера – стандартными средствами Linux, через ulimit и дисковые квоты.

Для проверки внешних ограничений служит файл /proc/user_beancounters . Внутри контейнера этот файл заполнен информацией по данному контейнеру, во внешней системе содержит сведения обо всех запущенных окружениях. Основной интерес в нём представляет последний столбец, «failcnt» («failure counter», т. е. «количество сбоев»):

egrep -v " 0$" /proc/user_beancounters

Для вывода в более удобном формате, а также для периодических отчётов рекомендуется использовать несколько небольших утилит, доступных на сайте :

# ubc_failstat Version: 2.5 uid resource held maxheld barrier limit failcnt 20: privvmpages 184917 209713 200000 250000 5 15: numproc 16 130 130 130 31 15: numfile 515 2048 2048 2048 1122 13: tcpsndbuf 0 332416 319488 524288 55341330 # ubc_faildiff /tmp/failstat.yesterday uid resource old new delta 13: tcpsndbuf 50463657 52879924 2416267 15: numfile 856 1122 266 15: numproc 13 31 18

Из вывода ubc_failstat видно, что проблемы имеются в трёх контейнерах (13,15,20) , а ubc_faildiff показывает динамику количества ошибок по сравнению с предыдущим запомненным результатом.

Примеры исправления:

vzctl set 20 --save --privvmpages 250000:300000 vzctl set 15 --save --numproc 200:200 --numfile 4096:4096

vzctl не полностью проверяет корректность вводимых аргументов (например, позволяет задавать разный лимит и барьер для таких параметров, как numproc и numfile, для которых лимит и барьер обязаны совпадать), поэтому рекомендуется проводить дополнительную проверку конфигурационных файлов с помощью утилиты vzcfgvalidate:

for n in /etc/vz/conf/??.conf;do echo Check $n; vzcfgvalidate $n; done

Обратите внимание, что проверяется именно файл (с указанием полного пути), а не текущие параметры, которые могут быть другими, если «vzctl set» запускался без ключа «--save». С другой стороны, vzcfgvalidate удобен тем, что может проверять параметры, когда контейнер не запущен.

Для исправления конфигурационного файла vzcfgvalidate следует запустить с ключом «-r» («repair mode», автоматическое исправление) или «-i» («interactive repair», ручное исправление).

Отличие между лимитом и барьером заключается в следующем: при превышении барьера счётчик ошибок увеличивается, но запрошенная операция выполняется. При превышении лимита операция завершается с ошибкой.

Сеть

OpenVZ создаёт в хост-системе и в каждом контейнере сетевой интерфейс venet0. Хост-система получает IP-адрес 192.0.2.1 и служит для контейнеров шлюзом по умолчанию:

# vzctl exec 101 ip route list 192.0.2.1 dev venet0 scope link default via 192.0.2.1 dev venet0

Если контейнер должен быть доступен только локально (например, в нём выполняется FastCGI-приложение, вызываемое через запущенный в соседнем контейнере Web-сервер), ему следует выделить адрес из диапазона 192.0.2.0/24, например, 192.0.2.$VEID. Если же контейнер должен быть виден из внешнего мира, ему следует назначить IP-адрес из той же сети, в которой находится внешний интерфейс VPS-фермы (допустим, что её IP-адрес на сетевом интерфейсе eth0 равен 1.2.3.10/24):

vzctl set 101 --save --ipadd 1.2.3.11 vzctl set 102 --save --ipadd 1.2.3.12

Проверка:

# vzctl exec 101 ip addr list dev venet0 3: venet0: link/void inet 127.0.0.1/32 scope host venet0 inet 1.2.3.11/32 scope global venet0:2 # ip route list | grep 1.2.3.11 1.2.3.11 dev venet0 scope link

При этом OpenVZ автоматически создаст для IP-адреса контейнера ProxyARP-запись на внешних сетевых интерфейсах VPS-фермы, как если бы была вызвана команда «arp -i eth0 -Ds 10.20.30.11 eth0 pub»:

# arp -ani eth0 ? (1.2.3.10) at 00:11:22:33:44:55 on eth0 ? (1.2.3.11) at * PERM PUP on eth0 ? (1.2.3.12) at * PERM PUP on eth0

Не забудьте также разрешить на VPS-ферме маршрутизацию между интерфейсами eth0 и venet0, например:

# iptables -A FORWARD -i venet0 -j ACCEPT # iptables -A FORWARD -o venet0 -j ACCEPT # sysctl net.ipv4.conf.all.forwarding = 1 # sysctl net.ipv4.ip_forward = 1

IP-адрес 192.0.2.1 на хост-системе является неявным – его нет в свойствах устройства venet0, хотя хост-система видит через tcpdump пакеты, посылаемые на этот адрес из контейнеров. Таким образом, если хост-система хочет предоставлять контейнерам какие-то сервисы, например, DNS или прокси, следует явно назначить интерфейсу venet0 дополнительный IP, например, 192.0.2.2/24. Например, в ALT Linux это делается созданием каталога /etc/net/ifaces/venet0 с двумя файлами:

• ipv4address: 192.0.2.2/24
• options: TYPE=venet ONBOOT=yes

Обратите внимание на «ONBOOT=yes». Благодаря ему интерфейс venet0 появится не в момент запуска OpenVZ, а существенно раньше – в момент запуска сети, т. е. перед запуском сетевых сервисов, и не будет исчезать при остановках OpenVZ. Это позволит явно привязать сервисы к venet0 и сделать их недоступными на остальных интерфейсах, не прибегая к помощи файрволла.

Пакет etcnet в ALTLinux содержит несколько относящихся к venet мелких ошибок, не влияющих на работоспособность, но приводящих к неверной диагностике при любых вызовах /etc/init.d/network. Исправление для них доступно на сайте bugzilla.altlinux.org .

Кроме venet (Virtual Network), OpenVZ способен предоставлять контейнерам ещё один тип устройств, veth (Virtual Ethernet). Veth предоставляет больше возможностей , но сложнее в настройке , менее производителен и требуется в исключительных случаях, поэтому здесь не описывается.

Доступ к устройствам

Из виртуальных окружений прямой доступ отсутствует и к железу, и к ядру. Каталог /dev почти пуст и содержит только логические устройства: null, zero, random, tty, console и т. д.

Сервисы, для работы которых требуется загрузка модулей ядра, смогут работать при выполнении трёх условий:

• данный модуль загружен во внешней системе;
• файл соответствующего устройства перенесён в /dev контейнера командой «vzctl set 11 --devnodes»;
• модуль ядра во внешней системе и использующий его сервис в контейнере используют совместимые версии ABI («Application binary interface», «двоичный интерфейс для приложений»).

Если используемый в контейнере сценарий запуска сервиса в /etc/init.d пытается загружать необходимые сервису модули ядра с помощью команды modprobe, он не должен проверять результат загрузки ни через код завершения modprobe, так как modprobe завершится с ошибкой, ни с помощью команды lsmod, так как lsmod выведет пустой список.

Рассмотрим пример использования файловой системы FtpFs внутри контейнера:

• для организации доступа используется пакет curlftpfs, входящий в большинство дистрибутивов. Этот пакет должен быть инсталлирован внутри контейнера;
• curlftpfs использует fuse (Filesystem in USErspace) для получения из ядра обращений к файловой системе, которые он преобразует в вызовы библиотеки curl для обращения к FTP-серверу;
• Fuse состоит из двух компонентов: драйвер файловой системы в ядре и библиотека-диспетчер в пространстве пользователя, которой драйвер передаёт все запросы;
• драйвер и библиотека обмениваются данными через устройство /dev/fuse;
• хотя программы и библиотеки запускаются внутри контейнера, драйвер и средства управления им должны быть инсталлированы в хост-системе;
• каталог /dev в хост-системе и каталог /dev в контейнере – это разные каталоги; драйвер создаёт /dev/fuse в хост-системе и, чтобы /dev/fuse стал доступен в контейнере, требуется специальное указание.

Таким образом, настройка сводится к следующим шагам:

• в контейнере инсталлируется curlftpfs. Вместе с ним автоматически установятся libfuse и libcurl, от которых он зависит;
• в /etc/modules хост-системы вручную добавляется строка «fuse», чтобы драйвер, хранящийся в данном модуле ядра, автоматически загружался при старте системы;
• альтернативно – во внешней системе инсталлируется пакет fuse; входящий в него сценарий /etc/init.d/fuse обеспечивает корректную загрузку драйвера,
• для немедленного запуска драйвера выполняется команда «modprobe fuse» или «/etc/init.d/fuse start»,
• созданный драйвером файл /dev/fuse копируется из внешней системы в контейнер: vzctl set 11 --devnodes fuse:rw --save
• благодаря «--save» в /etc/vz/conf/11.conf добавится строка «DEVNODES="fuse:rw "», следуя которой OpenVZ будет автоматически создавать /dev/fuse внутри контейнера при его запуске.

Virtuozzo

OpenVZ разрабатывается фирмой Parallels как часть более крупного коммерческого продукта под названием Parallels Virtuozzo Containers или PVC (ранее называвшегося просто Virtuozzo). В число преимуществ Virtuozzo, по сравнению с OpenVZ, входят:

• файловая система VZFS;
• управление через графическую консоль и Web-интерфейс;
• программный интерфейс на базе XML для создания собственных инструментов управления и контроля;
• средства миграции с физической системы в контейнер и обратно;
• средства контроля за полосой и суммарным потреблением трафика;
• интеграция с Plesk , коммерческой панелью управления хостингом той же фирмы;
• круглосуточная техническая поддержка.

VZFS позволяет совмещать файловые системы контейнеров, при этом базовый образ используется всеми контейнерами, а изменения в нём для каждого контейнера сохраняются раздельно (аналог UnionFS). Преимущества такого подхода:

• место, занимаемое программами на диске, становится фиксированным и не зависит от количества контейнеров, в которых эти программы инсталлированы;
• уменьшается расход ОЗУ, так как код нескольких экземпляров программы или библиотеки, запущенной из одного и того же исполняемого файла, размещается в ОЗУ в единственном экземпляре;
• обновление программного обеспечения в группе контейнеров выполняется одной командой.

Термины и сокращения

• HN, Hardware Node – хост-система, физический компьютер с непосредственно инсталлированной на него операционной системой, служащие платформой для запуска виртуальных окружений;
• VE, Virtual Environment – виртуальное окружение, имитирующее отдельный компьютер и/или отдельную операционную систему за счёт части ресурсов настоящего компьютера и запущенной на нём ОС;
• CT, Container – более современный синоним VE;
• VEID и CTID – числовой идентификатор контейнера, используемый для управления им;
• CT0 и VE0 – синоним хост-системы;
• UBC, User Beancounters – набор ограничений на потребление системных ресурсов, назначаемый контейнеру;
• VPS, Virtual Private Hosting, виртуальный приватный хостинг – хостинг с поддержкой одной операционной системы (а также, возможно, единственного набора программ), в котором виртуализируется программное окружение. Ядро ОС запущено в единственном экземпляре, доступа к нему клиенты-владельцы виртуальных окружений не имеют;
• VDS, Virtual Dedicated Hosting, виртуальный выделенный хостинг – хостинг с поддержкой различных операционных систем, в котором виртуализируется аппаратное окружение. В каждой виртуальной среде загружается своё ядро, доступное для управления клиенту-владельцу данной среды.

Заключение

Простая в установке и использовании производительная система Linux-виртуализации OpenVZ полезна не только для организации хостинга, но и для небольших Linux-серверов, так как повышает безопасность и упрощает обслуживание таких систем. С ее помощью администратор может, например, изолировать от основной системы потенциально уязвимые сервисы. Надеемся, наши статьи помогут читателям в их повседневной работе.

Ресурсы для скачивания

static.content.url=http://www.сайт/developerworks/js/artrating/

ArticleID=472857

ArticleTitle=Система виртуализации OpenVZ: Часть 2.Работаем с контейнерами

OpenVZ позволит Вам запустить еще один (или несколько) экземпляр Linux (в нашем случае Debian) на вашем хосте.

Установка в Debian

Для нормальной работы OpenVZ требуется ядро с vz-патчами. В Debian такие ядра имеют суффикс -openvz и для архитектуры i386 собраны с поддержкой памяти более 4 гигабайт. Установим ядро:

apt-get install linux-image-2.6.26-2-openvz-686

Все дальнейшие работы будем вести перезагрузившись в это ядро.

Дополнительно

Для работы с VZ необходимы:

утилита управления vzctl

утилита для создания образа системы debootstrap

• произвольный текстовый редактор

apt-get install vzctl debootstrap vim

Подготовка гостевой системы

Для начала выберите место, где будет находиться Ваша гостевая OS. В данном руководстве будем считать, что гостевая система будет расположена в каталоге /vz/guest . Создадим базовый образ гостевой системы:

mkdir /vz/guest debootstrap lenny /vz/guest

Примечание : Необходимо отметить, что создание образа гостевой системы в OpenVZ предполагается осуществлять при помощи скачивания и распаковки tgz-шаблона операционной системы. Однако в случае Debian совсем необязательно качать сотни мегабайт данных: в Debian имеется утилита debootstrap, которая прекрасно справляется с задачей создания минимальной системы.

Подготовка гостевой системы традиционным для VZ способом

Этот способ стоит применять, если Вы хотите в гостевой системе установить не Debian, а другую операционную систему. Для этого нужно скачать шаблон интересующей нас системы с сайта . Затем можно распаковать этот шаблон в каталог /vz/guest , либо положить шаблон в каталог /var/lib/vz/template/cache . Во втором случае, для того, чтобы создать гостевую систему необходимо выдать команду:

vzctl create 10 --ostemplate имя_шаблона --private /vz/guest

где, 10 - идентификатор создаваемой системы, имя_шаблона - имя скачанного шаблона, /vz/guest - путь куда будет установлена гостевая система (распакован шаблон). В случае создания системы из шаблона файл 10.conf в /etc/vz/conf будет создан автоматически.

Выбор идентификатора Вашей гостевой системы

OpenVZ различает гостевые системы по их номеру. Хороший способ задания номера гостевой системы -- последний октет её ip-адреса. К сожалению, сейчас не имеется общепринятого способа отображения номеров VZ в человекочитаемые имена. Утилита vzctl может назначать синонимы для номеров VZ и работать с ними. Однако некоторые из других утилит для VZ могут их не понимать.

Для задания имени-синонима гостю с номером 256 можно создать симлинк:

/etc/vz/names/guestname -> /etc/vz/conf/256.conf

либо использовать для этой цели vzctl :

vzctl set 256 --name guestname --save

В дальнейшем можно будет использовать вместо номера VZ его имя (для данного примера - guestname ), но это уже после того как гость создан и номер ему назначен, а пока будем считать, что мы создаем гостя с номером 10.

Начало работы с гостем

Идем в каталог /etc/vz/conf и копируем файл-шаблон конфига ve-light.conf-sample в файл с именем 10.conf , где 10 - выбранный нами идентификатор системы. В этом файле мы исправим всего один параметр (вернее, добавим):

OSTEMPLATE="debian"

Это необходимо потому, что утилита vzctl , которой мы будем пользоваться далее, не умеет вносить изменения в это поле, а создание гостя из шаблона мы, по описанным выше причинам, пропустили.

Дальнейшее конфигурирование системы мы будем вести при помощи утилиты vzctl . Для того, чтобы изменить какой-то из параметров гостя, используется команда

vzctl set <номер гостя> --параметр значение --параметр значение --save

Открываем man vzctl и идем по параметрам сверху вниз, попутно собирая одну большую конфигурационную команду:

vzctl set 10 \ --onboot yes \ --private /vz/private \ --ipadd 1.2.3.4 \ --nameserver 4.3.2.1 \ --searchdomain mydomain.ru \ --numproc 100 \ --privvmpages 32768 --save

Большинство параметров, указанных здесь, можно опустить, а некоторые из них -- указать прямо во время создания гостя (смотрите вывод vzctl --help). Единственный необходимый на данный момент параметр -- --private : с его помощью мы укажем vztcl, где искать файлы гостевой системы. Более подробно некоторые параметры будут рассмотрены ниже, а пока, выполнив вышеприведенную команду, мы можем уже запустить гостя:

vzctl start 10

Для того, чтобы остановить гостя, наберите

vzctl stop 10

Ну и самое интересное -- зайти в запущенного гостя рутом:

vzctl enter 10

На этом шаге Вы можете приступить к собственно конфигурированию гостя: установке сервера ssh, любимого редактора, шелла и т.п. Скорее всего, Вы сразу наткнетесь на ограничения, выставленные гостю по умолчанию, например "слишком маленький диск" или "слишком мало памяти", ниже мы рассмотрим (а выше мы частично уже рассмотрели), как изменять эти ограничения, добавлю лишь, что изнутри гостя всегда можно посмотреть, какие ограничения у Вас установлены:

cat /proc/user_beancounters

Эта команда работает и на хост-системе, выведя ограничения для всех гостей, а также максимальные значения параметров (контейнер с номером 0 ).

Перезапускать гостя после изменения каких-то из его параметров чаще всего необязательно, например, параметры, связанные с ограничениями памяти, дисковой гостя всё-таки понадобилась, то сделать это можно с использованием той же утилиты:

vzctl restart 10

Параметры гостя

VZ позволяет устанавливать множество параметров для гостевой системы. На этом вики вы можете найти , а вот некоторые из них:

Параметр	vps.conf	Значение	Описание
Общие и сетевые параметры
			Задает имя гостевой системе, которое можно использовать вместо числового идентификатора
			Путь к расположению гостя в файловой системе
			Путь отображения файловой системы гостя при старте
			Запускать ли гостя при загрузке системы
			Добавить IP адрес к гостевой системе
			Удалить IP адрес из гостевой системы
			Установить hostname гостевой системе
			Установить используемый DNS-сервер гостевой системе
			Установить домен поиска гостевой системе
		интерфейс,параметры	установить сетевой интерфейс в гостевой системе
		интерфейс	удалить сетевой интерфейс из гостевой системы
		интерфейс	передать гостевой системе интерфейс из хостовой системы
		интерфейс	удалить из гостевой системы интерфейс
			Число одновременно запущенных процессов
			Число TCP-сокетов
			Число не-TCP-сокетов
			Количество 4096-байтных блоков памяти выделенных гостю
			Количество одновременно открытых файлов
			Количество возможных файловых блокировок
			Количество CPU делегируемых гостю
			Объем дискового пространства, выделенный гостю

Необходимо отметить, что во многих случаях вместо просто числа можно писать два числа через двоеточие. Первое число будет означать "барьер" лимита параметра. А второе собственно лимит. При прохождении гостем "барьера" будет срабатывать счетчик, значение которого Вы можете посмотреть в файле /proc/user_beancounters в последней графе.

Многие параметры можно вводить несколько раз (с разными значениями), например, для добавления двух сетевых интерфейсов в гостя можно ввести два раза --netif_add с разными значениями.

Важно : Необходимо отметить, что некоторые параметры собственно гостевой системы нельзя или бессмысленно менять из гостевой системы. Это касается всех параметров, которые изменяются при помощи утилиты vzctl: при каждом новом старте гостя VZ изменяет его настройки на установленные в конфиг-файле этого гостя.

Вместо использования утилиты vzctl можно использовать традиционный способ правки конфигурационного файла. Каждый из параметров, изменяемых vzctl отображается в параметр вида

имя=значение

конфигурационного файла. Значения этих параметров можно посмотреть в man vz.conf и man vps.conf . После изменения произвольного параметра этим способом гостя необходимо перезапустить.

Оптимизации

Утилита debootstrap создает минимальный Debian для использования его в произвольном месте (не только в виртуальной системе), поэтому некоторые вещи во вновь созданной системе могут показаться Вам лишними. Например процессы getty явно не нужны в гостевой системе. Чтобы выключить их, откройте на редактирование файл /etc/inittab , найдите в нем строки, содержащие /sbin/getty и закоментируйте их. Затем выдайте внутри гостя команду telinit q , либо перезапустите гостя для уничтожения ненужных процессов.

OpenVZ - контейнерная система виртуализации для Linux. Мы можем создать n-ое количество виртуальных машин, в зависимости от конфигурации нашей реальной машины. Каждая виртуальная машина будет работать как отдельная автономная система и не будет конфликтовать с другими машинами.

Созданные с помощью OpenVZ машины могут быть перезагружены независимо одна от одной, могут иметь разных пользователей, IP адреса, память, процессы, файлы, приложения, библиотеки и настройки. Так как используется виртуализация на уровне ОС, в отличие от VirtualBox Vmware и KVM, гостевые системы будут использовать одно и то же ядро - хост системы.

Это позволяет каждой машине наиболее эффективно работать с системными ресурсами: памятью, процессором, дисковым пространством и сетью. В этой инструкции будет рассмотрена установка OpenVZ на Ubuntu 16.04.

Системные требования:

• Intel совместимый или AMD процессор;
• Как минимум 128 Мб оперативной памяти;
• Минимум 4 ГБ свободного места на диске;
• Подключение к интернет;

Установка OpenVZ Ubuntu выполняется очень просто. В официальных репозиториях нужных пакетов нет, поэтому нам придется подключить к системе репозиторий от разработчиков. Но сначала получим права суперпользователя:

Добавим репозиторий OpenVZ в систему:

cat << EOF > /etc/apt/sources.list.d/openvz-rhel6.list
deb http://download.openvz.org/debian wheezy main
# deb http://download.openvz.org/debian wheezy-test main
EOF

Импортируем OpenVZ GPG ключ для репозитория:

wget http://ftp.openvz.org/debian/archive.key

apt-key add archive.key

Обновим списки пакетов:

apt-get install linux-image-openvz-amd64

Или для i386:

apt-get update && apt-get install linux-image-openvz-686

Настроем параметры нового ядра:

Включаем форвардинг пакетов и отключаем прокси
net.ipv4.ip_forward = 1
net.ipv6.conf.default.forwarding = 1
net.ipv6.conf.all.forwarding = 1
net.ipv4.conf.default.proxy_arp = 0

# Включаем проверку маршрута
net.ipv4.conf.all.rp_filter = 1

# включаем magic-sysrq
kernel.sysrq = 1

# Разрешаем использовать редиректы для сетевых интерфейсов
net.ipv4.conf.default.send_redirects = 1
net.ipv4.conf.all.send_redirects = 0

Затем установим утилиты для контроля и статистики OpenVZ:

apt-get install vzctl vzquota ploop vzstats

Установка OpenVZ на Ubuntu 16.04 завершена. Теперь можно перезагрузить компьютер и загрузится с ядром OpenVZ Ubuntu, Пункт меню Ubuntu with openvz можно найти в подменю Advanted options for Ubuntu:

Теперь вы готовы создавать и управлять виртуальными машинами в OpenVZ.

Создание виртуальных машин OpenVZ

Создадим нашу первую виртуальную машину. Для этого существует утилита vzctl. Выполните команду:

sudo vzctl create 1 --ostemplate debian-7.0-x86_64 --config vswap-2g

Здесь 1, это уникальный номер виртуальной машины, --ostemplate указывает шаблон дистрибутива, который будет загружен и распакован, в нашем случае это Debian 7. Опция --config задает конфигурационный файл, в котором указаны все настройки машины. Конфигурационные файлы лежат в каталоге /etc/vz/conf/.

Настраивать OpenVZ в Ubuntu будем с помощью утилиты vzctl. Сначала добавим старт при загрузке:

sudo vzctl set 1 --onboot yes --save

Зададим имя хоста:

sudo vzctl set 1 --hostname debian7.example.com - save

Установим IP адрес и DNS сервера:

sudo vzctl set 1 --save --ipadd 192.168.1.2

$ sudo vzctl set 1 --save --nameserver 8.8.8.8

Количество используемых ядер:

sudo vzctl set 1 --save --cpus 4

Доступное количество оперативной памяти:

sudo vzctl set 1 --save --ram 1G

Размер раздела подкачки:

sudo vzctl set 1 --save --swap 4G

Доступное дисковое пространство:

sudo vzctl set 1 --save --diskspace 100G

Готово. С настройкой OpenVZ Ubuntu завершили, теперь запускаем машину:

sudo vzctl start 1

И устанавливаем пароль:

sudo vzctl exec 1 passwd

Готово. Машина работает и вы уже можете ее использовать. При указании ip адреса для виртуальной машины убедитесь, что для физической и виртуальной машины используется одна и та же подсеть. Если хотите использовать другую подсеть нужно отредактировать файл /etc/vz/vz.conf:

vi /etc/vz/vz.conf

Раскомментируйте строчку:

NEIGHBOUR_DEVS=detect

И измените ее на:

NEIGHBOUR_DEVS=all

Выводы

Вот и все. Теперь вы знаете как выполняется установка openvz на ubuntu 16.04. Для меня настройка OpenVZ показалась намного проще чем те же самые LXC контейнеры. Если у вас остались вопросы, спрашивайте в комментариях!

Похожие записи: