Как AVM обновляет платформу управления виртуальными машинами без остановки клиентских VM

Поддержание доступности виртуальных машин при обновлении самой платформы управления — одна из самых сложных задач для любого провайдера облачных и виртуальных услуг. Команда AVM поделилась опытом создания и эксплуатации собственной платформы управления виртуальными машинами Aéza. В этой части рассказа речь идёт о том, как обновлять систему без остановки клиентских VM, выполнять живую миграцию, переживать сбои и масштабировать инфраструктуру, а также о проблемах, возникших на этом пути.

Подробности

Основной акцент в материале сделан на непрерывности работы клиентских виртуальных машин. Обновление платформы управления само по себе не должно приводить к простою VM, поэтому ключевым требованием становится проведение работ «на ходу» — без остановки нагрузки пользователей. Отдельно рассматривается живая миграция виртуальных машин: она позволяет переносить работающие VM между узлами инфраструктуры, не прерывая их работу. Это критично как при плановом обслуживании, так и при необходимости перераспределить нагрузку. Значительная часть повествования посвящена устойчивости к сбоям. Авторы разбирают, как платформа переживает отказы отдельных компонентов и какие механизмы позволяют сохранять работоспособность сервиса. Также затронута тема масштабирования инфраструктуры — роста числа узлов и увеличения объёмов обрабатываемой нагрузки. В публикации честно описаны и проблемы, с которыми команда столкнулась по пути. Это делает материал полезным для инженеров, которые строят или сопровождают собственные платформы виртуализации и сталкиваются с похожими вызовами: обновления без простоя, миграция живых VM и отказоустойчивость. Стоит отметить, что в исходном материале не приводятся конкретные версии продуктов, идентификаторы CVE или иные технические реквизиты уязвимостей — речь идёт об архитектурном и эксплуатационном опыте, а не об инциденте безопасности.

Что делать

Если вы эксплуатируете собственную платформу управления виртуальными машинами или пользуетесь услугами провайдера, стоит обратить внимание на следующие практики: — Проверяйте, как обновления платформы управления влияют на доступность клиентских VM: обновление панели управления не должно останавливать сами виртуальные машины. — Убедитесь, что поддерживается живая миграция работающих VM — это снижает риск простоя при плановом обслуживании и перераспределении нагрузки. — Заранее прорабатывайте сценарии отказов: какие компоненты могут выйти из строя и как платформа сохранит работоспособность сервиса. — Планируйте масштабирование с запасом, чтобы рост инфраструктуры не приводил к деградации управления. — Изучайте чужой опыт внедрения — разбор проблем, с которыми столкнулись коллеги, помогает избежать аналогичных ошибок. Для пользователей облачных услуг разумно уточнять у провайдера, как именно проводятся обновления и обслуживание: остановят ли ваши VM, поддерживается ли миграция без простоя и какие гарантии доступности предоставляются. Итог: опыт AVM показывает, что обновления, живая миграция и масштабирование платформы управления VM — решаемые, но нетривиальные задачи, требующие продуманной архитектуры и готовности разбираться со сбоями. Такой разбор полезен всем, кто строит отказоустойчивую инфраструктуру виртуализации.

Источник: Хабр — Системное администрирование