Третий год подряд компания VMware оценивает мой вклад в развитие сообщества VMware и вручает награду VMware vExpert.
В свою очередь я хотел бы поблагодарить всех кто смотрит, оценивает, комментирует и распространяет публикуемые мной материалы. Надеюсь, что они вам полезны и также нравятся, как и мне. В этом году я продолжу выкладывать статьи и обзоры на новые продукты и технологии VMware, а также планирую продолжить запись и публикацию веб-кастов по VMware vSphere 7!
В прошлом году стала доступна новая версия VMware vSAN 7 Update 3, которая доставляет гибкость, устойчивость и готовность к будущим нагрузкам в инфраструктуру. Чтобы материал не остался лежать в столе, я решил опубликовать его сейчас.
VMware vSAN предоставляет общую модель управления в периметре, облаке или корневом центре обработки данных (ЦОД). В новом релизе увеличена надежность платформы, упрощено управление и просмотр, а также расширена инфраструктура для разработки.
Растянутые кластеры vSAN – это мощная топология, которая обеспечивает полную устойчивость в окружении, даже в случае выхода из строя географического расположения (сайта) по какой-либо из причин. VMware vSAN 7 Update 3 увеличивает доступность данных в случае недоступности сайта данных с последующей запланированной или не запланированной доступностью хоста наблюдателя. Доступность данных достигается за счет обеспечения защиты виртуальных машин и данных на уровне сайта, когда сайт данных и хост наблюдатель отключены (Offline). Эта возможность похожа своим поведением на конфигурацию синхронной репликации в массиве хранилища, она применима не только к растянутым кластерам (Stretched Clusters), но и к двух-узловым кластерам vSAN.
Многие клиенты VMware нашли двух-узловую топологию vSAN экстраординарно эффективной для сценариев с удаленным расположением, а также для реализации в периметре. Двух-узловые топологии высоко эффективны за счет предоставления устойчивости к событиям выхода из строя одного из хостов. В vSAN 7 Update 3 эта возможность была расширена за счет добавления вторичного уровня устойчивости. Практически также как растянутые кластеры vSAN, двух-узловые топологии теперь предлагают второй уровень устойчивости при наличии трех и более дисковых групп на хосте. Это значит, что топология способна выдержать полный выход из строя одного хоста, отказ наблюдателя и выход из строя дисковой группы на оставшемся хосте и при этом предоставлять полную доступность данных.
VMware vSAN предлагает службы шифрования для обеспечения целостности данных, хранящихся в окружении. Для шифрования данных в состоянии покоя (Data-at-Rest Encryption) управление ключами может обеспечиваться за счет vSphere Native Key Provider (NKP) или внешней службы управления ключами (KMS). В vSAN 7 Update 3 представлена полная поддержка использования Trusted Platform Module (TPM) на хостах с кластером vSAN для сохранения распределенных ключей, что защищает от ошибок коммуникаций с поставщиком ключей. Использование TPM полностью поддерживается при помощи vSphere NKP или внешнего управления ключами (KMS) и является одним из лучших методов построения надежного метода распространения и хранения ключей.
Поиск узких мест производительности в распределенных системах хранения, таких как vSAN может стать серьезным испытанием. В vSAN 7 Update 3 добавлен VM I/O Trip Analyzer для определения основных точек конкуренции. За счет возможности иллюстрации части пути данных в интерфейсе vCenter Server, администраторам предоставляется визуализация с индикацией возможных причин. Новая возможность не только отобразит визуальный путь данных, но и измерит вариативность (стандартное отклонение) времени задержки системы, которое поможет администраторам ответить на вопросы производительности и согласованности компонентов. Это дополняет существующие представления производительности vSAN, а также обеспечивает подробности ввода/вывода (IO Insight) для гранулированного отслеживания профилей ввода/вывода определенных виртуальных машин.
Проверки здоровья Skyline для кластера vSAN – это внушительный список проверок для захвата наиболее популярных ошибок, таких как ошибки в настройке. Новая логика vSAN 7 Update 3 обладает способностью понять связь между проверками здоровья для более быстрого и эффективного устранения неисправностей. Понимание связей между несколькими вызванными проверками здоровья позволяет быстрее выявлять корневую причину неисправности, что поможет устранить большинство или даже все предупреждения. Функционал также доступен через API, что позволяет использовать его в других решениях, таких как vRealize Operations.
VMware vSAN 7 Update 3 представил несколько новых метрик и проверок здоровья для предоставления лучшей видимости фабрики коммутации, подключенной к хостам vSAN, и возможности убедиться в наивысшем уровне целостности кластера. Обнаружение дублирования IP-адресов теперь является частью проверок здоровья, как и обнаружение ошибок синхронизации LACP, которые могут привести к задержкам в конфигурации.
В некоторых случаях требуется полостью выключить кластер vSAN. VMware vSAN 7 Update 3 добавил новый подход в обеспечении корректного выключения, таким образом, чтобы данные и плоскость управления были переведены в требуемое состояние. Рабочий поток с предварительными проверками поможет в сценариях выключения и включения для получения целостного, прогнозируемого результата. Упрощенные процедуры выключения и запуска, вместе с прочими улучшениями направлены на упрощение управления окружением vSAN.
vSphere Lifecycle Manager (vLCM) представил полностью новые уровни управления жизненным циклом хостов в кластерах vSphere и vSAN. VMware vSAN 7 Update 3 предоставил поддержку для топологий vSAN с выделенным хостом-наблюдателем (Witness Host Appliance). Как растянутые кластеры, так и двух-узловые окружения с выделенным наблюдателем, теперь могут управляться и обновляться при помощи vLCM. Дополнительно vSphere Lifecycle Manager теперь может выполнять проверку устройств хранения NVMe по списку совместимого оборудования (HCL).
VMware продолжает расширять возможности vSphere и vSAN для соответствия потребностям разработчиков и администраторов. Современная инфраструктура – это ключ к быстрой и эффективной доставке сервисов.
Инфраструктура для разработки должна соответствовать множеству требований организации и разработчиков, которые создают и управляют приложениями. Доступность на уровне сайта часто является одним из таких требований. VMware vSAN 7 Update 3 представляет расширения в платформе для обеспечения требований к устойчивости на уровне сайта. Растянутые кластеры могут быть идеальными для окружений, использующих постоянные тома в оригинальном Kubernetes. Все те же возможности устойчивости, присутствующие в растянутых кластерах vSAN и доступные для традиционных рабочих нагрузок, будут доступны для Kubernetes, в том числе второй уровень устойчивости и привязка к сайту (Site-affinity).
Вместе с новейшей версией vSAN стали доступны новые сертифицированные операторы постоянных сервисов от партнеров. Партнеры VMware – независимые поставщики программного обеспечения, самостоятельно выпускают анонсы своих предложений, но самое интересное здесь заключается в том, что начиная с VMware vSAN 7 Update 3 операторы могут обновляться без необходимости в обновлении vSphere, vSAN или vCenter Server. Разделение управления жизненным циклом постоянных сервисов (Persistent Services) обозначает более простые обновления для клиентов.
Вместе с новейшей редакцией, использование файловых томов с множественным доступом для записи (Read-Write-Many, RWM) теперь поддерживается в vSphere с Tanzu, в дополнение к блочным томам с единичным доступом для записи (Read-Write-Once, RWO), поддерживаемым в предыдущих версиях. Предоставление полностью новых уровней гибкости и эффективности для микро-сервисов с целью упрощения монтирования и доступа к постоянным томам, как и другим подам в кластере. Тома с множественным доступом для записи (RWM) могут быть легко предоставлены гостевым кластерам Tanzu Kubernetes Grid (TKG) при помощи файловых служб vSAN.
Новейшая версия vSAN включает в себя несколько расширений, которые будут увеличивать эффективность, устойчивость, производительность и емкость. Рекомендуется использовать новейшие версии vSphere и vSAN для получения всех возможностей и преимуществ платформы.
Подробнее познакомиться с новыми возможностями VMware vSphere 7 Update 3 можно при помощи моей статьи «Релиз VMware vSphere 7 Update 3».
4 октября 2021-го года состоялся релиз VMware Tanzu Community Edition – свободно доступный, поддерживаемый сообществом дистрибутив VMware Tanzu с открытым исходным кодом, который можно установить и настроить за несколько минут на локальной рабочей станции или в предпочтительном облаке. Теперь для всех желающих доступна полнофункциональная и при этом лёгкая в управлении платформа Kubernetes, которая отлично подойдёт как для использования, так и для изучения.
Практически весь мир информационных технологий движется в направлении облачных инфраструктур, построенных вокруг или на базе Kubernetes. Это и стало причиной создания VMware Tanzu. Но одних только технологий недостаточно – какими бы они не были великолепными, они не значат ничего без разработчиков, операторов платформ и инфраструктуры, инженеров обеспечения площадок, и прочих лиц, обладающих знаниями и навыками необходимыми для их использования. Tanzu Community Edition и ресурсы сообщества предназначены для помощи всем желающим в выработке навыков и приобретении опыта работы с облачными приложениями.
Настройка рабочего окружения Kubernetes при помощи программного обеспечения с открытым исходным кодом от сообщества может стать достаточно трудоемкой и продолжительной задачей. С другой стороны, простые решения могут подойти для базовых сценариев, но станут абсолютно бесполезны по мере увеличения потребностей.
Tanzu – это проверенное решение корпоративного уровня, спроектированное, реализованное и обеспечиваемое VMware.
Все технологии с открытым исходным кодом, необходимые для автоматизации доставки конечных приложений с использованием Kubernetes, включены в Tanzu Community Edition, в виде возможностей настройки платформы. Это значит, что можно начать с малого и затем легко добавлять новые возможности, по мере необходимости и роста. Вместе с возрастающими потребностями знания, навыки и наработки, полученные с использованием Tanzu Community Edition, могут быть легко перенесены на коммерческие решения Tanzu.
Для отдельно взятого специалиста важно иметь доступ к программному обеспечению для освоения новых технологий.
Tanzu Community Edition – это бесплатное программное обеспечение с открытым исходным кодом, не ограниченное специальными условиями использования или функционально. Его можно свободно загрузить без даты истечения срока, каких-либо ограничений по масштабу и без каких-либо отключенных компонентов. Таким образом, Tanzu Community Edition – это дистрибутив платформы Kubernetes, который можно свободно получить и использовать.
Для тех, кто не готов к собственному развертыванию, но хотел бы попробовать – Tanzu Community Edition доступна в размещённом окружении песочницы. Для освоения можно использовать учебные ресурсы от KubeAcademy, Tanzu Developer Center, и прочих. А для тех, кто нацелился на серьезное развертывание доступна экспертная поддержка.
Ключевой особенностью Tanzu Community Edition является простота и доступность – можно установить полнофункциональный кластер за считанные минуты. При этом можно использовать предпочтительную платформу – VMware vSphere, публичное облако или даже локальную рабочую станцию.
Tanzu Community Edition – свободна, распространяется с открытым исходным кодом, полнофункциональна, проста в управлении и поддерживается сообществом. Она подойдёт для разработчиков приложений, операторов информационных технологий, инженеров DevOps, а также для всех тех, кто только начинает свой путь в мир облачных приложений.
Всем желающим присоединиться будут рады в сообществе: http://tanzucommunityedition.io/.
Полтора года прошло с момента релиза VMware vSphere 7, направленного на доставку инфраструктуры для разработки и нагрузок искусственного интеллекта (AI), масштабирования без компромиссов и упрощённого управления. Команда разработки продолжает доставлять и улучшать ключевые возможности в этих областях. 28 сентября 2021-го года был анонсирован релиз VMware vSphere 7 Update 3, который продолжил расширять лидирующую в индустрии платформу для виртуализации и рабочих нагрузок.
Чтобы помочь клиентам получить доступ к инфраструктуре разработки, готовой к нагрузкам искусственного интеллекта (AI), был расширен сервис виртуальных машин (VM), представленный ранее. Вместе с vSphere 7 Update 3, разработчики и команды DevOps могут использовать команды Kubernetes для развертывания виртуальных машин на хостах с vGPU. Это поможет клиентам в создании и запуске приложений искусственного интеллекта на оборудовании с GPU при помощи модели самообслуживания. Вместе с возможностями, добавленными в VMware vSphere 7 Update 2 это обеспечит дополнительные преимущества.
Также, на базе обратной связи от клиентов, была упрощена настройка VMware vSphere с VMware Tanzu, особенно в части сетей. Это позволяет меньше времени тратить на подготовку и развертывание, а вместо этого сосредоточиться на изучении возможности использования vSphere в качестве платформы Kubernetes.
Масштабные системы с использованием постоянной памяти (Persistent Memory) продолжают увеличивать значимость за счёт приложений, построенных на таких платформах, как SAP HANA. Команда разработки продолжила расширять поддержку для постоянной памяти. В vSphere 7 Update 3 был упрощён анализ и настройка производительности за счёт подробностей пропускной способности и использования памяти. Дополнительно, можно настроить предупреждения на базе соглашений об уровне доступности (SLA), а приведение в соответствие – на базе обнаружений.
По мере того, как флэш и SSD-хранилище наращивает свою популярность, то же самое происходит и со стандартом транспорта NVMe для энергонезависимых систем хранения. В VMware vSphere 7 Update 3 добавлена поддержка для NVMe по TCP, что позволяет использовать инфраструктуру сетей TCP/IP для траффика хранилища, который лучше оптимизирован для флэш и SSD.
За счёт использования VMware NSX – платформы сети и безопасности виртуализации, можно подключать и защищать приложения в рамках всего окружения. В vSphere 7 Update 3 представлен плагин для NSX, который значительно упрощает настройку и администрирование безопасности и сетей NSX в клиенте vSphere, без необходимости входить в диспетчер NSX (NSX Manager). За счёт плагина клиенты получат упрощённый процесс установки и настройки NSX-T, а также бесшовную аутентификацию между vSphere и NSX-T.
Ну и в заключении, команда разработки улучшила vSphere Distributed Resource Scheduler (DRS) для лучшей (более разумной) обработки операций поддержки. Перемещение больших и более важных (критических) рабочих нагрузок минимизировано настолько – насколько это возможно, что сокращает возможный ущерб для пользовательских возможностей от операций обслуживания и обновления.
Пока я готовил данный материал к публикации, 21 октября 2021 года состоялся релиз VMware vSphere 7 Update 3a (7 U3a). Новейшее обновление обеспечило администраторов возможностью разворачивать инфраструктуру на базе GPU, с декларативным доступом, добавившую виртуальные машины с GPU для разработчиков в окружениях Kubernetes. Построенное на этих возможностях обновление позволяет вновь созданным виртуальным машинам стать частью кластера Tanzu Kubernetes Grid (TKG).
VMware vSphere 7 Update 3a обеспечивает следующие возможности:
VMware vSphere уже доступна для загрузки. В дальнейшем я планирую рассказать подробнее о некоторых отдельных возможностях нового релиза.
Познакомиться с установкой VMware vSphere 7 можно при помощи моих веб-кастов «Установка VMware ESXi 7» и «Установка VMware vCenter Server Appliance 7».
А дополнительную информацию о современных вызовах и направлении развития VMware vSphere можно получить при помощи следующих статей:
Если глубоко не погружаться в подробности, то архитектура x86 была коммерческим продуктом ещё в конце 1970-ых годов в виде 8-ми битного процессора (CPU). С соотношением сокет/процессор/ядро/поток – 1:1. Со временем, вместе с развитием технологий чипов, понятия размывались. Реальное положение дел остается таким, что все упирается в пространство. С точки зрения транзисторов – это обозначает плотность. Наверняка, многие слышали про закон Мура, который гласит, что число транзисторов в микрочипе удваивается каждые два года, а стоимость компьютера снижается на половину. Вопрос достижения предела закона Мура – это предмет длительных дебатов, но тем не менее он остаётся глубоким технологическим знатоком.
За годы развития вычислительной техники, процессоры (CPU) проделали огромный путь и совершили переход от отношения 1:1 к 1:много. Далее мы рассмотрим особенности современной архитектуры вокруг таких понятий как сокеты, процессоры, ядра и потоки.
На самом базовом уровне находится материнская плата, не способная ни на что без чипа процессора, который должен быть вставлен в специальный разъем – сокет (Socket). Более корректный термин – сокет процессора (CPU Socket). Современные блейд-серверы, как правило, используют материнские платы с двойным сокетом (Dual-Socket) в лезвиях, хотя встречается и оборудование совсем другого класса, такое как HP DL-980 – с восьмью сокетами. Отдельный большой вопрос, мимо которого пройти нельзя – это неунифицированный доступ к памяти (Non-Uniform Memory Access, NUMA). Узел NUMA не связан с процессором, так как представляет собой связь между сокетом процессора и ближайшим банком памяти.
Центральная вычислительная единица – процессор (CPU) – это самый широко применяемый термин, достаточно часто – неправильно, так как многие под процессором подразумевают сокеты, ядра и даже потоки. Фактически соотношение между сокетом и процессором остаётся 1:1, вне зависимости от того, как используется термин. В конце концов, процессор – это часть интегрированного кремния в сокет процессора на материнской плате.
Начиная с 2005/2006-го годов Intel и AMD начали выпускать процессоры с несколькими единицами обработки. В данном случае – это единицы предоставляющие возможность выполнять одну инструкцию от операционной системы. Таким образом, процессор с 10-ю ядрами способен параллельно выполнять 10 инструкций. К сожалению, в виду физической архитектуры, производительность увеличилась не пропорционально количеству ядер, так как в игру вступает фактор расположения – процессора (CPU) со связанными ядрами и памятью. Набор инструкций, приходящий от операционной системы, установленной на системе с несколькими процессорами, не видит единый кэш процессора (CPU Cache) и сталкивается с другими проблемами производительности из-за расположения.
Поток (Thread) – это просто очередь для инструкций операционной системы. Путаница обычно связана с термином гипертрединг (Hyperthreading), который существует с 1980-ых. А Intel не выпускала свой чип HT (Hyperthread) до Pentium 4 (примерно 2002-ой год). Если максимально все упростить, то включение HT разрешает два потока (или очереди) к ядру. Таким образом, включение HT на системе с 10-ю ядрами обеспечит 20 потоков. Система по-прежнему сможет выполнять 10 инструкций операционной системы за цикл, но при этом сможет помещать 20 инструкций в очередь. Это предоставляет дополнительный уровень эффективности, позволяя совершать множество событий постановки и выемки инструкций из очереди. HT способен предоставить до 30% прироста производительности за счёт устранения задержки (улучшения эффективности). Однако никакой магии здесь нет и это всего лишь приближает систему к теоретическому максимуму числа инструкций, которые могут выполняться в указанный отрезок времени на процессоре/ядре.
Рассмотрим пример с esxtop, термин «PCPU» используется для представления потока (а не физического процессора или ядра). Термин «CORE» – это ядро. Если значения PCPU не отображаются, это обозначает, что HT не включен в BIOS/EFI хоста гипервизора ESXi. В некоторых случаях – возможность ориентироваться в архитектуре и ее представлении на конечной системе может быть очень полезным, так как позволит получить представление о том какой процент времени каждый поток выполняется на ядре.
Все вышеперечисленное можно резюмировать следующим образом – архитектура x86 основана на последовательности:
Давненько у нас не было веб-кастов про VMware vSphere 7, а тем временем пришло время обсудить устройство сети и стандартный коммутатор vSphere (vSphere Standard Switch).
В веб-касте представлено описание компонентов сети составляющих основу сетевого стека хостов ESXi, а все демонстрации веб-каста представлены в двух интерфейсах: веб-интерфейсе хоста ESXi и vSphere Client. В веб-касте вы найдете настройку существующего коммутатора (vSS) и создание нового стандартного коммутатора, в том числе демонстрируется настройка устойчивого соединения с внешней сетью при помощи группы входящих каналов (Uplink), создание групп портов (Port Group) и переключение ресурсов между стандартными коммутаторами. В результате демонстраций настраивается разделение трафика управления хостом ESXi с трафиком виртуальных машин.
Подробности и видео: LebedevUM.
P.S. Чуть позже я планирую вернуться к вопросу виртуальных сетей VMware vSphere.
Обладая клиентской базой в 30 000 внедрений, команда разработки VMware vSAN не останавливается на достигнутом и продолжает реализовывать инновации. 9 марта 2021 года был анонсирован vSAN 7 Update 2, который доставляет гибкую, устойчивую, готовую к текущим и будущим нагрузкам инфраструктуру, что позволит клиентам соответствовать динамическим требованиям бизнеса без компромиссов в производительности, эффективности или надежности. Команда разработки расширила удобство vSAN, развернутого на различных физических топологиях, чтобы клиенты могли лучше удовлетворять потребности роста рабочих нагрузок.
VMware представила потрясающую новую возможность в vSAN HCI Mesh:
Вычислительные кластеры HCI Mesh используют протоколы vSAN для максимальной эффективности и возможности клиента с легкостью удовлетворить потребности любого сценария применения.
Наиболее важное заключается в том, что вычислительные кластеры HCI Mesh не требуют какого-либо лицензирования vSAN.
Масштабирование также было улучшено. В результате, возможное число хостов, подключающихся к хранилищу данных vSAN (Datastore) было увеличено до 128.
Одна из наиболее интересных возможностей, относящихся к HCI Mesh – это интеграция с политиками хранения (Storage Policies). Теперь, при определении политик хранения, администратор может выбирать тип службы данных (такой как дедубликация и сжатие (Deduplication and Compression) или шифрование в состоянии покоя (Data-at-rest Encryption)).
Файловые службы vSAN – это мощное решение для обеспечения потребностей периметра, удаленных офисов и филиалов (ROBO). Теперь они могут поддерживать растянутый кластер и конфигурации из двух узлов.
Конфигурация растянутого кластера должна учитывать не только различные сценарии отказа, но и условия восстановления. vSAN 7 Update 2 представил интеграцию с размещением данных и распределенным планировщиком ресурсов (DRS), таким образом, вслед за восстановлением после сбоя, DRS будет удерживать состояние виртуальной машины в сайте, до тех пор, пока данные не будут повторно синхронизированы. Это гарантирует, что операции чтения не будут использовать каналы между сайтами (ISL). Только после полной повторной синхронизации DRS начнет перемещать состояние виртуальных машин в требуемые сайты в соответствии с правилами DRS. Это улучшение может существенно сократить не нужные операции чтения и освободить ресурсы каналов между сайтами (ISL) для выполнения повторной синхронизации с восстанавливаемым сайтом. Также следует отметить что vSAN 7 Update 2 увеличил максимальное количество хостов растянутого кластера до 40.
Удаленный прямой доступ к памяти (RDMA) – технология, которая позволяет системам обходить процессор и отправлять данные с меньшей задержкой и сокращением накладных вычислительных затрат. В результате получается не только сократить потребление вычислительных ресурсов, но и увеличить производительность хранилища. Гиперконвергкнтная архитектура идеально подходит для RDMA и vSAN 7 Update 2 представил поддержку RDMA over Converged Ethernet version 2 (RCoEv2). Кластеры будут автоматически определять поддержку RDMA, что, в свою очередь, приведет к увеличению производительности приложений и консолидации нагрузок.
В vSAN 7 Update 2 улучшена производительность и эффективность процессора при обработке операций RAID 5/6. Это обеспечивает эффективность пространства за счет очищающего кодирования (Erasure Coding) и в то же время увеличивает производительность приложений, сокращая накладные расходы процессора на каждую операцию ввода/вывода.
В гипервизор и пути данных vSAN были добавлены оптимизации для соответствия возможностям процессоров AMD EPYC.
В начале февраля 2021-го года была анонсирована доступность Cloudian HyperStore и MinIO Object Storage на платформе постоянных данных vSAN. Теперь клиенты могут эффективно разворачивать, потреблять и управлять объектным хранилищем (совместимым с S3) для искусственного интеллекта/машинного обучения (AI/ML) и облачных приложений прямо из VMware HCI. Современные приложения могут быть развернуты при помощи нескольких кликов. Подобная автоматизация упрощает развертывание и настройку, а также гарантирует настройку решения в соответствии с рекомендациями производителя.
Облачное хранилище (Cloud Native Storage) в vSphere и vSAN было расширено для лучшей поддержки приложений с отслеживанием состояния на базе Kubernetes. Пользователи устаревшего облачного поставщика vSphere (vSphere Cloud Provider, vCP) могут легко мигрировать на драйвер интерфейса хранилища контейнеров (Container Storage Interface, CSI). Это позволяет Kubernetes развертывать и управлять постоянными томами, запущенными на платформе vSphere, которые поддерживают изменение размера без остановки. Использование драйвера CSI в vSphere и vSAN позволяет администраторам и разработчикам эффективно разворачивать, управлять и вести мониторинг приложений в контейнерах и виртуальных машинах, развернутых на единой платформе.
Вместе с vSphere и vSAN 7 Update 2 была представлена поддержка компонента «Native Key Provider», который может упростить управление ключами для окружений, использующих шифрование. Встроенная служба управления ключами (KMS) идеально подходит для vSAN в двух-узловых топологиях, развертывания в периметре, также это отличный пример, демонстрирующий подход VMware к внутренней безопасности. Дополнительно Native Key Provider поддерживает работу с ESXi Key Persistence для устранения зависимостей.
Skyline Health Diagnostics – это инструмент самообслуживания, который добавляет некоторые преимущества Skyline Health напрямую в изолированное окружение. Инструмент запускается администратором с требуемой частотой. Он будет сканировать журналы для обнаружения ошибок и выдачи уведомлений к важным ошибкам со ссылками на соответствующие статьи в базе знаний (KB). Разработчики ставили перед собой цель – сократить время, которое администраторы тратят на устранение ошибок в изолированных окружениях.
Модуль криптографии для шифрования DIT прошел проверку FIPS 140-2.
vSAN 7 Update 2 доставляет три расширения в vSphere Lifecycle Manager:
В случае возникновения незапланированного отключения vSAN 7 Update 2 будет немедленно записывать все инкрементальные обновления на дополнительный хост, помимо хостов, удерживающих активную реплику объекта. Это поможет гарантировать устойчивость измененных данных в случае отключения еще одного хоста, удерживающего активную реплику объекта. Данная возможность построена на базе улучшений, представленных в vSAN 7 Update 1, где эта техника использовалась для запланированных событий обслуживания. Это улучшение надежности данных имеет еще одно преимущество: сокращение времени за которое выполняется повторная синхронизация устаревших объектов.
vSAN 7 Update 2 теперь поддерживает vSphere Proactive HA, что позволяет превентивно мигрировать состояние приложений и любые потенциально сохраненные данные на другой хост.
Понимание здоровья и производительности сети – это важная часть обеспечения гиперконвергкнтной платформы, такой как vSAN. vSAN 7 Update 2 представил несколько новых метрик и проверок здоровья, для обеспечения лучшей видимости фабрики коммутации, которая соединяет хосты vSAN. Несколько новых метрик было добавлено для мониторинга физического уровня, в том числе для ошибок транспортировки и CRC, а также ошибок и пауз передачи и получения. Эти метрики используются не только для демонстрации графиков производительности на базе времени, но и для уведомления администратора о преодолении критических лимитов. Все эти новые сетевые метрики и предупреждения вместе с уже существующими в vSAN, предназначены для предоставления администратору детальных подробностей об используемой сети.
Быстрая загрузка (Quick Boot) была расширена новой опцией «приостановка в памяти» (Suspend-to-memory). Это обеспечивает быструю установку исправлений с низким влиянием на vSphere без необходимости выполнять полную эвакуацию хоста.
Новейшая версия vSAN включает в себя несколько расширений, которые позволяют улучшить эффективность, устойчивость и производительность. VMware рекомендует запускать новейшую версию vSphere и vSAN для получения максимальной выгоды и использования новейших преимуществ.
Дополнительные сведения о VMware vSphere 7 Update 2 можно получить в моей статье «Релиз VMware vSphere 7 Update 2».
9 марта 2021 года был анонсирован релиз VMware vSphere 7 Update 2. Он уже доступен для загрузки как из VMware Customer Connect, так и при помощи vSphere Lifecycle Manager.
Вместе с релизом vSphere 7 в апреле 2020-го VMware перевела vSphere на 6-ти месячный цикл релизов. Таким образом, vSphere 7 Update 1 был выпущен в октябре 2020, а vSphere 7 Update 2 вышел сейчас (март 2021). За счёт более высокого темпа релизов клиенты получат преимущества от новейших возможностей и инноваций VMware, а также от партнёров VMware и экосистемы OEM значительно быстрее, что, в свою очередь, позволит соответствовать текущим и будущим бизнес-требованиям.
Вместе с релизом vSphere 7, VMware установила направления для ключевых областей, в которых будет развиваться vSphere, отправка обратной связи по наиболее важным для вас задачам, позволяет влиять на развитие продукта в будущем. VMware продолжает работу в следующих областях, для доставки инфраструктуры современной платформы для всех существующих рабочих нагрузок и новых современных приложений, создаваемых с использованием контейнеров, а также искусственного интеллекта и машинного обучения (AI/ML):
Начать нужно с партнёрства VMware и NVIDIA, анонсированного ещё на VMworld 2020, которое направлено на упрощение доступа к искусственному интеллекту для любого корпоративного окружения. Вместе с уникальной комбинацией VMware vSphere 7 и набора NVIDIA AI Enterprise обе компании доставляют мощную корпоративную платформу, готовую к нагрузкам искусственного интеллекта (AI-Ready Enterprise Platform).
Программное обеспечение NVIDIA AI Enterprise – это конечный облачный набор инструментов и платформ искусственного интеллекта, оптимизированный и эксклюзивно сертифицированный NVIDIA для запуска на VMware vSphere.
WMware vSphere 7 Update 2 доставляет:
vSphere 7 Update 2 также представляет новые возможности с фокусом на разработке для vSphere с Tanzu:
Безопасность – это важнейшая область интересов для организаций всех типов и масштабов во всем мире, vSphere 7 Update 2 доставляет некоторые ключевые новые возможности:
vSphere Native Key Provider – внутренний механизм vSphere, обеспечивающий защиту данных, такую как vSAN Encryption, VM Encryption и vTPM, а также значительно упрощающий клиентам получение преимуществ от этих возможностей безопасности. За счет vSphere Native Key Provider улучшается общее состояние безопасности окружений виртуальных машин.
Конфиденциальные контейнеры (Confidential Containers) для подов vSphere, используют шифрование данных процессора и памяти AMD SEV-ES на платформах AMD EPYC для обеспечения безопасности современных окружений.
Шифрование конфигурации ESXi при помощи программной и аппаратной поддержки Trusted Platform Module (TPM) для защиты секретов ESXi на уровне хостов и одновременное упрощение жизненного цикла оборудования, повторное развертывание и вывод из эксплуатации.
Предпочтения ключей ESXi, предлагает больше опций для защиты данных в состоянии покоя на изолированных хостах, в пограничных развертываниях и удаляет петли зависимостей проектов систем.
Обновленные рекомендации по основам безопасности в инструкциях по настройке безопасности vSphere (vSphere Security Configuration Guide) для клиентов, проектирующих новые системы, а также для улучшения уже существующей безопасности в связи с меняющимися угрозами.
Обновленные инструкции по аудиту vSphere (vSphere Product Audit Guides) с проверкой FIPS для служб vCenter Server. Все вместе это упрощает клиентам настройку окружений в соответствии с требованиями регуляторов, а также помогает упростить аудит за счёт разъяснений того, как средства контроля vSphere соответствуют различным нормативным требованиям.
Упрощение управление – это многолетняя задача команды разработки vSphere, заключающаяся в облегчении жизни администраторов ИТ и избавлении их от ручных задач с целью высвободить время для концентрации на стратегических задачах компании. vSphere 7 Update 2 доставляет некоторые ключевые инновации в индустрии:
Новейший релиз vSphere 7 Update 2 продолжает движение лидирующей в индустрии платформы виртуализации, в направлении трансформации аппаратных серверов, процессоров и графического оборудования в виртуальные машины и контейнеры. vSphere оптимизирует производительность, увеличивает доступность, усиливает безопасность и ускоряет обслуживание для создания гибкой, эффективной, устойчивой и всесторонне безопасной платформы инфраструктуры для поддержки существующих рабочих нагрузок и приложений следующего поколения, таких как искусственный интеллект (AI).
Второй год подряд я получаю статус VMware vExpert, в связи с этим хотел бы поделиться некоторыми соображениями по поводу будущего контента, да и вообще планов относительно VMware.
В ближайшее время я планирую продолжать выпускать анонсы новых версий продуктов VMware и технические статьи на тему передового опыта в области проектирования и реализации решений на базе продуктов VMware. Параллельно с этим будут выходить веб-касты, рассказывающие про различные компоненты и возможности VMware vSphere 7.
Также на вторую половину года я запланировал расширение собственных компетенций в области продуктов VMware, поэтому так или иначе это отразится на будущих веб-кастах и статьях.
P.S. Ну и по традиции я бы хотел поблагодарить всех кто смотрит, читает и комментирует.
Приходите ещё, дальше будет больше и интереснее!
Еще один веб-каст на тему VMware vSphere 7. На этот раз мы рассмотрим планирование заданий (Scheduled Tasks).
В веб-касте описывается и демонстрируется использование встроенного планировщика vSphere для автоматизации простых задач, таких как управление состоянием виртуальных машин, создание моментальных снимков и прочих. Отдельное внимание в веб-касте уделяется смене расположения планировщика в интерфейсе vSphere Client для HTML5 и ограничениям запланированных заданий.
Подробности и видео: LebedevUM.
В предыдущей статье «Рекомендации по проектированию VMware vSAN: Использование устройств хранения большого объема» мы рассмотрели множество базовых вещей по поводу применения двухуровневой системы хранения vSAN и того как оборудование может менять производительность системы. Остался не закрытым вопрос, связанный с программными параметрами – как дедубликация и сжатие влияют на производительность? Сегодня мы рассмотрим, что это такое, как они применяются в vSAN, а также как и при каких условиях влияют на производительность.
Дедубликация данных – это технология которая определяет наличие одного или более дублирующихся блоков и использует хэш-таблицу для ссылки на один блок в структуре данных, вместо хранения одного и того же блока много раз. Сжатие данных берет исходный объем данных, такой как контент блока данных и использует технологию кодирования для более эффективного хранения данных. Эти две технологии не связаны друг с другом, но пытаются достичь одинаковой цели: эффективного использования пространства.
Метод, который используется для достижения эффективности пространства зависит от конечного решения и может оказывать влияние на уровень сохранения пространства, а также на требуемую нагрузку для достижения результата. Не имеет значения, какой метод используется, обе техники (дедубликация и сжатие) условно патогенные возможности обеспечения эффективности пространства: уровень сохраненного пространства не гарантируется. Для сравнения, техники размещения данных с использованием очищающего кодирования (Erasure Codes), такие как RAID5 или RAID6 детерминированы: они предоставляют гарантированный уровень эффективности пространства для данных, сохранённых устойчивым образом.
Дедубликация и сжатие (DD&C) в vSAN включаются на уровне кластера, как единая возможность эффективности пространства. Процесс выполняется, когда данные достигают уровня хранения (Capacity Tier) – сразу после отправки уведомления обратно в виртуальную машину. Минимизация любых форм манипуляции данными до отправки уведомления позволяет сохранять низким уровень задержки, наблюдаемый в виртуальной машине.
После доставки данных, процесс дедубликации будет искать возможность выполнить дедубликацию блока данных (4КБ) в рамках дисковой группы: домена дедубликации vSAN. Эта задача сопровождается процессом сжатия. Если блок данных (4КБ) может быть сжат до 50% объема или более – то он сжимается, иначе блок остаётся прежним и сохраняется на уровне хранения (Capacity Tier).
Такое применение DD&C позволяет избежать удара по производительности, который происходит в линейных системах, выполняющих дедубликацию данных до отправки ответа гостевой системе. Это также позволяет избежать дополнительных нагрузок, связанных с дедубликацией уже хранящихся данных. Несмотря на то, что процесс DD&C происходит после отправки подтверждения записи гостевой виртуальной машине, включение его в vSAN может повлиять на производительность в ряде случаев, которые мы рассмотрим дальше.
VMware vSAN – это двухуровневая распределенная система хранения. Входящие данные записываются в буфер записи с последующей отправкой подтверждения гостевой системе, а перемещение их на уровень хранения (Capacity Tier) происходит позже с интервалом, определяемым vSAN. Данная архитектура предоставляет наивысший уровень производительности хранилища, при этом сохраняя стоимость гигабайта/терабайта на приемлемом уровне.
Двухуровневые системы, такие как vSAN, имеют два теоретических максимума производительности: Burst Rate, представляющий возможности буферного уровня (Buffer Tier) и Steady-State Rate, представляющий возможности уровня хранения (Capacity Tier). Лежащее в основе каждого уровня оборудование имеет огромное влияние на производительность каждого из уровней, в то же время программные параметры, приложения и рабочие нагрузки также могут оказывать влияние.
Максимумы производительности хостов vSAN будут находится где-то между максимальными значениями Burst Rate и Steady-State Rate. Длительные синтетические тесты с использованием HCIBench создают достаточную нагрузку в окружении для расчета примерных значений при помощи временных графиков. Производственные нагрузки могут превысить максимально возможные значения при неправильном дизайне решения.
Дедубликация и сжатие создают вычислительные нагрузки на оперативную память и дополнительный ввод/вывод. Это в любом случае так, вне зависимости от способа реализации. Все зависит от того, когда, где и как это происходит. В vSAN это происходит при перемещении данных с буферного уровня на уровень хранения, что в свою очередь, снижает эффективную пропускную способность уровня хранения (Capacity Tier). Далее это может снизить максимальное значение Steady-State Rate, которое мог бы предоставить кластер. Другими словами, кластер с включённым DD&C имеет такую же производительность, что и кластер с отключенным DD&C, у которого менее производительные устройства на уровне хранения.
При условии, что остальные переменные остаются неизменными, снижение максимального значения Steady-State Rate уровня хранения будет демонстрировать следующее поведение:
Алгоритмы оценки vSAN определяют различные условия, которые помогают понять, когда и как много доставок должно произойти. Они постепенно реализуют доставки, т.е. не так быстро, как это возможно, а так быстро как это необходимо. Это помогает удерживать в буфере горячие данные для последующих перезаписей, что в свою очередь, снижает активность ненужной доставки и потенциальное влияние на производительность.
Очищающее кодирование (Erasure Coding) RAID5/6 – это другая опция эффективности пространства, включаемая на уровне виртуальной машины или виртуального диска (VMDK) при помощи политик хранилища (Storage Policy). Совместное использование техник эффективности хранения также может привести к заметному влиянию на производительность.
Архитектура vSAN даёт клиентам ряд опций для настройки кластеров в соответствии с требованиями. Корректное проектирование и масштабирование обозначает точное понимание требований и приоритетов. Например, в одном кластере наивысший приоритет может иметь емкость, а в другом – производительность. Эти приоритеты будут влиять на аппаратные и программные параметры. В случае, когда требуется получить наивысший уровень производительности, но при этом выбираются самые низкокачественные компоненты в сочетании с техниками эффективности пространства – решение явно противоречит поставленной цели. Эффективность пространства может быть обеспечена путем достижения требуемой ёмкости, но при этом достаточно затратным.
Как только приоритеты установлены, можно выполнить настройку для получения необходимого окружения, включающую в себя:
Дедубликация и сжатие – это простая и результативная возможность обеспечения эффективности пространства. Правильное проектирование и использование DD&C в vSAN предоставляет путь удержания низкой задержки в виртуальных машинах. Несмотря на то, что двухуровневая архитектура vSAN помогает минимизировать влияние на производительность, некорректная конфигурация оборудования или большой набор рабочих нагрузок могут привести к увеличению задержки виртуальных машин.
P.S. Предыдущие статьи цикла:
Так получилось, что последний веб-каст в 2020-ом году я записывал 31-го декабря и, по-моему, не хитрому замыслу он станет первым в 2021-ом!
Веб-каст продолжает рассказ о фундаментальных возможностях VMware vSphere 7, в частности речь в веб-касте пойдет об управлении инвентаризацией vCenter Server при помощи vSphere Web Client.
В веб-касте представлено описание объектов инвентаризации и демонстрируются два основных подхода к управлению инвентаризацией: классическое построение иерархий при помощи каталогов и использование тегов и категорий. Отдельное внимание в веб-касте отведено возможностям настройки тегов при помощи категорий и сценариям применения тегов.
Подробности и видео: LebedevUM
P.S. В следующем веб-касте мы рассмотрим вопрос автоматизации и отложенного выполнения рутинных задач VMware vSphere 7.
Окружения vSAN и VMware vCloud Foundation (VCF) на базе vSAN предлагают экстраординарную гибкость в масштабировании. Емкость можно увеличивать вертикально, добавляя устройства в хосты, или горизонтально, за счет добавления новых узлов. Вместе с представленной поддержкой емкости устройств до 32 Тб в vSAN 7, необходимо разобраться – как же экстремально большие флэш-устройства влияют на проектирование? Рассмотрим вопрос проектирования более детально.
В общем виде хранение большого объема данных не отличается от хранения маленького объема. Но в окружениях с общим хранилищем (Shared Storage), отличие заключается в том, что больше данных, в форме виртуальных машин, может приводить к большему числу потенциальных чтений и записей.
Как в архитектуре гиперконвергентной инфраструктуры (HCI), так и в трехуровневой архитектуре, увеличение объема может приводить к возникновению узких мест в самых неожиданных местах. Например, трехуровневые архитектуры, как правило, генерируют больше нагрузки на контроллеры хранилища при увеличении объема сырого хранилища. Архитектура гиперконвергентной инфраструктуры (HCI) может увеличивать нагрузку на сеть при операциях записи с большего числа виртуальных машин на физических хостах.
Может показаться, что устройства высокой плотности могут обеспечить хорошую цену на один терабайт хранилища, но при этом они могут не справится с обеспечением рабочих нагрузок обращений к данным. Технический объем будет доступен, но при этом производительность обращения к данным будет не приемлемой. Для vSAN и VCF есть несколько путей приспособиться к этому.
Многие устройства высокой плотности привязаны к числовому значению объема и не предполагают уровней производительности и целостности, как правило ожидаемых в корпоративных окружениях. Флэш-устройства хранения с интерфейсом SATA относятся к данной категории. Такие устройства будут постоянно перегружены в борьбе за производительность и целостность из-за различных ограничений протокола, таких как: полудуплексная сигнализация, одно-командные очереди и более ресурсоемкая обработка ввода/вывода процессором. Устройства с SATA-подключением лучше подходят для конечных устройств и домашнего сегмента, так как характеристики SATA не рассчитаны на одновременный двунаправленный доступ к общему хранилищу.
При рассмотрении возможности использования устройств большого объема, следует отталкиваться от флэш-устройств на базе SAS. Следует отметить, что NVMe – это превосходный стандарт и это лишь вопрос времени, когда этот высокоэффективный протокол шины захватит корпоративные окружения. Устройства NVMe с использованием NAND флэш ИЛИ 3D XPoint уже доминируют в областях с фокусом на производительности, таких как кэширование и буферизация.
Устройства высокой плотности могут создавать излишнюю нагрузку на общих адаптерах шины хоста (HBA), SAS в данном случае подходит лучше, чем SATA, но узкие места все равно могут возникать на общем контроллере, по мере увеличения траффика. Устройства NVMe не подвержены подобным проблемам, так как каждое устройство NVMe содержит собственный контроллер.
Рекомендация: Для устройств с большим объемом необходимо использовать как минимум устройства на базе SAS, идеальным же выбором на данный момент являются устройства NVMe.
Использование устройств со значительно большим объемом, неизбежно будет приводить к большему объему рабочих нагрузок, что в свою очередь может создавать дополнительный стресс на уровне буферизации. Это происходит из-за того, что дополнительные виртуальные машины обычно увеличивают агрегированный размер рабочего набора между хостами в кластере. Больший объем рабочих нагрузок, как правило, обозначает больше горячих данных. Несмотря на то, что vSAN Design and Sizing Guide описывает подбор размера уровня буфера в окружении с использованием только флэш-накопителей (All-flash) на базе информации о производительности, использование буфера большого объема для обеспечения большего объема рабочих нагрузок является разумным шагом.
Добавление большего числа дисковых групп на каждый хост, предоставляет больше доступной емкости буферизации, для поддержки дополнительных рабочих нагрузок. Не менее важно то, что больше дисковых групп увеличивают число возможных параллельных операций ввода/вывода.
Рассчитывая необходимую производительность, зачастую слишком много внимания уделяют уровню хранения (Capacity Tier), особенно при увеличении емкости на хостах. Уровень буферизации (Buffer Tier) обеспечивает максимальное увеличение скорости ввода/вывода, а уровень хранения (Capacity Tier) обеспечивает максимальную скорость постоянного хранилища. Когда уровень хранения (Capacity Tier) не обладает достаточной высокой производительностью, длительная запись на высоком уровне может сокрушить возможности буфера. Скорость очистки буфера, обычно (но не всегда) зависит от производительности уровня хранения. В таком случае использование более быстрых флэш-устройств и/или их большего количества может увеличить производительность уровня хранения. Это поможет сократить задержку на уровне буфера за счет более быстрой очистки (передачи) и позволит избежать задержки на уровне гостевых виртуальных машин.
Отключение дедубликации (Deduplication) и сжатия (Compression) также являются возможными опциями увеличения производительности уровня хранения. Дедубликация и сжатие – это процессы, которые требуют дополнительной нагрузки во время опустошения буфера, напрямую сокращающие скорость опустошения. Устройства большего размера, предоставленные кластеру, могут обеспечить требуемый объем, без необходимости включения данных возможностей.
Больший потенциальные объем обозначает более длительное время эвакуации, при условии использования исходной производительности сети.
Одной и той же сети с пропускной способностью 10 Gbps для хостов, которые теперь обладают новым объемом, в 4, 8 или 12 раз больше предыдущих конфигураций, может попросту не хватить для обеспечения такой плотности виртуальных машин на хостах. Подробнее об этом я писал в статье «Рекомендации по проектированию VMware vSAN: Быстрые устройства хранения или быстрая сеть». Корректно сбалансированный кластер vSAN будет всегда иметь доступные хосты для любых потенциальных повторных синхронизаций объектов данных, которые помогают поддерживать их на заданном уровне соответствия. Процесс автоматизирован и прозрачен для администратора. Но скорость, с которой он происходит, зависит от производительности сети и устройств хранения. Предполагаемое время эвакуации хоста и восстановления приближается к уровню комфорта, когда необходимое время для переноса всей емкости с одного хоста на другой в случае выхода хоста из строя не выходит за рамки возможного простоя.
Устройства высокой плотности провокационны, так как могут обеспечить необходимый объем при помощи меньшего числа устройств и/или хостов. Минимальное число хостов, необходимое для обеспечения определенного уровня устойчивости осталось прежним. Кроме того, несмотря на то, что каждый хост добавляет свою емкость, также он добавляет нагрузку на процессор и память, необходимую для обработки ввода/вывода. Значительное увеличение части ресурсов кластера может привести к возникновению узких мест.
Устройства хранения высокой плотности открывают новые возможности для узлов vSAN. Гибкость архитектуры позволяет быстрее адаптировать практически любое решение vSAN. Также при проектировании следует учесть, чтобы кластер смог справится со всей возможной нагрузкой при обработке увеличенной емкости. Необходимо уделить отдельное внимание при проектировании решения с устройствами хранения высокой плотности, чтобы принять верные решения при покупке и получить ожидаемую производительность.
