В первой части статьи я вкратце описал что собой представляет типовая архитектура виртуального кластера VMware.

Теперь поговорим об отношениях между SAP и VMware.

Тот проект, в котором я участвовал, представлял собой перенос систем SAP на платформу Linux/Oracle. В качестве дистрибутива Linux использовался SUSE Linux Enterprise Server for SAP Applications. Так что учитывайте, что следующая информация и перечень рекомендаций, который я привожу, были собраны для выбранной платформы. Хотя, конечно же, большая часть знаний носит универсальный характер и пригодится всем кто разворачивает SAP в виртуальной среде.

Для начала, источники информации, которые я использовал:

• Performance Best Practices for VMware vSphere 6.7,
• SAP Solutions on VMware Best Practices Guide,
• SAP note # 2161919 – VMware vSphere configuration guidelines,
• SAP note # 1612283 – Hardware ConfigurationStandards and Guidance,
• SAP note # 989963 – Linux: VMware timing problem,
• SAP note # 2015392 – VMware recommendations forlatency-sensitive SAP applications,
• SAP note # 1158363 – VMware Performance Snapshot,
• SAP note # 2538919 – VMware upgrade to version 6,
• SAP note # 2490017 – Performance problem with VMwareon Linux,
• SAP note # 1173954 – Support of Oracle for VMWare,
• SAP note # 793113 – FAQ: Oracle I/O configuration.

Рассмотрим рекомендации по настройке BIOS.

1. Включить все возможные опции поддержки аппаратной виртуализации - VT-x, AMD-V, EPT, RVI, VT-d , AMD-Vi.
2. Выключить опцию "Node Interleaving" для включения поддержки NUMA. NUMA это фишка современных мультипроцессорных систем, которая заключается в разной скорости доступа к разным банкам памяти от разных процессоров. Проще говоря, у каждого процессора есть свои банки памяти, к которым доступ осуществляется гораздо быстрее, чем к банкам памяти соседнего процессора. И программное обеспечение с поддержкой NUMA понимает это и старается работать только с банками памяти текущего процессора, не обращаясь к "дорогой" памяти.
3. Включить опции ускорения "Turbo Mode" и "Hyper-Threading". C Hyper-Threading ситуация такая: активировать его надо, но при распределении виртуальных ядер между виртуальными машинами на них рассчитывать не стоит.
4. Выключить опции "Power-Saving", "C1E Halt State", а "Power Management" включить в режим "OS Controlled Mode".
5. Использовать профиль "Max performance" и/или "Max virtualization". У некоторых вендоров (например, HPE) есть отдельные профили при использовании серверов в составе VMware кластера.
6. Максимально отключить ненужные устройства.

Второй пункт нашей программы - рекомендации по настройке ESXi и виртуальных машин.

1. Технология VMware DRS не поддерживается SAP. DRS (Distributed Resource Scheduler) это технология автоматического выравнивания нагрузки на узлах в виртуальном кластере за счёт переноса работающих виртуальных машин между узлами. Технология позволяет выравнивать нагрузку, что положительно влияет на питание и охлаждение стоек в серверной. 
2. Рекомендуется использовать специальную файловую систему VMFS и хранить виртуальную машину в виде отдельных файлов, а не использовать VMware RDM. RDM (Raw Device Mapping) это тип хранения файлов виртуальных машин на сырых дисках специального формата. Аналог RAW-дисков для хранения файлов базы данных ORACLE.
3. При распределении ресурсов процессора считать, что 1 vCPU = 1 physical core (не учитывать логические ядра Hyper-Threading). ESXi сам распределяет ядра виртуальных машин по физическим ядрам. Стараться конфигурировать виртуальные машины по CPU и RAM внутри одной NUMA ноды. Поэтому я считаю очень важным понимание топологии NUMA на этапе сайзинга физических серверов. Рассчитывайте так, чтобы самая большая ваша виртуальная машина влезла в одну NUMA ноду, как по памяти, так и по процессорным ядрам. Функцию добавления процессорных ядер "на горячую" не использовать, то есть переключить "HotAddCPU" = disable.
4. При конфигурации сети: использовать VMXNET3 адаптер и, желательно, включить NIC teaming. Дело в том, что ESXi имеет в своём составе специальные