IPoIB (IP через InfiniBand) против производительности RDMA

Я частично унаследовал кластер высокой доступности Linux, центр которого в настоящее время обслуживает соединение с DRBD 8 через IPoIB (IP через InfiniBand) между двумя хостами Debian. Это не сломано, поэтому я не буду это чинить.

Я также заметил, что DRBD 9 поддерживает RDMA, поэтому может возникнуть вопрос, следует ли в будущем заменить соединение с DRBD 9 поверх RDMA (то есть «родного» InfiniBand).

Поскольку я не хочу запускать тесты производительности в производственной системе, мне интересно: есть ли опубликованные сравнения производительности для IPoIB против RDMA / InfiniBand. Например, могу ли я ожидать увеличения пропускной способности / задержки от переключения с IPoIB на 10%, 50% или 100%, скажем? Чего можно было ожидать?

Вы видели эти презентации? https://www.linbit.com/en/drbd-9-over-rdma-with-micron-ssds/ http://downloads.openfabrics.org/Media/Monterey_2015/Tuesday/tuesday_09_ma.pdf

InfiniBand - это просто особая сетевая архитектура, предлагающая RDMA, но ваша производительность будет зависеть от того, какие приложения вы используете. Мой опыт основан на академических / исследовательских системах, в основном использующих приложения на основе MPI. В некоторых случаях я видел, что RDMA работает на 20% лучше, чем IPoIB. Но я не знаю ни о каком таком сравнительном тестировании, но есть много написанных академических работ, а также официальных документов поставщиков. Если вы просто думаете о вводе / выводе, подумайте о размерах файлов, количестве операций чтения и записи. RDMA обычно обеспечивает большую выгоду для случайных небольших чтений, но только небольшую выгоду для записей. Возможно, вы захотите ознакомиться с RoCE (RDMA over Converged Ethernet) и собственным RDMA InfiniBand.