Как мне достичь теоретического максимума 4 FLOP за цикл?


643

Как достичь теоретической пиковой производительности 4 операций с плавающей запятой (двойной точности) за такт на современном процессоре Intel x86-64?

Насколько я понимаю, для большинства современных процессоров Intel требуется три цикла для SSE add и пять циклов для a mul(см., Например , «Таблицы инструкций» Агнера Фога ). Благодаря конвейерной обработке можно получить пропускную способность по одному addза цикл, если алгоритм имеет как минимум три независимых суммирования. Поскольку это верно как для упакованных, addpdтак и для скалярных addsdверсий и регистров SSE может содержать два double, пропускная способность может достигать двух флопов за цикл.

Кроме того, кажется (хотя я не видел никакой надлежащей документации по этому вопросу) add, и mulмогут выполняться параллельно, давая теоретическую максимальную пропускную способность четыре флопс за цикл.

Однако я не смог воспроизвести эту производительность с помощью простой программы на C / C ++. Моя лучшая попытка привела к примерно 2,7 флопс / цикл. Если кто-то может предложить простую C / C ++ или ассемблерную программу, которая демонстрирует пиковую производительность, это было бы очень признательно.

Моя попытка:

#include <stdio.h>
#include <stdlib.h>
#include <math.h>
#include <sys/time.h>

double stoptime(void) {
   struct timeval t;
   gettimeofday(&t,NULL);
   return (double) t.tv_sec + t.tv_usec/1000000.0;
}

double addmul(double add, double mul, int ops){
   // Need to initialise differently otherwise compiler might optimise away
   double sum1=0.1, sum2=-0.1, sum3=0.2, sum4=-0.2, sum5=0.0;
   double mul1=1.0, mul2= 1.1, mul3=1.2, mul4= 1.3, mul5=1.4;
   int loops=ops/10;          // We have 10 floating point operations inside the loop
   double expected = 5.0*add*loops + (sum1+sum2+sum3+sum4+sum5)
               + pow(mul,loops)*(mul1+mul2+mul3+mul4+mul5);

   for (int i=0; i<loops; i++) {
      mul1*=mul; mul2*=mul; mul3*=mul; mul4*=mul; mul5*=mul;
      sum1+=add; sum2+=add; sum3+=add; sum4+=add; sum5+=add;
   }
   return  sum1+sum2+sum3+sum4+sum5+mul1+mul2+mul3+mul4+mul5 - expected;
}

int main(int argc, char** argv) {
   if (argc != 2) {
      printf("usage: %s <num>\n", argv[0]);
      printf("number of operations: <num> millions\n");
      exit(EXIT_FAILURE);
   }
   int n = atoi(argv[1]) * 1000000;
   if (n<=0)
       n=1000;

   double x = M_PI;
   double y = 1.0 + 1e-8;
   double t = stoptime();
   x = addmul(x, y, n);
   t = stoptime() - t;
   printf("addmul:\t %.3f s, %.3f Gflops, res=%f\n", t, (double)n/t/1e9, x);
   return EXIT_SUCCESS;
}

Составлено с

g++ -O2 -march=native addmul.cpp ; ./a.out 1000

выдает следующий вывод на Intel Core i5-750, 2,66 ГГц.

addmul:  0.270 s, 3.707 Gflops, res=1.326463

То есть примерно 1,4 флопа за цикл. Глядя на ассемблерный код с g++ -S -O2 -march=native -masm=intel addmul.cppосновным циклом мне кажется оптимальным:

.L4:
inc    eax
mulsd    xmm8, xmm3
mulsd    xmm7, xmm3
mulsd    xmm6, xmm3
mulsd    xmm5, xmm3
mulsd    xmm1, xmm3
addsd    xmm13, xmm2
addsd    xmm12, xmm2
addsd    xmm11, xmm2
addsd    xmm10, xmm2
addsd    xmm9, xmm2
cmp    eax, ebx
jne    .L4

Изменение скалярных версий с упакованными версиями ( addpdи mulpd) удвоило бы количество флопов без изменения времени выполнения, и поэтому мне хватило бы лишь 2,8 флопов за цикл. Есть ли простой пример, который достигает четырех флопов за цикл?

Хорошая маленькая программа от Mysticial; Вот мои результаты (хотя бы на несколько секунд):

  • gcc -O2 -march=nocona: 5,6 Гфлоп из 10,66 Гфлоп (2,1 Флоп / цикл)
  • cl /O2openmp удалено: 10,1 Гфлоп из 10,66 Гфлоп (3,8 Флоп / цикл)

Все это кажется немного сложным, но мои выводы пока:

  • gcc -O2изменяет порядок независимых операций с плавающей запятой с целью чередования addpdи mulpdпо возможности. То же самое относится и к gcc-4.6.2 -O2 -march=core2.

  • gcc -O2 -march=nocona похоже, сохраняет порядок операций с плавающей запятой, как определено в источнике C ++.

  • cl /O264-разрядный компилятор из SDK для Windows 7 выполняет автоматическое развертывание циклов и, по-видимому, пытается упорядочить операции так, чтобы группы из трех addpdчередовались с тремя mulpd(ну, по крайней мере, в моей системе и для моей простой программы) ,

  • Мой Core i5 750 ( архитектура Nehalem ) не любит чередование надстроек и мул и, по-видимому, не может выполнять обе операции параллельно. Тем не менее, если сгруппированы в 3-х, это внезапно работает как магия.

  • Другие архитектуры (возможно, Sandy Bridge и другие), по-видимому, могут выполнять add / mul параллельно без проблем, если они чередуются в коде сборки.

  • Хотя это трудно признать, но в моей системе cl /O2гораздо лучше справляется с низкоуровневыми операциями оптимизации для моей системы и достигает почти максимальной производительности для небольшого примера C ++, описанного выше. Я измерял между 1,85-2,01 флопс / цикл (использовал clock () в Windows, что не так точно. Я думаю, нужно использовать лучший таймер - спасибо Mackie Messer).

  • Лучшее, с чем мне удалось gccсправиться, - это вручную развернуть цикл и расставить сложения и умножения в группы по три. С g++ -O2 -march=nocona addmul_unroll.cpp я получаю в лучшем случае, 0.207s, 4.825 Gflopsчто соответствует 1,8 плюхается / цикл , который я очень доволен компанией.

В коде C ++ я заменил forцикл

   for (int i=0; i<loops/3; i++) {
       mul1*=mul; mul2*=mul; mul3*=mul;
       sum1+=add; sum2+=add; sum3+=add;
       mul4*=mul; mul5*=mul; mul1*=mul;
       sum4+=add; sum5+=add; sum1+=add;

       mul2*=mul; mul3*=mul; mul4*=mul;
       sum2+=add; sum3+=add; sum4+=add;
       mul5*=mul; mul1*=mul; mul2*=mul;
       sum5+=add; sum1+=add; sum2+=add;

       mul3*=mul; mul4*=mul; mul5*=mul;
       sum3+=add; sum4+=add; sum5+=add;
   }

И сборка теперь выглядит так

.L4:
mulsd    xmm8, xmm3
mulsd    xmm7, xmm3
mulsd    xmm6, xmm3
addsd    xmm13, xmm2
addsd    xmm12, xmm2
addsd    xmm11, xmm2
mulsd    xmm5, xmm3
mulsd    xmm1, xmm3
mulsd    xmm8, xmm3
addsd    xmm10, xmm2
addsd    xmm9, xmm2
addsd    xmm13, xmm2
...

15
Полагаться на время настенных часов, вероятно, является частью причины. Предполагая, что вы работаете с такой операционной системой, как Linux, вы можете в любое время отменить процесс. Такого рода внешние события могут повлиять на ваши показатели производительности.
tdenniston

Какая у вас версия GCC? Если вы используете Mac по умолчанию, вы столкнетесь с проблемами (это старая версия 4.2).
полусвет

2
Да, работает под управлением Linux, но в системе нет нагрузки, и повторение этого много раз мало что меняет (например, диапазоны 4.0-4.2 Гфлопс для скалярной версии, но теперь с -funroll-loops). Пробовал с gcc версии 4.4.1 и 4.6.2, но вывод asm выглядит нормально?
user1059432

Вы пробовали -O3gcc, который позволяет -ftree-vectorize? Может быть, в сочетании с тем, -funroll-loopsхотя я этого не делаю, если это действительно необходимо. В конце концов, сравнение кажется несправедливым, если один из компиляторов выполняет векторизацию / развёртывание, а другой - не потому, что не может, а потому, что об этом сказано не слишком.
Grizzly

4
@Grizzly -funroll-loops, наверное, что-то попробовать. Но я думаю, -ftree-vectorizeчто дело не в этом. ОП пытается просто выдержать 1 муль + 1 инструкцию добавления / цикл. Инструкции могут быть скалярными или векторными - это не имеет значения, поскольку задержка и пропускная способность одинаковы. Так что если вы можете выдержать 2 / цикл со скалярным SSE, то вы можете заменить их векторным SSE, и вы получите 4 флопа / цикл. В своем ответе я поступил именно так из SSE -> AVX. Я заменил все SSE на AVX - те же задержки, те же пропускные способности, 2x флопс.
Мистика

Ответы:


518

Я выполнил эту задачу раньше. Но это было главным образом для измерения энергопотребления и температуры процессора. Следующий код (который довольно длинный) достигает почти оптимального на моем Core i7 2600K.

Ключевым моментом, который следует здесь отметить, является огромное количество ручного развертывания циклов, а также чередования умножений и добавлений ...

Полный проект можно найти на моем GitHub: https://github.com/Mysticial/Flops

Предупреждение:

Если вы решили скомпилировать и запустить это, обратите внимание на температуру вашего процессора !!!
Убедитесь, что вы не перегреваете его. И убедитесь, что удушение процессора не влияет на ваши результаты!

Кроме того, я не несу ответственности за любой ущерб, который может возникнуть в результате выполнения этого кода.

Ноты:

  • Этот код оптимизирован для x64. x86 не имеет достаточно регистров для этого, чтобы хорошо скомпилировать.
  • Этот код был протестирован для правильной работы в Visual Studio 2010/2012 и GCC 4.6.
    На удивление, ICC 11 (Intel Compiler 11) не может скомпилировать его.
  • Они предназначены для процессоров до FMA. Для достижения пиковых значений FLOPS на процессорах Intel Haswell и AMD Bulldozer (и более поздних) потребуются инструкции FMA (Fused Multiply Add). Это выходит за рамки этого теста.

#include <emmintrin.h>
#include <omp.h>
#include <iostream>
using namespace std;

typedef unsigned long long uint64;

double test_dp_mac_SSE(double x,double y,uint64 iterations){
    register __m128d r0,r1,r2,r3,r4,r5,r6,r7,r8,r9,rA,rB,rC,rD,rE,rF;

    //  Generate starting data.
    r0 = _mm_set1_pd(x);
    r1 = _mm_set1_pd(y);

    r8 = _mm_set1_pd(-0.0);

    r2 = _mm_xor_pd(r0,r8);
    r3 = _mm_or_pd(r0,r8);
    r4 = _mm_andnot_pd(r8,r0);
    r5 = _mm_mul_pd(r1,_mm_set1_pd(0.37796447300922722721));
    r6 = _mm_mul_pd(r1,_mm_set1_pd(0.24253562503633297352));
    r7 = _mm_mul_pd(r1,_mm_set1_pd(4.1231056256176605498));
    r8 = _mm_add_pd(r0,_mm_set1_pd(0.37796447300922722721));
    r9 = _mm_add_pd(r1,_mm_set1_pd(0.24253562503633297352));
    rA = _mm_sub_pd(r0,_mm_set1_pd(4.1231056256176605498));
    rB = _mm_sub_pd(r1,_mm_set1_pd(4.1231056256176605498));

    rC = _mm_set1_pd(1.4142135623730950488);
    rD = _mm_set1_pd(1.7320508075688772935);
    rE = _mm_set1_pd(0.57735026918962576451);
    rF = _mm_set1_pd(0.70710678118654752440);

    uint64 iMASK = 0x800fffffffffffffull;
    __m128d MASK = _mm_set1_pd(*(double*)&iMASK);
    __m128d vONE = _mm_set1_pd(1.0);

    uint64 c = 0;
    while (c < iterations){
        size_t i = 0;
        while (i < 1000){
            //  Here's the meat - the part that really matters.

            r0 = _mm_mul_pd(r0,rC);
            r1 = _mm_add_pd(r1,rD);
            r2 = _mm_mul_pd(r2,rE);
            r3 = _mm_sub_pd(r3,rF);
            r4 = _mm_mul_pd(r4,rC);
            r5 = _mm_add_pd(r5,rD);
            r6 = _mm_mul_pd(r6,rE);
            r7 = _mm_sub_pd(r7,rF);
            r8 = _mm_mul_pd(r8,rC);
            r9 = _mm_add_pd(r9,rD);
            rA = _mm_mul_pd(rA,rE);
            rB = _mm_sub_pd(rB,rF);

            r0 = _mm_add_pd(r0,rF);
            r1 = _mm_mul_pd(r1,rE);
            r2 = _mm_sub_pd(r2,rD);
            r3 = _mm_mul_pd(r3,rC);
            r4 = _mm_add_pd(r4,rF);
            r5 = _mm_mul_pd(r5,rE);
            r6 = _mm_sub_pd(r6,rD);
            r7 = _mm_mul_pd(r7,rC);
            r8 = _mm_add_pd(r8,rF);
            r9 = _mm_mul_pd(r9,rE);
            rA = _mm_sub_pd(rA,rD);
            rB = _mm_mul_pd(rB,rC);

            r0 = _mm_mul_pd(r0,rC);
            r1 = _mm_add_pd(r1,rD);
            r2 = _mm_mul_pd(r2,rE);
            r3 = _mm_sub_pd(r3,rF);
            r4 = _mm_mul_pd(r4,rC);
            r5 = _mm_add_pd(r5,rD);
            r6 = _mm_mul_pd(r6,rE);
            r7 = _mm_sub_pd(r7,rF);
            r8 = _mm_mul_pd(r8,rC);
            r9 = _mm_add_pd(r9,rD);
            rA = _mm_mul_pd(rA,rE);
            rB = _mm_sub_pd(rB,rF);

            r0 = _mm_add_pd(r0,rF);
            r1 = _mm_mul_pd(r1,rE);
            r2 = _mm_sub_pd(r2,rD);
            r3 = _mm_mul_pd(r3,rC);
            r4 = _mm_add_pd(r4,rF);
            r5 = _mm_mul_pd(r5,rE);
            r6 = _mm_sub_pd(r6,rD);
            r7 = _mm_mul_pd(r7,rC);
            r8 = _mm_add_pd(r8,rF);
            r9 = _mm_mul_pd(r9,rE);
            rA = _mm_sub_pd(rA,rD);
            rB = _mm_mul_pd(rB,rC);

            i++;
        }

        //  Need to renormalize to prevent denormal/overflow.
        r0 = _mm_and_pd(r0,MASK);
        r1 = _mm_and_pd(r1,MASK);
        r2 = _mm_and_pd(r2,MASK);
        r3 = _mm_and_pd(r3,MASK);
        r4 = _mm_and_pd(r4,MASK);
        r5 = _mm_and_pd(r5,MASK);
        r6 = _mm_and_pd(r6,MASK);
        r7 = _mm_and_pd(r7,MASK);
        r8 = _mm_and_pd(r8,MASK);
        r9 = _mm_and_pd(r9,MASK);
        rA = _mm_and_pd(rA,MASK);
        rB = _mm_and_pd(rB,MASK);
        r0 = _mm_or_pd(r0,vONE);
        r1 = _mm_or_pd(r1,vONE);
        r2 = _mm_or_pd(r2,vONE);
        r3 = _mm_or_pd(r3,vONE);
        r4 = _mm_or_pd(r4,vONE);
        r5 = _mm_or_pd(r5,vONE);
        r6 = _mm_or_pd(r6,vONE);
        r7 = _mm_or_pd(r7,vONE);
        r8 = _mm_or_pd(r8,vONE);
        r9 = _mm_or_pd(r9,vONE);
        rA = _mm_or_pd(rA,vONE);
        rB = _mm_or_pd(rB,vONE);

        c++;
    }

    r0 = _mm_add_pd(r0,r1);
    r2 = _mm_add_pd(r2,r3);
    r4 = _mm_add_pd(r4,r5);
    r6 = _mm_add_pd(r6,r7);
    r8 = _mm_add_pd(r8,r9);
    rA = _mm_add_pd(rA,rB);

    r0 = _mm_add_pd(r0,r2);
    r4 = _mm_add_pd(r4,r6);
    r8 = _mm_add_pd(r8,rA);

    r0 = _mm_add_pd(r0,r4);
    r0 = _mm_add_pd(r0,r8);


    //  Prevent Dead Code Elimination
    double out = 0;
    __m128d temp = r0;
    out += ((double*)&temp)[0];
    out += ((double*)&temp)[1];

    return out;
}

void test_dp_mac_SSE(int tds,uint64 iterations){

    double *sum = (double*)malloc(tds * sizeof(double));
    double start = omp_get_wtime();

#pragma omp parallel num_threads(tds)
    {
        double ret = test_dp_mac_SSE(1.1,2.1,iterations);
        sum[omp_get_thread_num()] = ret;
    }

    double secs = omp_get_wtime() - start;
    uint64 ops = 48 * 1000 * iterations * tds * 2;
    cout << "Seconds = " << secs << endl;
    cout << "FP Ops  = " << ops << endl;
    cout << "FLOPs   = " << ops / secs << endl;

    double out = 0;
    int c = 0;
    while (c < tds){
        out += sum[c++];
    }

    cout << "sum = " << out << endl;
    cout << endl;

    free(sum);
}

int main(){
    //  (threads, iterations)
    test_dp_mac_SSE(8,10000000);

    system("pause");
}

Вывод (1 поток, 10000000 итераций) - скомпилировано с Visual Studio 2010 SP1 - выпуск x64:

Seconds = 55.5104
FP Ops  = 960000000000
FLOPs   = 1.7294e+010
sum = 2.22652

Машина Core i7 2600K @ 4,4 ГГц. Теоретический пик SSE составляет 4 флопа * 4,4 ГГц = 17,6 Гфлопс . Этот код достигает 17,3 GFlops - неплохо.

Вывод (8 потоков, 10000000 итераций) - скомпилировано с Visual Studio 2010 SP1 - выпуск x64:

Seconds = 117.202
FP Ops  = 7680000000000
FLOPs   = 6.55279e+010
sum = 17.8122

Теоретический пик SSE составляет 4 флопа * 4 ядра * 4,4 ГГц = 70,4 Гфлопса. Фактически это 65,5 GFlops .


Давайте сделаем еще один шаг вперед. AVX ...

#include <immintrin.h>
#include <omp.h>
#include <iostream>
using namespace std;

typedef unsigned long long uint64;

double test_dp_mac_AVX(double x,double y,uint64 iterations){
    register __m256d r0,r1,r2,r3,r4,r5,r6,r7,r8,r9,rA,rB,rC,rD,rE,rF;

    //  Generate starting data.
    r0 = _mm256_set1_pd(x);
    r1 = _mm256_set1_pd(y);

    r8 = _mm256_set1_pd(-0.0);

    r2 = _mm256_xor_pd(r0,r8);
    r3 = _mm256_or_pd(r0,r8);
    r4 = _mm256_andnot_pd(r8,r0);
    r5 = _mm256_mul_pd(r1,_mm256_set1_pd(0.37796447300922722721));
    r6 = _mm256_mul_pd(r1,_mm256_set1_pd(0.24253562503633297352));
    r7 = _mm256_mul_pd(r1,_mm256_set1_pd(4.1231056256176605498));
    r8 = _mm256_add_pd(r0,_mm256_set1_pd(0.37796447300922722721));
    r9 = _mm256_add_pd(r1,_mm256_set1_pd(0.24253562503633297352));
    rA = _mm256_sub_pd(r0,_mm256_set1_pd(4.1231056256176605498));
    rB = _mm256_sub_pd(r1,_mm256_set1_pd(4.1231056256176605498));

    rC = _mm256_set1_pd(1.4142135623730950488);
    rD = _mm256_set1_pd(1.7320508075688772935);
    rE = _mm256_set1_pd(0.57735026918962576451);
    rF = _mm256_set1_pd(0.70710678118654752440);

    uint64 iMASK = 0x800fffffffffffffull;
    __m256d MASK = _mm256_set1_pd(*(double*)&iMASK);
    __m256d vONE = _mm256_set1_pd(1.0);

    uint64 c = 0;
    while (c < iterations){
        size_t i = 0;
        while (i < 1000){
            //  Here's the meat - the part that really matters.

            r0 = _mm256_mul_pd(r0,rC);
            r1 = _mm256_add_pd(r1,rD);
            r2 = _mm256_mul_pd(r2,rE);
            r3 = _mm256_sub_pd(r3,rF);
            r4 = _mm256_mul_pd(r4,rC);
            r5 = _mm256_add_pd(r5,rD);
            r6 = _mm256_mul_pd(r6,rE);
            r7 = _mm256_sub_pd(r7,rF);
            r8 = _mm256_mul_pd(r8,rC);
            r9 = _mm256_add_pd(r9,rD);
            rA = _mm256_mul_pd(rA,rE);
            rB = _mm256_sub_pd(rB,rF);

            r0 = _mm256_add_pd(r0,rF);
            r1 = _mm256_mul_pd(r1,rE);
            r2 = _mm256_sub_pd(r2,rD);
            r3 = _mm256_mul_pd(r3,rC);
            r4 = _mm256_add_pd(r4,rF);
            r5 = _mm256_mul_pd(r5,rE);
            r6 = _mm256_sub_pd(r6,rD);
            r7 = _mm256_mul_pd(r7,rC);
            r8 = _mm256_add_pd(r8,rF);
            r9 = _mm256_mul_pd(r9,rE);
            rA = _mm256_sub_pd(rA,rD);
            rB = _mm256_mul_pd(rB,rC);

            r0 = _mm256_mul_pd(r0,rC);
            r1 = _mm256_add_pd(r1,rD);
            r2 = _mm256_mul_pd(r2,rE);
            r3 = _mm256_sub_pd(r3,rF);
            r4 = _mm256_mul_pd(r4,rC);
            r5 = _mm256_add_pd(r5,rD);
            r6 = _mm256_mul_pd(r6,rE);
            r7 = _mm256_sub_pd(r7,rF);
            r8 = _mm256_mul_pd(r8,rC);
            r9 = _mm256_add_pd(r9,rD);
            rA = _mm256_mul_pd(rA,rE);
            rB = _mm256_sub_pd(rB,rF);

            r0 = _mm256_add_pd(r0,rF);
            r1 = _mm256_mul_pd(r1,rE);
            r2 = _mm256_sub_pd(r2,rD);
            r3 = _mm256_mul_pd(r3,rC);
            r4 = _mm256_add_pd(r4,rF);
            r5 = _mm256_mul_pd(r5,rE);
            r6 = _mm256_sub_pd(r6,rD);
            r7 = _mm256_mul_pd(r7,rC);
            r8 = _mm256_add_pd(r8,rF);
            r9 = _mm256_mul_pd(r9,rE);
            rA = _mm256_sub_pd(rA,rD);
            rB = _mm256_mul_pd(rB,rC);

            i++;
        }

        //  Need to renormalize to prevent denormal/overflow.
        r0 = _mm256_and_pd(r0,MASK);
        r1 = _mm256_and_pd(r1,MASK);
        r2 = _mm256_and_pd(r2,MASK);
        r3 = _mm256_and_pd(r3,MASK);
        r4 = _mm256_and_pd(r4,MASK);
        r5 = _mm256_and_pd(r5,MASK);
        r6 = _mm256_and_pd(r6,MASK);
        r7 = _mm256_and_pd(r7,MASK);
        r8 = _mm256_and_pd(r8,MASK);
        r9 = _mm256_and_pd(r9,MASK);
        rA = _mm256_and_pd(rA,MASK);
        rB = _mm256_and_pd(rB,MASK);
        r0 = _mm256_or_pd(r0,vONE);
        r1 = _mm256_or_pd(r1,vONE);
        r2 = _mm256_or_pd(r2,vONE);
        r3 = _mm256_or_pd(r3,vONE);
        r4 = _mm256_or_pd(r4,vONE);
        r5 = _mm256_or_pd(r5,vONE);
        r6 = _mm256_or_pd(r6,vONE);
        r7 = _mm256_or_pd(r7,vONE);
        r8 = _mm256_or_pd(r8,vONE);
        r9 = _mm256_or_pd(r9,vONE);
        rA = _mm256_or_pd(rA,vONE);
        rB = _mm256_or_pd(rB,vONE);

        c++;
    }

    r0 = _mm256_add_pd(r0,r1);
    r2 = _mm256_add_pd(r2,r3);
    r4 = _mm256_add_pd(r4,r5);
    r6 = _mm256_add_pd(r6,r7);
    r8 = _mm256_add_pd(r8,r9);
    rA = _mm256_add_pd(rA,rB);

    r0 = _mm256_add_pd(r0,r2);
    r4 = _mm256_add_pd(r4,r6);
    r8 = _mm256_add_pd(r8,rA);

    r0 = _mm256_add_pd(r0,r4);
    r0 = _mm256_add_pd(r0,r8);

    //  Prevent Dead Code Elimination
    double out = 0;
    __m256d temp = r0;
    out += ((double*)&temp)[0];
    out += ((double*)&temp)[1];
    out += ((double*)&temp)[2];
    out += ((double*)&temp)[3];

    return out;
}

void test_dp_mac_AVX(int tds,uint64 iterations){

    double *sum = (double*)malloc(tds * sizeof(double));
    double start = omp_get_wtime();

#pragma omp parallel num_threads(tds)
    {
        double ret = test_dp_mac_AVX(1.1,2.1,iterations);
        sum[omp_get_thread_num()] = ret;
    }

    double secs = omp_get_wtime() - start;
    uint64 ops = 48 * 1000 * iterations * tds * 4;
    cout << "Seconds = " << secs << endl;
    cout << "FP Ops  = " << ops << endl;
    cout << "FLOPs   = " << ops / secs << endl;

    double out = 0;
    int c = 0;
    while (c < tds){
        out += sum[c++];
    }

    cout << "sum = " << out << endl;
    cout << endl;

    free(sum);
}

int main(){
    //  (threads, iterations)
    test_dp_mac_AVX(8,10000000);

    system("pause");
}

Вывод (1 поток, 10000000 итераций) - скомпилировано с Visual Studio 2010 SP1 - выпуск x64:

Seconds = 57.4679
FP Ops  = 1920000000000
FLOPs   = 3.34099e+010
sum = 4.45305

Теоретический пик AVX составляет 8 флопов * 4,4 ГГц = 35,2 Гфлопс . Фактически это 33,4 GFlops .

Вывод (8 потоков, 10000000 итераций) - скомпилировано с Visual Studio 2010 SP1 - выпуск x64:

Seconds = 111.119
FP Ops  = 15360000000000
FLOPs   = 1.3823e+011
sum = 35.6244

Теоретический пик AVX составляет 8 флопов * 4 ядра * 4,4 ГГц = 140,8 Гфлопс. Фактически это 138,2 GFlops .


Теперь несколько пояснений:

Критическая часть производительности - это, очевидно, 48 инструкций во внутреннем цикле. Вы заметите, что он разбит на 4 блока по 12 инструкций в каждом. Каждый из этих 12 блоков инструкций полностью независим друг от друга - для выполнения в среднем требуется 6 циклов.

Таким образом, существует 12 инструкций и 6 циклов между выпусками. Задержка умножения составляет 5 циклов, так что этого достаточно, чтобы избежать задержек задержки.

Шаг нормализации необходим, чтобы предотвратить переполнение / переполнение данных. Это необходимо, поскольку беспроигрышный код будет медленно увеличивать / уменьшать величину данных.

Так что на самом деле можно добиться большего, чем это, если вы просто используете все нули и избавляетесь от шага нормализации. Однако, поскольку я написал эталон для измерения энергопотребления и температуры, я должен был убедиться, что на флопах были «реальные» данные, а не нули - поскольку исполнительные блоки вполне могут иметь особую обработку случая для нулей, которые используют меньше энергии и производить меньше тепла.


Больше результатов:

  • Intel Core i7 920 @ 3,5 ГГц
  • Windows 7 Ultimate x64
  • Visual Studio 2010 SP1 - выпуск x64

Темы: 1

Seconds = 72.1116
FP Ops  = 960000000000
FLOPs   = 1.33127e+010
sum = 2.22652

Теоретический пик SSE: 4 флопа * 3,5 ГГц = 14,0 гфлопс . Фактический 13,3 GFlops .

Темы: 8

Seconds = 149.576
FP Ops  = 7680000000000
FLOPs   = 5.13452e+010
sum = 17.8122

Теоретический пик SSE: 4 флопа * 4 ядра * 3,5 ГГц = 56,0 Гфлопса . Фактический 51,3 GFlops .

В многопоточном режиме температура моего процессора достигла 76C! Если вы запускаете их, убедитесь, что на результаты не влияет регулирование процессора.


  • 2 х Intel Xeon X5482 Harpertown @ 3,2 ГГц
  • Ubuntu Linux 10 x64
  • GCC 4.5.2 x64 - (-O2 -msse3 -fopenmp)

Темы: 1

Seconds = 78.3357
FP Ops  = 960000000000
FLOPs   = 1.22549e+10
sum = 2.22652

Теоретический пик SSE: 4 флопа * 3,2 ГГц = 12,8 гфлопс . Фактически это 12,3 GFlops .

Темы: 8

Seconds = 78.4733
FP Ops  = 7680000000000
FLOPs   = 9.78676e+10
sum = 17.8122

Теоретический пик SSE: 4 флопа * 8 ядер * 3,2 ГГц = 102,4 Гфлопса . Фактически это 97,9 GFlops .


13
Ваши результаты очень впечатляют. Я скомпилировал ваш код с помощью g ++ на моей старой системе, но не получил столь же хороших результатов: 100 000 итераций, 1.814s, 5.292 Gflops, sum=0.448883из пиковых 10,68 Гфлопс или просто не хватает 2,0 флопс за цикл. Кажется add/ mulне выполняются параллельно. Когда я изменяю ваш код и всегда добавляю / умножаю с одним и тем же регистром, скажем rC, он внезапно достигает почти пика: 0.953s, 10.068 Gflops, sum=0или 3,8 флопс / цикл. Очень странно.
user1059432

11
Да, поскольку я не использую встроенную сборку, производительность действительно очень чувствительна к компилятору. Код, который я здесь, был настроен для VC2010. И если я правильно помню, компилятор Intel дает такие же хорошие результаты. Как вы заметили, вам, возможно, придется немного его настроить, чтобы он хорошо компилировался.
Мистик

8
Я могу подтвердить ваши результаты на Windows 7, используя cl /O2(64-битный от Windows SDK), и даже мой пример работает там близко к пику для скалярных операций (1,9 флопс / цикл). Цикл развертывания и переупорядочения компилятора, но это, возможно, не является причиной, по которой нужно больше разбираться в этом. Дросселирование не проблема, я хорошо отношусь к своему процессору и держу итерации на 100k. :)
user1059432

6
@Mysticial: Сегодня он появился в субреддите r / coding .
Greyfade

2
@haylem Либо тает, либо взлетает. Никогда оба. Если будет достаточно охлаждения, он получит эфирное время. В противном случае он просто тает. :)
Мистик

33

В архитектуре Intel есть один момент, о котором люди часто забывают: порты диспетчеризации разделяются между Int и FP / SIMD. Это означает, что вы получите только определенное количество пакетов FP / SIMD, прежде чем логика цикла создаст пузырьки в потоке с плавающей запятой. Mystical получил больше провалов из своего кода, потому что он использовал более длинные шаги в своем развернутом цикле.

Если вы посмотрите на архитектуру Nehalem / Sandy Bridge здесь http://www.realworldtech.com/page.cfm?ArticleID=RWT091810191937&p=6, то совершенно ясно, что происходит.

Напротив, должно быть проще достичь пиковой производительности на AMD (Bulldozer), поскольку каналы INT и FP / SIMD имеют отдельные порты выдачи с собственным планировщиком.

Это только теоретически, поскольку у меня нет ни одного из этих процессоров для тестирования.


2
Есть только три инструкции накладных петель: inc, cmpи jl. Все они могут идти в порт № 5 и не мешать ни векторизации, faddни fmul. Я скорее подозреваю, что декодер (иногда) встает на пути. Требуется выдержать от двух до трех инструкций за цикл. Я не помню точных ограничений, но длина команды, префиксы и выравнивание входят в игру.
Маки Мессер

cmpи, jlконечно, перейдите к порту 5, incне так уверен, как это всегда происходит в группе с 2 другими. Но вы правы, трудно сказать, где находится узкое место, и декодеры также могут быть частью этого.
Патрик Шлютер

3
Я немного поиграл с основным циклом: порядок инструкций имеет значение. Некоторые схемы занимают 13 циклов вместо минимальных 5 циклов. Время взглянуть на счетчики событий производительности, я думаю ...
Mackie Messer

16

Филиалы определенно могут удержать вас от поддержания максимальной теоретической производительности. Видите ли вы разницу, если вы выполняете ручное развертывание? Например, если вы добавили в 5 или 10 раз больше операций на цикл итерации:

for(int i=0; i<loops/5; i++) {
      mul1*=mul; mul2*=mul; mul3*=mul; mul4*=mul; mul5*=mul;
      sum1+=add; sum2+=add; sum3+=add; sum4+=add; sum5+=add;
      mul1*=mul; mul2*=mul; mul3*=mul; mul4*=mul; mul5*=mul;
      sum1+=add; sum2+=add; sum3+=add; sum4+=add; sum5+=add;
      mul1*=mul; mul2*=mul; mul3*=mul; mul4*=mul; mul5*=mul;
      sum1+=add; sum2+=add; sum3+=add; sum4+=add; sum5+=add;
      mul1*=mul; mul2*=mul; mul3*=mul; mul4*=mul; mul5*=mul;
      sum1+=add; sum2+=add; sum3+=add; sum4+=add; sum5+=add;
      mul1*=mul; mul2*=mul; mul3*=mul; mul4*=mul; mul5*=mul;
      sum1+=add; sum2+=add; sum3+=add; sum4+=add; sum5+=add;
   }

4
Я могу ошибаться, но я верю, что g ++ с -O2 попытается автоматически размотать цикл (я думаю, что он использует устройство Даффа).
Уивер

6
Да, спасибо, это действительно несколько улучшается. Теперь я получаю около 4,1-4,3 Гфлопс или 1,55 флопс за цикл. И нет, в этом примере -O2 не развернул цикл.
user1059432

1
Уивер прав насчет раскручивания петли, я полагаю. Так что
раскатывать

5
См. Вывод сборки выше, нет признаков разматывания петли.
user1059432

14
Автоматическое развертывание также улучшается в среднем до 4,2 Гфлопс, но требует -funroll-loopsопции, которая даже не включена в -O3. См g++ -c -Q -O2 --help=optimizers | grep unroll.
user1059432

7

Использование Intel ICC версии 11.1 на 2,4 ГГц Intel Core 2 Duo я получаю

Macintosh:~ mackie$ icc -O3 -mssse3 -oaddmul addmul.cc && ./addmul 1000
addmul:  0.105 s, 9.525 Gflops, res=0.000000
Macintosh:~ mackie$ icc -v
Version 11.1 

Это очень близко к идеальным 9,6 Гфлопс.

РЕДАКТИРОВАТЬ:

Ой, глядя на код сборки, кажется, что icc не только векторизовал умножение, но и вытащил дополнения из цикла. При навязывании более строгой семантики fp код больше не векторизован:

Macintosh:~ mackie$ icc -O3 -mssse3 -oaddmul addmul.cc -fp-model precise && ./addmul 1000
addmul:  0.516 s, 1.938 Gflops, res=1.326463

EDIT2:

Как просили:

Macintosh:~ mackie$ clang -O3 -mssse3 -oaddmul addmul.cc && ./addmul 1000
addmul:  0.209 s, 4.786 Gflops, res=1.326463
Macintosh:~ mackie$ clang -v
Apple clang version 3.0 (tags/Apple/clang-211.10.1) (based on LLVM 3.0svn)
Target: x86_64-apple-darwin11.2.0
Thread model: posix

Внутренний цикл кода Clang выглядит следующим образом:

        .align  4, 0x90
LBB2_4:                                 ## =>This Inner Loop Header: Depth=1
        addsd   %xmm2, %xmm3
        addsd   %xmm2, %xmm14
        addsd   %xmm2, %xmm5
        addsd   %xmm2, %xmm1
        addsd   %xmm2, %xmm4
        mulsd   %xmm2, %xmm0
        mulsd   %xmm2, %xmm6
        mulsd   %xmm2, %xmm7
        mulsd   %xmm2, %xmm11
        mulsd   %xmm2, %xmm13
        incl    %eax
        cmpl    %r14d, %eax
        jl      LBB2_4

EDIT3:

Наконец, два предложения: во-первых, если вам нравится этот тип тестирования, подумайте об использовании rdtscинструкции вместо gettimeofday(2). Это намного точнее и обеспечивает время в циклах, что обычно в любом случае вас интересует. Для gcc и друзей вы можете определить это так:

#include <stdint.h>

static __inline__ uint64_t rdtsc(void)
{
        uint64_t rval;
        __asm__ volatile ("rdtsc" : "=A" (rval));
        return rval;
}

Во-вторых, вам следует несколько раз запускать тестовую программу и использовать только наилучшую производительность . В современных операционных системах многие вещи происходят параллельно, процессор может находиться в режиме энергосбережения на низких частотах и ​​т. Д. Повторное выполнение программы дает результат, который ближе к идеальному случаю.


2
и как выглядит разборка?
Bahbar

1
Интересно, что это меньше, чем 1 флоп / цикл. Смешивает ли компилятор addsd's' и mulsd's' или они в группах, как в моем выводе сборки? Я также получаю примерно 1 флоп / цикл, когда компилятор смешивает их (без которых я получаю -march=native). Как изменяется производительность, если вы добавляете строку add=mul;в начале функции addmul(...)?
user1059432

1
@ user1059432: addsdи subsdинструкции действительно смешаны в точной версии. Я тоже попробовал clang 3.0, он не смешивает инструкции и очень близок к 2 флопсам / такт на Core 2 Duo. Когда я запускаю тот же код на моем ноутбуке Core i5, смешивание кода не имеет значения. Я получаю около 3 флопов / цикл в любом случае.
Маки Мессер

1
@ user1059432: В конце концов, все сводится к тому, чтобы заставить компилятор генерировать «значимый» код для синтетического теста. Это сложнее, чем кажется на первый взгляд. (т.е. icc превосходит ваш тест). Если все, что вам нужно, это запустить некоторый код с 4 флопс / цикл, то проще всего написать небольшой цикл сборки. Гораздо меньше головной боли. :-)
Маки Мессер

1
Итак, вы получаете около 2 флоп / цикл с кодом сборки, похожим на тот, который я цитировал выше? Как близко к 2? Я получаю только 1,4, так что это важно. Я не думаю, что вы получаете 3 флопа / цикл на своем ноутбуке, если компилятор не выполняет оптимизацию, как вы видели iccранее, можете ли вы дважды проверить сборку?
user1059432
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.