Как эффективно генерировать случайные положительно-полуопределенные корреляционные матрицы?

Я хотел бы иметь возможность эффективно генерировать матрицы положительно-полуопределенной (PSD) корреляции. Мой метод значительно замедляется, когда я увеличиваю размер создаваемых матриц.

1. Не могли бы вы предложить какие-либо эффективные решения? Если вам известны какие-либо примеры в Matlab, я был бы очень благодарен.
2. Когда вы генерируете матрицу корреляции PSD, как бы вы выбрали параметры для описания матриц, которые будут сгенерированы? Средняя корреляция, стандартное отклонение корреляций, собственные значения?

Вы можете сделать это в обратном направлении: каждая матрица (множество всех симметричных PSD матриц) может быть разложена как p × $C \in \mathbb{R}_{++}^p$$p \times p$

$C=O^{T}DO$ где $O$ - ортонормированная матрица

Чтобы получить $O$ , сначала сгенерируйте случайный базис $(v_1,...,v_p)$ (где $v_i$ - случайные векторы, обычно в $(-1,1)$ ). Оттуда используйте процесс ортогонализации Грамма-Шмидта, чтобы получить $(u_1,....,u_p)=O$

$R$ имеет несколько пакетов, которые могут эффективно выполнять ортогонализацию GS на случайной основе, даже для больших измерений, например, «дальний» пакет. Несмотря на то, что вы найдете алгоритм GS в вики, вероятно, лучше не изобретать колесо и не приступить к реализации Matlab (она, безусловно, существует, я просто не могу ее рекомендовать).

Наконец, - это диагональные матрицы, все элементы которых положительны (это, опять же, легко сгенерировать: сгенерировать случайных чисел, возвести их в квадрат, отсортировать и поместить их в диагональ тождества по матрице).р р $D$$p$$p$$p$

В статье « Генерация матриц случайной корреляции на основе лоз и расширенного метода лука», выполненной Левандовски, Куровицкой и Джо (LKJ), 2009 г., представлены единый подход и описание двух эффективных методов генерации матриц случайной корреляции. Оба метода позволяют генерировать матрицы из равномерного распределения в определенном точном смысле, определенном ниже, просты в реализации, быстры и имеют дополнительное преимущество, заключающееся в забавных именах.

Вещественная симметричная матрица размера с единицами на диагонали имеет уникальных недиагональных элемента и поэтому может быть параметризована как точка в . Каждая точка в этом пространстве соответствует симметричной матрице, но не все они являются положительно определенными (как это должно быть для корреляционных матриц). Поэтому корреляционные матрицы образуют подмножество (фактически связное выпуклое подмножество), и оба метода могут генерировать точки из равномерного распределения по этому подмножеству.d ( d - 1 ) / 2 R d ( d - 1 ) / 2 R d ( d - 1 ) /$d \times d$$d(d-1)/2$$\mathbb R^{d(d-1)/2}$$\mathbb R^{d(d-1)/2}$

Я предоставлю свою собственную реализацию MATLAB каждого метода и проиллюстрирую их с .$d=100$

Луковый метод

Луковый метод взят из другой статьи (ссылка № 3 в LKJ) и получил свое название от того факта, что матрицы корреляции генерируются, начиная с матрицы и увеличивая ее столбец за столбцом и строку за строкой. Результирующее распределение является равномерным. Я не очень понимаю математику метода (и все равно предпочитаю второй метод), но вот результат:$1\times 1$

Здесь и далее заголовок каждого подзаговора показывает наименьшее и наибольшее собственные значения и определитель (произведение всех собственных значений). Вот код:

%// ONION METHOD to generate random correlation matrices distributed randomly
function S = onion(d)
    S = 1;
    for k = 2:d
        y = betarnd((k-1)/2, (d-k)/2); %// sampling from beta distribution
        r = sqrt(y);
        theta = randn(k-1,1);
        theta = theta/norm(theta);
        w = r*theta;
        [U,E] = eig(S);
        R = U*E.^(1/2)*U';             %// R is a square root of S
        q = R*w;
        S = [S q; q' 1];               %// increasing the matrix size
    end
end

Расширенный метод лука

LKJ немного изменил этот метод, чтобы иметь возможность выбирать корреляционные матрицы из распределения, пропорционального . Чем больше значение , тем больше будет определитель, означающий, что сгенерированные корреляционные матрицы будут все больше приближаться к единичной матрице. Значение соответствует равномерному распределению. На рисунке ниже матрицы генерируются с . [ д е $\mathbf C$ η η = 1 η = 1 , 10 , 100 , 1000 , $[\mathrm{det}\:\mathbf C]^{\eta-1}$$\eta$$\eta=1$$\eta={1, 10, 100, 1000, 10\:000, 100\:000}$

По какой-то причине, чтобы получить определитель того же порядка, что и в методе с ванильным луком, мне нужно поставить а не (как утверждает LKJ). Не уверен, где ошибка.η = $\eta=0$$\eta=1$

%// EXTENDED ONION METHOD to generate random correlation matrices
%// distributed ~ det(S)^eta [or maybe det(S)^(eta-1), not sure]
function S = extendedOnion(d, eta)
    beta = eta + (d-2)/2;
    u = betarnd(beta, beta);
    r12 = 2*u - 1;
    S = [1 r12; r12 1];  

    for k = 3:d
        beta = beta - 1/2;
        y = betarnd((k-1)/2, beta);
        r = sqrt(y);
        theta = randn(k-1,1);
        theta = theta/norm(theta);
        w = r*theta;
        [U,E] = eig(S);
        R = U*E.^(1/2)*U';
        q = R*w;
        S = [S q; q' 1];
    end
end

Винный метод

Винный метод был первоначально предложен Джо (J в LKJ) и улучшен LKJ. Мне это нравится больше, потому что это концептуально проще, а также легче модифицировать. Идея состоит в том, чтобы сгенерировать частичных корреляции (они независимы и могут иметь любые значения из без каких-либо ограничений), а затем преобразовать их в необработанные корреляции с помощью рекурсивной формулы. Удобно организовать вычисления в определенном порядке, и этот график известен как «лоза». Важно отметить, что если частичные корреляции выбираются из конкретных бета-распределений (различающихся для разных ячеек в матрице), то полученная матрица будет распределена равномерно. Здесь снова LKJ вводит дополнительный параметр для выборки из распределения, пропорционального[ - 1 , 1 ] η [ d e $d(d-1)/2$$[-1, 1]$$\eta$$[\mathrm{det}\:\mathbf C]^{\eta-1}$ . Результат идентичен расширенному луку:

%// VINE METHOD to generate random correlation matrices
%// distributed ~ det(S)^eta [or maybe det(S)^(eta-1), not sure]
function S = vine(d, eta)
    beta = eta + (d-1)/2;   
    P = zeros(d);           %// storing partial correlations
    S = eye(d);

    for k = 1:d-1
        beta = beta - 1/2;
        for i = k+1:d
            P(k,i) = betarnd(beta,beta); %// sampling from beta
            P(k,i) = (P(k,i)-0.5)*2;     %// linearly shifting to [-1, 1]
            p = P(k,i);
            for l = (k-1):-1:1 %// converting partial correlation to raw correlation
                p = p * sqrt((1-P(l,i)^2)*(1-P(l,k)^2)) + P(l,i)*P(l,k);
            end
            S(k,i) = p;
            S(i,k) = p;
        end
    end
end

Винный метод с ручной выборкой частичных корреляций

Как видно выше, равномерное распределение приводит к почти диагональным корреляционным матрицам. Но можно легко изменить метод виноградной лозы, чтобы иметь более сильные корреляции (это не описано в статье LKJ, но просто): для этого следует выбрать частичные корреляции из распределения, сосредоточенного около . Ниже я приведу выборку их из бета-распределения (масштабируется с до ) с помощью . Чем меньше параметры бета-распределения, тем больше оно сосредоточено вблизи краев.[ 0 , 1 ] [ - 1 , 1 ] α = β = 50 , 20 , 10 , 5 , 2 , $\pm 1$$[0,1]$$[-1, 1]$$\alpha=\beta={50, 20, 10, 5, 2, 1}$

Обратите внимание, что в этом случае распределение не обязательно будет инвариантным по перестановке, поэтому я дополнительно случайным образом переставляем строки и столбцы после генерации.

%// VINE METHOD to generate random correlation matrices
%// with all partial correlations distributed ~ beta(betaparam,betaparam)
%// rescaled to [-1, 1]
function S = vineBeta(d, betaparam)
    P = zeros(d);           %// storing partial correlations
    S = eye(d);

    for k = 1:d-1
        for i = k+1:d
            P(k,i) = betarnd(betaparam,betaparam); %// sampling from beta
            P(k,i) = (P(k,i)-0.5)*2;     %// linearly shifting to [-1, 1]
            p = P(k,i);
            for l = (k-1):-1:1 %// converting partial correlation to raw correlation
                p = p * sqrt((1-P(l,i)^2)*(1-P(l,k)^2)) + P(l,i)*P(l,k);
            end
            S(k,i) = p;
            S(i,k) = p;
        end
    end

    %// permuting the variables to make the distribution permutation-invariant
    permutation = randperm(d);
    S = S(permutation, permutation);
end

Вот как выглядят гистограммы недиагональных элементов для вышеприведенных матриц (дисперсия распределения монотонно увеличивается):

Обновление: с использованием случайных факторов

$k<d$$\mathbf W$$k \times d$$\mathbf W \mathbf W^\top$$\mathbf D$С = Е - 1 / 2 Б Е - 1 / 2 Е В к = 100 , 50 , 20 , 10 , 5 , $\mathbf B = \mathbf W \mathbf W^\top + \mathbf D$$\mathbf C = \mathbf E^{-1/2}\mathbf B \mathbf E^{-1/2}$ , где является диагональной матрицей с той же диагонали , как . Это очень просто и делает свое дело. Вот несколько примеров корреляционных матриц для :$\mathbf E$$\mathbf B$$k={100, 50, 20, 10, 5, 1}$

И код:

%// FACTOR method
function S = factor(d,k)
    W = randn(d,k);
    S = W*W' + diag(rand(1,d));
    S = diag(1./sqrt(diag(S))) * S * diag(1./sqrt(diag(S)));
end

Вот код переноса, использованный для генерации фигур:

d = 100; %// size of the correlation matrix

figure('Position', [100 100 1100 600])
for repetition = 1:6
    S = onion(d);

    %// etas = [1 10 100 1000 1e+4 1e+5];
    %// S = extendedOnion(d, etas(repetition));

    %// S = vine(d, etas(repetition));

    %// betaparams = [50 20 10 5 2 1];
    %// S = vineBeta(d, betaparams(repetition));

    subplot(2,3,repetition)

    %// use this to plot colormaps of S
    imagesc(S, [-1 1])
    axis square
    title(['Eigs: ' num2str(min(eig(S)),2) '...' num2str(max(eig(S)),2) ', det=' num2str(det(S),2)])

    %// use this to plot histograms of the off-diagonal elements
    %// offd = S(logical(ones(size(S))-eye(size(S))));
    %// hist(offd)
    %// xlim([-1 1])
end

$A$$A^TA$$y^T (A^TA) y \ge 0$$y$$y^T (A^TA) y = (Ay)^T Ay = ||Ay||$который неотрицателен. Так что в Matlab просто попробуйте

A = randn(m,n);   %here n is the desired size of the final matrix, and m > n
X = A' * A;

В зависимости от приложения, это может не дать вам распределение собственных значений, которые вы хотите; Ответ Квака намного лучше в этом отношении. Собственные значения, Xполученные этим фрагментом кода, должны соответствовать распределению Марченко-Пастура.

Скажем, для моделирования корреляционных матриц акций может потребоваться несколько иной подход:

k = 7;      % # of latent dimensions;
n = 100;    % # of stocks;
A = 0.01 * randn(k,n);  % 'hedgeable risk'
D = diag(0.001 * randn(n,1));   % 'idiosyncratic risk'
X = A'*A + D;
ascii_hist(eig(X));    % this is my own function, you do a hist(eig(X));
-Inf <= x <  -0.001 : **************** (17)
-0.001 <= x <   0.001 : ************************************************** (53)
 0.001 <= x <   0.002 : ******************** (21)
 0.002 <= x <   0.004 : ** (2)
 0.004 <= x <   0.005 :  (0)
 0.005 <= x <   0.007 : * (1)
 0.007 <= x <   0.008 : * (1)
 0.008 <= x <   0.009 : *** (3)
 0.009 <= x <   0.011 : * (1)
 0.011 <= x <     Inf : * (1)

$\mathbf{D}$$\mathbf{A}=\mathbf{Q}\mathbf{D}\mathbf{Q}^T$$\mathbf{Q}$

Вы не указали распределение для матриц. Два распространенных варианта - это рассылки Wishart и обратные рассылки Wishart. Разложение Бартлетта дает Холецкого факторизации матрицы случайных Уишарта (которые также могут быть эффективно решены , чтобы получить случайную обратную Уишарт матрицу).

На самом деле, пространство Холецкого - это удобный способ генерировать другие типы случайных PSD-матриц, так как нужно только убедиться, что диагональ неотрицательна.

$U^TSU$

Если вы хотите лучше контролировать сгенерированную симметричную матрицу PSD, например, создать синтетический набор данных проверки, у вас есть несколько доступных параметров. Симметричная PSD-матрица соответствует гиперэллипсу в N-мерном пространстве со всеми соответствующими степенями свободы:

1. Повороты.
2. Длина осей.

Таким образом, для 2-мерной матрицы (т.е. 2d эллипса) у вас будет 1 поворот + 2 оси = 3 параметра.

$\Sigma=ODO^T$$\Sigma$$O$$D$

$\Sigma$

figure;
mu = [0,0];
for i=1:16
    subplot(4,4,i)
    theta = (i/16)*2*pi;   % theta = rand*2*pi;
    U=[cos(theta), -sin(theta); sin(theta) cos(theta)];
    % The diagonal's elements control the lengths of the axes
    D = [10, 0; 0, 1]; % D = diag(rand(2,1));    
    sigma = U*D*U';
    data = mvnrnd(mu,sigma,1000);
    plot(data(:,1),data(:,2),'+'); axis([-6 6 -6 6]); hold on;
end

$U$

Дешевый и веселый подход, который я использовал для тестирования, состоит в том, чтобы сгенерировать m N (0,1) n-векторов V [k], а затем использовать P = d * I + Sum {V [k] * V [k] '} как матрица nxn psd. При m <n это будет единственное число для d = 0, а для малых d будет иметь большое число условий.