Пусть поэтому для очень короткой выборки, такой как ее можно вычислить от нахождения статики го порядка парных разностей: $Q_n = C_n.\{|X_i-X_j|;i < j\}_{(k)}$$\{1,3,6,2,7,5\}$$k$

    7 6 5 3 2 1
1   6 5 4 2 1
2   5 4 3 1
3   4 3 2
5   2 1
6   1
7

ч = [п / 2] + 1 = 4

к = ч (ч-1) / 2 = 8

Таким образом,$Q_n=C_n. 2$

Очевидно, что для больших выборок, состоящих из 80 000 записей, нам нужна очень большая память.

Есть ли способ вычислить в 1D пространстве вместо 2D?$Q_n$

Ссылка на ответ ftp://ftp.win.ua.ac.be/pub/preprints/92/Timeff92.pdf, хотя я не могу полностью понять это.

Обновление: суть проблемы заключается в том, что для достижения временной сложности требуется порядок хранения .$O(n\log(n))$$O(n)$

Нет, $O(n\log(n))$ - нижняя теоретическая граница для временной сложности (см. (1)) выбора элемента $k^{th}$ среди всех $\frac{n(n-1)}{2}$ возможных.$|x_i - x_j|: 1 \leq i \lt j \leq n$

Вы можете получить пространство , но только наивно проверяя все комбинации за время .$O(1)$$x_i-x_j$$O(n^2)$

Хорошей новостью является то, что вы можете использовать оценщик масштаба (см. (2) и (3) для улучшенной версии и некоторых сравнений по времени), реализованный в функции в пакете . Одномерная оценка является двухступенчатой ​​(т.е. повторно взвешенной) оценкой масштаба. Он имеет эффективность Гаусса 95 процентов, точку разбивки 50 процентов и сложность времени и пространства (плюс его легко можно сделать «онлайн», что позволяет сократить половину вычислительных затрат при повторном использовании - хотя вы для реализации этой опции придется копаться в коде, это довольно просто сделать).$\tau$scaleTau2()Rrobustbase$\tau$$O(n)$$O(1)$R

1. Сложность выбора и ранжирования в X + Y и матрицах с отсортированными столбцами Г. Н. Фредериксон и Д. Б. Джонсон, Журнал компьютерных и системных наук, том 24, выпуск 2, апрель 1982, страницы 197-208.
2. Йохай, В. и Замар, Р. (1988). Высокая точка пробоя оценки регрессии посредством минимизации эффективной шкалы. Журнал Американской статистической ассоциации 83 406–413.
3. Маронна Р. и Замар Р. (2002). Надежные оценки местоположения и дисперсии для многомерных наборов данных. Технометрия 44 307–317

Изменить Чтобы использовать это

1. Запустите R(это бесплатно и может быть загружено здесь )
2. Установите пакет, набрав:

install.packages("robustbase")

3. Загрузите пакет, набрав:

library("robustbase")

4. Загрузите файл данных и запустите функцию:

mydatavector <- read.table("address to my file in text format", header=T)
scaleTau2(mydatavector)

(Очень короткий ответ) Текст для комментирования говорит

избегайте ответов на вопросы в комментариях.

Итак, вот оно: Есть статья об онлайн-алгоритме, который, похоже, работает достаточно хорошо: Применение Estimator Online$Q_n$ .

РЕДАКТИРОВАТЬ

(пользователем user603). Алгоритм, связанный с этой статьей, представляет собой версию Q n с движущимся окном .$Q_n$

Для большой выборки разделенной на временные окна шириной n < N , { x i } t i = t - n + 1, мы можем применить Q n к каждому временному окну, получая N - n + 1 значения Q н . Обозначим эти значения { Q i n } N - n + 1 i $\{x_i\}_{i=1}^N$$n<N$$\{x_i\}_{i=t-n+1}^t$$Q_n$$N-n+1$$Q_n$$\{Q_n^i\}_{i=1}^{N-n+1}$

Приведенный здесь алгоритм позволяет получить при средней стоимости меньше, чем наихудший O ( n log ( n ) ), необходимый для вычисления Q i n с нуля.$Q_n^i|Q_n^{i-1}$ $O(n\log(n))$$Q_n^i$

Однако этот алгоритм не может использоваться для вычисления полной исходной выборки { x i } N i = 1 . Также необходимо поддерживать буфер, размер которого может достигать O ( n 2 ) (хотя он часто намного меньше).$Q_n$$\{x_i\}_{i=1}^N$$O(n^2)$

это мой инструмент Qn ...

Я программировал это на C, и результат таков:

void bubbleSort(double *datos, int N)
{
 for (int j=0; j<N-1 ;j++)     
  for (int i=j+1; i<N; i++)    
   if (datos[i]<datos[j])      
   {
    double tmp=datos[i];
    datos[i]=datos[j];
    datos[j]=tmp;
   }
}

double  fFactorial(long N)    
{
 double factorial=1.0;

 for (long i=1; i<=N; ++i)
  factorial*=(double)i;

 return factorial;  
}

double fQ_n(double *datos, int N)  // Rousseeuw's and Croux (1993) Qn scale estimator
{
 bubbleSort(datos, N);

 int m=(int)((fFactorial((long)N))/(fFactorial(2)*fFactorial((long)N-2)));

 double D[m];
 //double Cn=2.2219;      //not used now :) constant value https://www.itl.nist.gov/div898/software/dataplot/refman2/auxillar/qn_scale.htm

 int k=(int)((fFactorial((long)N/2+1))/(fFactorial(2)*fFactorial((long)N/2+1-2)));

 int y=0;

 for (int i=0; i<N; i++)
  for (int j=N-1; j>=0; j--)
   if (i<j)
   {
    D[y]=abs(datos[i]-datos[j]);
    y++;
   }

 bubbleSort(D, m);

 return D[k-1];
}

int main(int argc, char **argv)    
{
 double datos[6]={1,2,3,5,6,7};
 int N=6;

 // Priting in terminal the final solution
 printf("\n==[Results] ========================================\n\n");

 printf(" Q_n=%0.3f\n",fQ_n(datos,N));

 return 0;
}