Расчет Jaccard или другого коэффициента ассоциации для двоичных данных с использованием умножения матриц


9

Я хочу знать, есть ли какой-нибудь возможный способ для вычисления коэффициента Жакара с использованием умножения матриц.

Я использовал этот код

    jaccard_sim <- function(x) {
    # initialize similarity matrix
    m <- matrix(NA, nrow=ncol(x),ncol=ncol(x),dimnames=list(colnames(x),colnames(x)))
    jaccard <- as.data.frame(m)

    for(i in 1:ncol(x)) {
     for(j in i:ncol(x)) {
        jaccard[i,j]= length(which(x[,i] & x[,j])) / length(which(x[,i] | x[,j]))
        jaccard[j,i]=jaccard[i,j]        
       }
     }

Это вполне нормально для реализации в R. Я сделал сходство с кубиками, но застрял с Tanimoto / Jaccard. Кто-нибудь может помочь?


Похоже, что @ttnphns покрыл это, но так как вы используете R, я подумал также отметить, что в veganпакете уже реализован ряд индексов подобия (включая Jaccard) . Я думаю, что они также довольно хорошо оптимизированы для скорости.
Дэвид Дж. Харрис

Ответы:


11

Мы знаем , что Jaccard (вычисленный между любыми двумя столбцами бинарных данных ) являетсяX ,то время как Роджерс-Танимото является+дaa+b+c , гдеa+da+d+2(b+c)

  • a - количество строк, в которых оба столбца равны 1
  • б - количество строк, где этот, а не другой столбец равен 1
  • c - количество строк, где другой, а не этот столбец равен 1
  • d - количество строк, в которых оба столбца равны 0

, количество строк в Xa+b+c+d=nX

Тогда мы имеем:

XX=Aa

(notX)(notX)=Dd

AnD

A+DA+D+2(n(A+D))=A+D2nAD

Я проверил численно, если эти формулы дают правильный результат. Они делают.


BC

B=[1]XAXBbX

C=B

DnABC

A,B,C,D


Дроби не имеют смысла для матриц, если они не коммутируют: умножение справа на обратное в противном случае даст другой результат, чем умножение слева. Более того, обычно дело не в том, что произведение двух симметричных матриц симметрично. Возможно, вы имеете в виду компонентное разделение? Не могли бы вы исправить свои обозначения, чтобы отразить то, что вы намерены, это правильная формула?
whuber

@whuber Я не использую инверсию и умножение квадратных симметричных матриц. X - это матрица двоичных данных, а X'X - ее матрица SSCP. not XX, где 1-> 0, 0-> 1. И любое деление здесь является поэлементным делением. Пожалуйста, исправьте мою запись, если вы видите, что она не подходит.
ttnphns

Как рассчитать внутренний продукт (notX) ′ (notX) в R?
user4959

@ user4959, я не знаю R. Здесь ! X рекомендуется; однако результатом является логическое ИСТИНА / ЛОЖЬ, а не число 1/0. Обратите внимание, что я обновил свой ответ, где я говорю, что есть и другой способ получить матрицу D.
ttnphns

9

Приведенное выше решение не очень хорошо, если X разреженный. Потому что, взяв! X, получим плотную матрицу, занимающую огромное количество памяти и вычислений.

Лучшее решение - использовать формулу Jaccard [i, j] = #common / (#i + #j - #common) . С разреженными матрицами вы можете сделать это следующим образом (обратите внимание, что код также работает для не разреженных матриц):

library(Matrix)
jaccard <- function(m) {
    ## common values:
    A = tcrossprod(m)
    ## indexes for non-zero common values
    im = which(A > 0, arr.ind=TRUE)
    ## counts for each row
    b = rowSums(m)

    ## only non-zero values of common
    Aim = A[im]

    ## Jacard formula: #common / (#i + #j - #common)
    J = sparseMatrix(
          i = im[,1],
          j = im[,2],
          x = Aim / (b[im[,1]] + b[im[,2]] - Aim),
          dims = dim(A)
    )

    return( J )
}

1

Это может или не может быть полезно для вас, в зависимости от ваших потребностей. Предполагая, что вы заинтересованы в сходстве между кластеризационными заданиями:

Коэффициент подобия Жакара или индекс Жакара могут быть использованы для расчета сходства двух кластерных назначений.

Учитывая маркировки L1и L2, Бен-Гур, Elisseeff и Гийон (2002) показали , что индекс Jaccard можно рассчитать с помощью дот-продукты промежуточной матрицы. Приведенный ниже код использует это для быстрого вычисления индекса Жакара без необходимости хранить промежуточные матрицы в памяти.

Код написан на C ++, но может быть загружен в R с помощью sourceCppкоманды.

/**
 * The Jaccard Similarity Coefficient or Jaccard Index is used to compare the
 * similarity/diversity of sample sets. It is defined as the size of the
 * intersection of the sets divided by the size of the union of the sets. Here,
 * it is used to determine how similar to clustering assignments are.
 *
 * INPUTS:
 *    L1: A list. Each element of the list is a number indicating the cluster
 *        assignment of that number.
 *    L2: The same as L1. Must be the same length as L1.
 *
 * RETURNS:
 *    The Jaccard Similarity Index
 *
 * SIDE-EFFECTS:
 *    None
 *
 * COMPLEXITY:
 *    Time:  O(K^2+n), where K = number of clusters
 *    Space: O(K^2)
 *
 * SOURCES:
 *    Asa Ben-Hur, Andre Elisseeff, and Isabelle Guyon (2001) A stability based
 *    method for discovering structure in clustered data. Biocomputing 2002: pp.
 *    6-17. 
 */
// [[Rcpp::export]]
NumericVector JaccardIndex(const NumericVector L1, const NumericVector L2){
  int n = L1.size();
  int K = max(L1);

  int overlaps[K][K];
  int cluster_sizes1[K], cluster_sizes2[K];

  for(int i = 0; i < K; i++){    // We can use NumericMatrix (default 0) 
    cluster_sizes1[i] = 0;
    cluster_sizes2[i] = 0;
    for(int j = 0; j < K; j++)
      overlaps[i][j] = 0;
  }

  //O(n) time. O(K^2) space. Determine the size of each cluster as well as the
  //size of the overlaps between the clusters.
  for(int i = 0; i < n; i++){
    cluster_sizes1[(int)L1[i] - 1]++; // -1's account for zero-based indexing
    cluster_sizes2[(int)L2[i] - 1]++;
    overlaps[(int)L1[i] - 1][(int)L2[i] - 1]++;
  }

  // O(K^2) time. O(1) space. Square the overlap values.
  int C1dotC2 = 0;
  for(int j = 0; j < K; j++){
    for(int k = 0; k < K; k++){
      C1dotC2 += pow(overlaps[j][k], 2);
    }
  }

  // O(K) time. O(1) space. Square the cluster sizes
  int C1dotC1 = 0, C2dotC2 = 0;
  for(int i = 0; i < K; i++){
    C1dotC1 += pow(cluster_sizes1[i], 2);
    C2dotC2 += pow(cluster_sizes2[i], 2);
  }

  return NumericVector::create((double)C1dotC2/(double)(C1dotC1+C2dotC2-C1dotC2));
}
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.