Построчное создание кадра данных R

Я хотел бы построить фрейм данных строка за строкой в ​​R. Я провел несколько поисков, и все, что я придумал, это предложение создать пустой список, сохранить скаляр индекса списка, а затем каждый раз добавлять в список однострочный фрейм данных и продвинуть индекс списка на единицу. Наконец, do.call(rbind,)в списке.

Хотя это работает, это кажется очень громоздким. Разве нет более простого способа достичь той же цели?

Очевидно, я имею в виду случаи, когда я не могу использовать какую-либо applyфункцию, и мне явно нужно создавать фрейм данных построчно. По крайней мере, есть ли способ pushпопасть в конец списка вместо того, чтобы явно отслеживать последний использованный индекс?

Вы можете увеличивать их строку за строкой, добавляя или используя rbind().

Это не значит, что вам следует. Динамически растущие структуры - один из наименее эффективных способов программирования на R.

Если можете, выделите весь свой data.frame заранее:

N <- 1e4  # total number of rows to preallocate--possibly an overestimate

DF <- data.frame(num=rep(NA, N), txt=rep("", N),  # as many cols as you need
                 stringsAsFactors=FALSE)          # you don't know levels yet

а затем во время ваших операций вставляйте строки за раз

DF[i, ] <- list(1.4, "foo")

Это должно работать для произвольного data.frame и быть намного более эффективным. Если вы переборщите с N, вы всегда можете сжать пустые строки в конце.

Можно добавлять строки в NULL:

df<-NULL;
while(...){
  #Some code that generates new row
  rbind(df,row)->df
}

например

df<-NULL
for(e in 1:10) rbind(df,data.frame(x=e,square=e^2,even=factor(e%%2==0)))->df
print(df)

Это глупый пример того, как использовать do.call(rbind,)на выходе Map()[который похож на lapply()]

> DF <- do.call(rbind,Map(function(x) data.frame(a=x,b=x+1),x=1:3))
> DF
  x y
1 1 2
2 2 3
3 3 4
> class(DF)
[1] "data.frame"

Я использую эту конструкцию довольно часто.

Причина, по которой мне так нравится Rcpp, заключается в том, что я не всегда понимаю, как думает R Core, а с Rcpp, чаще всего, мне это не нужно.

Говоря философски, вы пребываете в состоянии греха в отношении функциональной парадигмы, которая пытается гарантировать, что каждое значение появляется независимо от любого другого значения; изменение одного значения никогда не должно вызывать видимого изменения другого значения, как это происходит с указателями, разделяющими представление в C.

Проблемы возникают, когда функциональное программирование сигнализирует малому кораблю отойти с дороги, а малый корабль отвечает: «Я - маяк». Внесение длинной серии небольших изменений в большой объект, который вы хотите обработать, тем временем помещает вас прямо на территорию маяка.

В C ++ STL push_back()это образ жизни. Он не пытается быть функциональным, но он действительно пытается приспособить общие идиомы программирования эффективно .

Проявив некоторую смекалку за кулисами, вы можете иногда договориться о том, чтобы ступить в каждый мир одной ногой. Файловые системы на основе моментальных снимков являются хорошим примером (которые произошли от таких концепций, как объединенное монтирование, которое также соединяет обе стороны).

Если бы R Core захотел это сделать, базовое векторное хранилище могло бы функционировать как объединенное монтирование. Одна ссылка на хранилище векторов может быть действительной для индексов 1:N, а другая ссылка на то же хранилище действительна для индексов 1:(N+1). Там может быть зарезервированное хранилище, на которое еще не ссылается что-либо, кроме удобного для быстрогоpush_back() . Вы не нарушаете функциональную концепцию при добавлении за пределы диапазона, который любая существующая ссылка считает допустимой.

Постепенно добавляя строки, вы исчерпываете зарезервированное хранилище. Вам нужно будет создать новые копии всего, с умножением объема хранилища на некоторое приращение. Реализации STL, которые я использовал, имеют тенденцию умножать объем памяти на 2 при расширении распределения. Я думал, что прочитал в R Internals, что есть структура памяти, в которой объем хранилища увеличивается на 20%. В любом случае операции роста происходят с логарифмической частотой относительно общего числа добавленных элементов. На амортизированной основе это обычно приемлемо.

Что касается закулисных трюков, я видел и похуже. Каждый раз, когда вы push_back()добавляете новую строку в фрейм данных, необходимо копировать структуру индекса верхнего уровня. Новая строка может добавляться к общему представлению, не влияя на старые функциональные значения. Я даже не думаю, что это сильно усложнит сборщик мусора; поскольку я не предлагаю, что push_front()все ссылки являются префиксными ссылками на переднюю часть выделенного векторного хранилища.

Ответ Дирка Эддельбюттеля - лучший; здесь я просто отмечу, что вы можете обойтись без предварительного указания размеров или типов данных фрейма данных, что иногда полезно, если у вас есть несколько типов данных и много столбцов:

row1<-list("a",1,FALSE) #use 'list', not 'c' or 'cbind'!
row2<-list("b",2,TRUE)  

df<-data.frame(row1,stringsAsFactors = F) #first row
df<-rbind(df,row2) #now this works as you'd expect.

Я нашел способ создать фрейм данных по необработанному, без матрицы.

С автоматическим названием столбца

df<-data.frame(
        t(data.frame(c(1,"a",100),c(2,"b",200),c(3,"c",300)))
        ,row.names = NULL,stringsAsFactors = FALSE
    )

С именем столбца

df<-setNames(
        data.frame(
            t(data.frame(c(1,"a",100),c(2,"b",200),c(3,"c",300)))
            ,row.names = NULL,stringsAsFactors = FALSE
        ), 
        c("col1","col2","col3")
    )

Если у вас есть векторы, которым суждено стать строками, объедините их с помощью c(), передайте их в матрицу построчно и преобразуйте эту матрицу в фрейм данных.

Например, строки

dummydata1=c(2002,10,1,12.00,101,426340.0,4411238.0,3598.0,0.92,57.77,4.80,238.29,-9.9)
dummydata2=c(2002,10,2,12.00,101,426340.0,4411238.0,3598.0,-3.02,78.77,-9999.00,-99.0,-9.9)
dummydata3=c(2002,10,8,12.00,101,426340.0,4411238.0,3598.0,-5.02,88.77,-9999.00,-99.0,-9.9)

можно преобразовать в кадр данных таким образом:

dummyset=c(dummydata1,dummydata2,dummydata3)
col.len=length(dummydata1)
dummytable=data.frame(matrix(data=dummyset,ncol=col.len,byrow=TRUE))

По общему признанию, я вижу 2 основных ограничения: (1) это работает только с одномодовыми данными и (2) вы должны знать свои последние # столбца, чтобы это работало (т.е. я предполагаю, что вы не работаете с рваный массив, наибольшая длина строки которого априори неизвестна ).

Это решение кажется простым, но, судя по моему опыту преобразования типов в R, я уверен, что в дальнейшем оно создает новые проблемы. Кто-нибудь может это прокомментировать?

В зависимости от формата вашей новой строки вы можете использовать, tibble::add_rowесли ваша новая строка простая и может быть указана в «парах значений». Или вы можете использовать dplyr::bind_rows«эффективную реализацию общего шаблона do.call (rbind, dfs)».