Как добавить данные панд в существующий CSV-файл?

259

Я хочу знать, возможно ли использовать to_csv()функцию pandas для добавления фрейма данных в существующий CSV-файл. Файл CSV имеет ту же структуру, что и загруженные данные.

— Аюб Эннассири
источник

6

Я думаю, что метод, предложенный @tlingf, лучше только потому, что он использует встроенную функциональность библиотеки панд. Он предлагает определить режим как «а». «A» означает APPEND 'df.to_csv (' my_csv.csv ', mode =' a ', header = False)'

— Ayrat

1

В ответе @KCzar рассматриваются как случаи, когда CSV-файл отсутствует (т. Е. Добавить заголовок столбца), так и когда CSV-файл уже существует (поэтому добавьте только строки данных без заголовков). В любом случае он использует режим «добавления» и собственный разделитель, а также проверяет количество столбцов.

— ТППЗ

544

Вы можете указать режим записи Python в to_csvфункции Pandas . Для добавления это «а».

В твоем случае:

df.to_csv('my_csv.csv', mode='a', header=False)

Режим по умолчанию - «w».

— tlingf
источник

7

Спасибо за ответ. Это позволит мне добавлять новые df по строкам. Но не могли бы вы дать мне знать, как я могу добавить новый df по столбцам?

— дата

Я смог сделать это, перечитав my_csv.csv, затем записав новый df и сохранив его. Если вы знаете какой-то более простой метод, пожалуйста, дайте мне знать. Я ценю!

— дата выпуска

2

Как написать заголовок для первого файла, а остальные строки автоматически добавляются к нему?

— Etisha

5

@Etisha что-то вродеdf.to_csv(output_path, mode='a', header=not os.path.exists(output_path))

— Мишель Тонутти

255

Вы можете добавить к CSV, открыв файл в режиме добавления:

with open('my_csv.csv', 'a') as f:
    df.to_csv(f, header=False)

Если это ваш CSV - файл, foo.csv:

,A,B,C
0,1,2,3
1,4,5,6

Если вы прочитаете это, а затем добавите, например df + 6:

In [1]: df = pd.read_csv('foo.csv', index_col=0)

In [2]: df
Out[2]:
   A  B  C
0  1  2  3
1  4  5  6

In [3]: df + 6
Out[3]:
    A   B   C
0   7   8   9
1  10  11  12

In [4]: with open('foo.csv', 'a') as f:
             (df + 6).to_csv(f, header=False)

foo.csv будет выглядеть так:

,A,B,C
0,1,2,3
1,4,5,6
0,7,8,9
1,10,11,12

— Энди Хейден
источник

51

with open(filename, 'a') as f:
    df.to_csv(f, header=f.tell()==0)

Создать файл, если он не существует, иначе добавить
Добавить заголовок, если файл создается, иначе пропустить его

— DeveScie
источник

2

Это отсутствует mode='a'как параметр для to_csv(то естьdf.to_csv(f, mode='a', header=f.tell()==0)

— Габриэла Мело

2

@GabrielaMelo Это было передано в функцию open (имя файла, 'a').

— Пиюш

21

Маленькая вспомогательная функция, которую я использую с некоторыми мерами безопасности для проверки заголовка:

def appendDFToCSV_void(df, csvFilePath, sep=","):
    import os
    if not os.path.isfile(csvFilePath):
        df.to_csv(csvFilePath, mode='a', index=False, sep=sep)
    elif len(df.columns) != len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns):
        raise Exception("Columns do not match!! Dataframe has " + str(len(df.columns)) + " columns. CSV file has " + str(len(pd.read_csv(csvFilePath, nrows=1, sep=sep).columns)) + " columns.")
    elif not (df.columns == pd.read_csv(csvFilePath, nrows=1, sep=sep).columns).all():
        raise Exception("Columns and column order of dataframe and csv file do not match!!")
    else:
        df.to_csv(csvFilePath, mode='a', index=False, sep=sep, header=False)

— KCzar
источник

1

Что мы можем сделать, если порядок столбцов не совпадает?

— Джейсон Гол

@JasonGoal df = df.reindex (отсортировано (df.columns), axis = 1); см. stackoverflow.com/a/11067072/9095840 .

— Markemus

4

Первоначально, начиная с фреймов данных pyspark - я получил ошибки при преобразовании типов (при конвертации в dand-файлы pandas и затем добавлении в csv), учитывая типы схем / столбцов в моих фреймах данных pyspark

Решил проблему, заставив все столбцы в каждом df иметь тип string, а затем добавив это в csv следующим образом:

with open('testAppend.csv', 'a') as f:
    df2.toPandas().astype(str).to_csv(f, header=False)

— Грант Шеннон
источник

3

Немного опоздал на вечеринку, но вы также можете использовать менеджер контекста, если вы открываете и закрываете файл несколько раз, или регистрируете данные, статистику и т. Д.

from contextlib import contextmanager
import pandas as pd
@contextmanager
def open_file(path, mode):
     file_to=open(path,mode)
     yield file_to
     file_to.close()


##later
saved_df=pd.DataFrame(data)
with open_file('yourcsv.csv','r') as infile:
      saved_df.to_csv('yourcsv.csv',mode='a',header=False)`

— АИ-shwarya
источник