Я хотел бы прочитать несколько CSV-файлов из каталога в панды и объединить их в один большой DataFrame. Я не был в состоянии понять это все же. Вот что у меня так далеко:

import glob
import pandas as pd

# get data file names
path =r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename))

# Concatenate all data into one DataFrame
big_frame = pd.concat(dfs, ignore_index=True)

Я думаю, мне нужна помощь в рамках цикла ???

Если у вас есть одинаковые столбцы во всех ваших csvфайлах, вы можете попробовать код ниже. Я добавил, header=0чтобы после прочтения csvпервой строке можно было присвоить имена столбцов.

import pandas as pd
import glob

path = r'C:\DRO\DCL_rawdata_files' # use your path
all_files = glob.glob(path + "/*.csv")

li = []

for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True)

Альтернатива ответу darindaCoder :

path = r'C:\DRO\DCL_rawdata_files'                     # use your path
all_files = glob.glob(os.path.join(path, "*.csv"))     # advisable to use os.path.join as this makes concatenation OS independent

df_from_each_file = (pd.read_csv(f) for f in all_files)
concatenated_df   = pd.concat(df_from_each_file, ignore_index=True)
# doesn't create a list, nor does it append to one

import glob, os    
df = pd.concat(map(pd.read_csv, glob.glob(os.path.join('', "my_files*.csv"))))

Библиотека Dask может читать данные из нескольких файлов:

>>> import dask.dataframe as dd
>>> df = dd.read_csv('data*.csv')

(Источник: http://dask.pydata.org/en/latest/examples/dataframe-csv.html ).

Фреймы данных Dask реализуют подмножество API-интерфейса данных Pandas. Если все данные помещаются в память, вы можете позвонитьdf.compute() чтобы преобразовать фрейм данных в фрейм данных Pandas.

Почти все ответы здесь либо излишне сложны (сопоставление с шаблоном), либо полагаются на дополнительные сторонние библиотеки. Вы можете сделать это в 2 строки, используя все, что уже встроено в Pandas и python (все версии).

Для нескольких файлов - 1 вкладыш:

df = pd.concat(map(pd.read_csv, ['data/d1.csv', 'data/d2.csv','data/d3.csv']))

Для многих файлов:

from os import listdir

filepaths = [f for f in listdir("./data") if f.endswith('.csv')]
df = pd.concat(map(pd.read_csv, filepaths))

Эта строка панд, которая устанавливает df, использует 3 вещи:

1. Карта Python (function, iterable) отправляет функции (the pd.read_csv()) iterable (наш список), который является каждым элементом csv в filepaths).
2. Функция Panda read_csv () читает в каждом файле CSV как обычно.
3. Concat () от Panda объединяет все это в одну переменную df.

Изменить: я погуглил свой путь в https://stackoverflow.com/a/21232849/186078 . Однако в последнее время я обнаружил, что быстрее выполнять любые манипуляции с использованием numpy, а затем назначать его один раз для фрейма данных вместо того, чтобы манипулировать самим фреймом данных итеративно, и, похоже, это работает и в этом решении.

Я искренне хочу, чтобы кто-нибудь попал на эту страницу, чтобы рассмотреть этот подход, но не хочу прикреплять этот огромный кусок кода в качестве комментария и делать его менее читабельным.

Вы можете использовать numpy для ускорения конкатенации данных.

import os
import glob
import pandas as pd
import numpy as np

path = "my_dir_full_path"
allFiles = glob.glob(os.path.join(path,"*.csv"))


np_array_list = []
for file_ in allFiles:
    df = pd.read_csv(file_,index_col=None, header=0)
    np_array_list.append(df.as_matrix())

comb_np_array = np.vstack(np_array_list)
big_frame = pd.DataFrame(comb_np_array)

big_frame.columns = ["col1","col2"....]

Сроки статистика:

total files :192
avg lines per file :8492
--approach 1 without numpy -- 8.248656988143921 seconds ---
total records old :1630571
--approach 2 with numpy -- 2.289292573928833 seconds ---

Если вы хотите выполнить рекурсивный поиск ( Python 3.5 или выше ), вы можете сделать следующее:

from glob import iglob
import pandas as pd

path = r'C:\user\your\path\**\*.csv'

all_rec = iglob(path, recursive=True)     
dataframes = (pd.read_csv(f) for f in all_rec)
big_dataframe = pd.concat(dataframes, ignore_index=True)

Обратите внимание, что три последние строки могут быть выражены в одной строке :

df = pd.concat((pd.read_csv(f) for f in iglob(path, recursive=True)), ignore_index=True)

Вы можете найти документацию ** здесь . Кроме того, я использовал iglobвместо glob, так как он возвращает итератор вместо списка.

РЕДАКТИРОВАТЬ: Мультиплатформенная рекурсивная функция:

Вы можете обернуть вышеупомянутое в многоплатформенную функцию (Linux, Windows, Mac), так что вы можете сделать:

df = read_df_rec('C:\user\your\path', *.csv)

Вот функция:

from glob import iglob
from os.path import join
import pandas as pd

def read_df_rec(path, fn_regex=r'*.csv'):
    return pd.concat((pd.read_csv(f) for f in iglob(
        join(path, '**', fn_regex), recursive=True)), ignore_index=True)

Легко и быстро

Импортируйте два или более csvбез необходимости составлять список имен.

import glob

df = pd.concat(map(pd.read_csv, glob.glob('data/*.csv')))

один лайнер map, но если вы хотите указать дополнительные аргументы, вы можете сделать:

import pandas as pd
import glob
import functools

df = pd.concat(map(functools.partial(pd.read_csv, sep='|', compression=None), 
                    glob.glob("data/*.csv")))

Примечание: mapсамо по себе не позволяет вводить дополнительные аргументы.

Если несколько CSV-файлов заархивированы, вы можете использовать zipfile, чтобы прочитать все и объединить, как показано ниже:

import zipfile
import numpy as np
import pandas as pd

ziptrain = zipfile.ZipFile('yourpath/yourfile.zip')

train=[]

for f in range(0,len(ziptrain.namelist())):
    if (f == 0):
        train = pd.read_csv(ziptrain.open(ziptrain.namelist()[f]))
    else:
        my_df = pd.read_csv(ziptrain.open(ziptrain.namelist()[f]))
        train = (pd.DataFrame(np.concatenate((train,my_df),axis=0), 
                          columns=list(my_df.columns.values)))

Еще один on-liner со списком, который позволяет использовать аргументы с read_csv.

df = pd.concat([pd.read_csv(f'dir/{f}') for f in os.listdir('dir') if f.endswith('.csv')])

На основании хорошего ответа @ Сид.

Перед объединением вы можете загрузить CSV-файлы в промежуточный словарь, который предоставляет доступ к каждому набору данных на основе имени файла (в форме dict_of_df['filename.csv']). Такой словарь может помочь вам выявить проблемы с разнородными форматами данных, например, когда имена столбцов не выровнены.

Импортируйте модули и найдите пути к файлам:

import os
import glob
import pandas
from collections import OrderedDict
path =r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

Примечание: OrderedDictне обязательно, но оно сохранит порядок файлов, которые могут быть полезны для анализа.

Загрузите CSV-файлы в словарь. Затем объединить:

dict_of_df = OrderedDict((f, pandas.read_csv(f)) for f in filenames)
pandas.concat(dict_of_df, sort=True)

Ключи - это имена файлов, fа значения - содержимое фрейма данных CSV-файлов. Вместо использования fв качестве ключа словаря, вы также можете использовать os.path.basename(f)или другие методы os.path, чтобы уменьшить размер ключа в словаре до только меньшей части, которая имеет отношение к делу.

Альтернатива с использованием pathlibбиблиотеки (часто предпочтительнее os.path).

Этот метод позволяет избежать многократного использования панд concat()/ apped().

Из документации Pandas:
Стоит отметить, что concat () (и, следовательно, append ()) создает полную копию данных и что постоянное повторное использование этой функции может привести к значительному снижению производительности. Если вам нужно использовать операцию над несколькими наборами данных, используйте понимание списка.

import pandas as pd
from pathlib import Path

dir = Path("../relevant_directory")

df = (pd.read_csv(f) for f in dir.glob("*.csv"))
df = pd.concat(df)

Вот как вы можете использовать Colab на Google Диске

import pandas as pd
import glob

path = r'/content/drive/My Drive/data/actual/comments_only' # use your path
all_files = glob.glob(path + "/*.csv")

li = []

for filename in all_files:
    df = pd.read_csv(filename, index_col=None, header=0)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True,sort=True)
frame.to_csv('/content/drive/onefile.csv')

import pandas as pd
import glob

path = r'C:\DRO\DCL_rawdata_files' # use your path
file_path_list = glob.glob(path + "/*.csv")

file_iter = iter(file_path_list)

list_df_csv = []
list_df_csv.append(pd.read_csv(next(file_iter)))

for file in file_iter:
    lsit_df_csv.append(pd.read_csv(file, header=0))
df = pd.concat(lsit_df_csv, ignore_index=True)