У меня только была эта проблема несколько дней назад! Не уверен, поможет ли это в вашем конкретном случае, поскольку вы не предоставляете так много подробностей, но моя ситуация заключалась в том, чтобы работать автономно над «большим» набором данных. Данные были получены в виде сжатых CSV-файлов размером 20 ГБ с счетчиков энергии, данных временных рядов с интервалами в несколько секунд.
Файл IO:
data_root = r"/media/usr/USB STICK"
fname = r"meters001-050-timestamps.csv.gz"
this_file = os.path.join(data_root,fname)
assert os.path.exists(this_file), this_file
this_file
Создайте итератор куска непосредственно над файлом gzip (не распаковывайте!)
cols_to_keep = [0,1,2,3,7]
column_names = ['METERID','TSTAMP','ENERGY','POWER_ALL','ENERGY_OUT',]
parse_dates = ['TSTAMP']
dtype={'METERID': np.int32,
'ENERGY': np.int32,
'POWER_ALL': np.int32,
'ENERGY_OUT': np.int32,
}
df_iterator = pd.read_csv(this_file,
skiprows=0,
compression='gzip',
chunksize=1000000,
usecols=cols_to_keep,
delimiter=";",
header=None,
names = column_names,
dtype=dtype,
parse_dates=parse_dates,
index_col=1,
)
Перебирать куски
new_df = pd.DataFrame()
count = 0
for df in df_iterator:
chunk_df_15min = df.resample('15T').first()
#chunk_df_30min = df.resample('30T').first()
#chunk_df_hourly = df.resample('H').first()
this_df = chunk_df_15min
this_df = this_df.pipe(lambda x: x[x.METERID == 1])
#print("chunk",i)
new_df = pd.concat([new_df,chunk_df_15min])
print("chunk",count, len(chunk_df_15min), 'rows added')
#print("chunk",i, len(temp_df),'rows added')
#break
count += 1
Внутри чанка я делаю некоторую фильтрацию и повторную выборку по времени. Сделав это, я уменьшил размер HDF5 с 20 ГБ до нескольких сотен МБ для дальнейшего автономного исследования данных.