Ленивый метод чтения больших файлов в Python?


290

У меня очень большой файл 4 ГБ, и когда я пытаюсь прочитать его, мой компьютер зависает. Поэтому я хочу прочитать его по частям, и после обработки каждого куска сохранить обработанный фрагмент в другой файл и прочитать следующий фрагмент.

Есть ли способ для yieldэтих частей?

Я хотел бы иметь ленивый метод .

Ответы:


424

Чтобы написать ленивую функцию, просто используйте yield:

def read_in_chunks(file_object, chunk_size=1024):
    """Lazy function (generator) to read a file piece by piece.
    Default chunk size: 1k."""
    while True:
        data = file_object.read(chunk_size)
        if not data:
            break
        yield data


with open('really_big_file.dat') as f:
    for piece in read_in_chunks(f):
        process_data(piece)

Другим вариантом будет использование iterвспомогательной функции:

f = open('really_big_file.dat')
def read1k():
    return f.read(1024)

for piece in iter(read1k, ''):
    process_data(piece)

Если файл основан на строках, объект файла уже является ленивым генератором строк:

for line in open('really_big_file.dat'):
    process_data(line)

То f = open('really_big_file.dat')есть строка - это просто указатель без использования памяти? (Я имею в виду, что используемая память одинакова независимо от размера файла?) Как это повлияет на производительность, если я использую urllib.readline () вместо f.readline ()?
sumid

4
Хорошей практикой является использование open ('same_big_file.dat', 'rb') для совместимости с нашими Windows, использующими Posix, с коллегами.
Таль Вайс

6
Отсутствует, rbкак упомянул @Tal Weiss; и пропустить file.close()оператор (можно использовать with open('really_big_file.dat', 'rb') as f:для достижения того же; см. здесь для другой краткой реализации
cod3monk3y

4
@ cod3monk3y: текстовые и бинарные файлы разные вещи. Оба типа полезны, но в разных случаях. Режим по умолчанию (текст) может быть полезным здесь есть, 'rb'это не хватает.
JFS

2
@ jf-sebastian: правда, ОП не уточнил, читает ли он текстовые или двоичные данные. Но если он с помощью Python 2.7 на Windows , и это чтение двоичных данных, это, безусловно , стоит отметить , что , если он забывает , что 'b'его данные будут весьма вероятно , будут повреждены . Из документов -Python on Windows makes a distinction between text and binary files; [...] it’ll corrupt binary data like that in JPEG or EXE files. Be very careful to use binary mode when reading and writing such files.
cod3monk3y

41

Если ваш компьютер, операционная система и python являются 64-разрядными , то вы можете использовать модуль mmap для отображения содержимого файла в память и доступа к нему с помощью индексов и фрагментов. Вот пример из документации:

import mmap
with open("hello.txt", "r+") as f:
    # memory-map the file, size 0 means whole file
    map = mmap.mmap(f.fileno(), 0)
    # read content via standard file methods
    print map.readline()  # prints "Hello Python!"
    # read content via slice notation
    print map[:5]  # prints "Hello"
    # update content using slice notation;
    # note that new content must have same size
    map[6:] = " world!\n"
    # ... and read again using standard file methods
    map.seek(0)
    print map.readline()  # prints "Hello  world!"
    # close the map
    map.close()

Если ваш компьютер, ОС или python 32-битные , то большие файлы mmap могут зарезервировать большие части вашего адресного пространства и истощить вашу программу памяти.


7
Как это должно работать? Что делать, если у меня есть файл 32 ГБ? Что делать, если я на виртуальной машине с 256 МБ ОЗУ Создание такого огромного файла на самом деле никогда не бывает полезным.
Савино Сгуэра

4
Этот ответ заслуживает голосования -12. Это убьет любого, кто использует это для больших файлов.
Phyo Arkar Lwin

23
Это может работать на 64-битном Python даже для больших файлов. Несмотря на то, что файл сопоставлен с памятью, он не считывается в память, поэтому объем физической памяти может быть намного меньше размера файла.
Очков

1
@SavinoSguera имеет значение размер физической памяти с mmaping файла?
Ник Т

17
@ V3ss0n: я пытался отобразить 32-гигабайтный файл на 64-битном Python. Это работает (у меня ОЗУ меньше 32 ГБ): я могу получить доступ к началу, середине и концу файла, используя и последовательность, и файловый интерфейс.
JFS

37

file.readlines() принимает необязательный аргумент размера, который приблизительно соответствует количеству прочитанных строк в возвращаемых строках.

bigfile = open('bigfilename','r')
tmp_lines = bigfile.readlines(BUF_SIZE)
while tmp_lines:
    process([line for line in tmp_lines])
    tmp_lines = bigfile.readlines(BUF_SIZE)

1
это действительно отличная идея, особенно когда она объединяется с defaultdict для разделения больших данных на более мелкие.
Фрэнк Ван

4
Я бы порекомендовал .read()не использовать .readlines(). Если файл является двоичным, у него не будет разрывов строк.
Майерс Карпентер

1
Что если файл представляет собой одну огромную строку?
MattSom

28

Уже есть много хороших ответов, но если весь ваш файл находится в одной строке, и вы все еще хотите обрабатывать «строки» (в отличие от блоков фиксированного размера), эти ответы вам не помогут.

99% времени можно обрабатывать файлы построчно. Затем, как предлагается в этом ответе , вы можете использовать сам объект файла в качестве ленивого генератора:

with open('big.csv') as f:
    for line in f:
        process(line)

Тем не менее, я однажды наткнулся на очень и очень большой (почти) файл в одной строке, где разделитель строки был на самом деле не '\n'только '|'.

  • Чтение построчно не было вариантом, но мне все еще нужно было обрабатывать его построчно.
  • Преобразование '|'в '\n'до обработки также не могло быть и речи, поскольку некоторые из полей этого csv содержали '\n'(произвольный текст, вводимый пользователем).
  • Использование библиотеки csv также было исключено из-за того факта, что, по крайней мере в ранних версиях библиотеки, она жестко кодируется для чтения входных данных построчно .

Для таких ситуаций я создал следующий фрагмент:

def rows(f, chunksize=1024, sep='|'):
    """
    Read a file where the row separator is '|' lazily.

    Usage:

    >>> with open('big.csv') as f:
    >>>     for r in rows(f):
    >>>         process(row)
    """
    curr_row = ''
    while True:
        chunk = f.read(chunksize)
        if chunk == '': # End of file
            yield curr_row
            break
        while True:
            i = chunk.find(sep)
            if i == -1:
                break
            yield curr_row + chunk[:i]
            curr_row = ''
            chunk = chunk[i+1:]
        curr_row += chunk

Я смог успешно использовать его для решения своей проблемы. Это было тщательно проверено, с различными размерами куска.


Тестовый набор, для тех, кто хочет убедить себя.

test_file = 'test_file'

def cleanup(func):
    def wrapper(*args, **kwargs):
        func(*args, **kwargs)
        os.unlink(test_file)
    return wrapper

@cleanup
def test_empty(chunksize=1024):
    with open(test_file, 'w') as f:
        f.write('')
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 1

@cleanup
def test_1_char_2_rows(chunksize=1024):
    with open(test_file, 'w') as f:
        f.write('|')
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 2

@cleanup
def test_1_char(chunksize=1024):
    with open(test_file, 'w') as f:
        f.write('a')
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 1

@cleanup
def test_1025_chars_1_row(chunksize=1024):
    with open(test_file, 'w') as f:
        for i in range(1025):
            f.write('a')
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 1

@cleanup
def test_1024_chars_2_rows(chunksize=1024):
    with open(test_file, 'w') as f:
        for i in range(1023):
            f.write('a')
        f.write('|')
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 2

@cleanup
def test_1025_chars_1026_rows(chunksize=1024):
    with open(test_file, 'w') as f:
        for i in range(1025):
            f.write('|')
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 1026

@cleanup
def test_2048_chars_2_rows(chunksize=1024):
    with open(test_file, 'w') as f:
        for i in range(1022):
            f.write('a')
        f.write('|')
        f.write('a')
        # -- end of 1st chunk --
        for i in range(1024):
            f.write('a')
        # -- end of 2nd chunk
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 2

@cleanup
def test_2049_chars_2_rows(chunksize=1024):
    with open(test_file, 'w') as f:
        for i in range(1022):
            f.write('a')
        f.write('|')
        f.write('a')
        # -- end of 1st chunk --
        for i in range(1024):
            f.write('a')
        # -- end of 2nd chunk
        f.write('a')
    with open(test_file) as f:
        assert len(list(rows(f, chunksize=chunksize))) == 2

if __name__ == '__main__':
    for chunksize in [1, 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024]:
        test_empty(chunksize)
        test_1_char_2_rows(chunksize)
        test_1_char(chunksize)
        test_1025_chars_1_row(chunksize)
        test_1024_chars_2_rows(chunksize)
        test_1025_chars_1026_rows(chunksize)
        test_2048_chars_2_rows(chunksize)
        test_2049_chars_2_rows(chunksize)

11
f = ... # file-like object, i.e. supporting read(size) function and 
        # returning empty string '' when there is nothing to read

def chunked(file, chunk_size):
    return iter(lambda: file.read(chunk_size), '')

for data in chunked(f, 65536):
    # process the data

ОБНОВЛЕНИЕ: подход лучше всего объяснить в https://stackoverflow.com/a/4566523/38592


Это хорошо работает для больших двоичных объектов, но может не подходить для содержимого, разделенного строкой (например, CSV, HTML и т. Д., Где обработка должна выполняться построчно)
cgseller

7

Обратитесь к официальной документации Python https://docs.python.org/zh-cn/3/library/functions.html?#iter

Может быть, этот метод более питонический:

from functools import partial

"""A file object returned by open() is a iterator with
read method which could specify current read's block size"""
with open('mydata.db', 'r') as f_in:

    part_read = partial(f_in.read, 1024*1024)
    iterator = iter(part_read, b'')

    for index, block in enumerate(iterator, start=1):
        block = process_block(block)    # process block data
        with open(f'{index}.txt', 'w') as f_out:
            f_out.write(block)

3

Я думаю, что мы можем написать так:

def read_file(path, block_size=1024): 
    with open(path, 'rb') as f: 
        while True: 
            piece = f.read(block_size) 
            if piece: 
                yield piece 
            else: 
                return

for piece in read_file(path):
    process_piece(piece)

2

я не могу комментировать из-за своей низкой репутации, но решение SilentGhosts должно быть намного проще с file.readlines ([sizehint])

методы файла Python

редактировать: SilentGhost правильно, но это должно быть лучше, чем:

s = "" 
for i in xrange(100): 
   s += file.next()

ок, извини, ты абсолютно прав. но, возможно, это решение сделает вас счастливее;): s = "" для i в xrange (100): s + = file.next ()
sinzi

1
-1: ужасное решение, это будет означать создание новой строки в памяти каждой строки и копирование всех данных файла, считанных в новую строку. Худшая производительность и память.
nosklo

зачем копировать все данные файла в новую строку? из документации по python: чтобы сделать цикл for наиболее эффективным способом зацикливания строк файла (очень распространенная операция), метод next () использует скрытый буфер опережающего чтения.
Синци

3
@sinzi: "s + =" или конкатенация строк каждый раз создает новую копию строки, поскольку строка является неизменной, поэтому вы создаете новую строку.
nosklo

1
@nosklo: это детали реализации, на ее месте можно использовать понимание списка
SilentGhost,

1

Я в несколько похожей ситуации. Не ясно, знаете ли вы размер куска в байтах; Обычно я этого не делаю, но количество требуемых записей (строк) известно:

def get_line():
     with open('4gb_file') as file:
         for i in file:
             yield i

lines_required = 100
gen = get_line()
chunk = [i for i, j in zip(gen, range(lines_required))]

Обновление : спасибо, носкло. Вот что я имел в виду. Это почти работает, за исключением того, что он теряет грань между кусками.

chunk = [next(gen) for i in range(lines_required)]

Делает трюк без потери каких-либо линий, но выглядит не очень хорошо.


1
это псевдокод? это не сработает. Это также не должно сбивать с толку, вы должны сделать количество строк необязательным параметром для функции get_line.
nosklo

0

Чтобы обрабатывать построчно, это элегантное решение:

  def stream_lines(file_name):
    file = open(file_name)
    while True:
      line = file.readline()
      if not line:
        file.close()
        break
      yield line

Пока нет пустых строк.


6
Это просто слишком сложный, менее надежный и более медленный эквивалент того, что openуже дает вам. Файл уже является итератором своих строк.
abarnert

-2

Вы можете использовать следующий код.

file_obj = open('big_file') 

open () возвращает объект файла

затем используйте os.stat для получения размера

file_size = os.stat('big_file').st_size

for i in range( file_size/1024):
    print file_obj.read(1024)

не будет читать весь файл, если его размер не будет
кратен
Используя наш сайт, вы подтверждаете, что прочитали и поняли нашу Политику в отношении файлов cookie и Политику конфиденциальности.
Licensed under cc by-sa 3.0 with attribution required.