Python конкатенация текстовых файлов

У меня есть список из 20 имен файлов, например ['file1.txt', 'file2.txt', ...]. Я хочу написать скрипт Python для объединения этих файлов в новый файл. Я мог бы открыть каждый файл f = open(...), прочитать строку за строкой, позвонив f.readline(), и записать каждую строку в этот новый файл. Это не кажется мне очень «элегантным», особенно та часть, где я должен читать // писать построчно.

Есть ли более «элегантный» способ сделать это в Python?

Это должно сделать это

Для больших файлов:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            for line in infile:
                outfile.write(line)

Для небольших файлов:

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for fname in filenames:
        with open(fname) as infile:
            outfile.write(infile.read())

... и еще один интересный, о котором я подумал :

filenames = ['file1.txt', 'file2.txt', ...]
with open('path/to/output/file', 'w') as outfile:
    for line in itertools.chain.from_iterable(itertools.imap(open, filnames)):
        outfile.write(line)

К сожалению, этот последний метод оставляет несколько открытых файловых дескрипторов, которые GC должен позаботиться в любом случае. Я просто подумал, что это интересно

Использование shutil.copyfileobj.

Он автоматически считывает входные файлы по частям для вас, что более эффективно и считывает входные файлы и будет работать, даже если некоторые из входных файлов слишком велики для размещения в памяти:

import shutil

with open('output_file.txt','wb') as wfd:
    for f in ['seg1.txt','seg2.txt','seg3.txt']:
        with open(f,'rb') as fd:
            shutil.copyfileobj(fd, wfd)

Это именно то, для чего используется fileinput :

import fileinput
with open(outfilename, 'w') as fout, fileinput.input(filenames) as fin:
    for line in fin:
        fout.write(line)

В этом случае это на самом деле не намного проще, чем просто выполнять итерации по файлам вручную, но в других случаях очень удобно иметь один итератор, который итерирует по всем файлам, как если бы они были одним файлом. (Кроме того, тот факт, что fileinputкаждый файл закрывается сразу после его завершения, означает, что в этом нет необходимости withили closeкаждый из них, но это всего лишь экономия в одну строку, а не такая уж большая проблема.)

Есть и другие отличные функции fileinput, такие как возможность вносить изменения в файлы, просто фильтруя каждую строку.

Как отмечено в комментариях и обсуждено в другом посте , fileinputдля Python 2.7 не будет работать, как указано. Здесь небольшое изменение, чтобы сделать код Python 2.7 совместимым

with open('outfilename', 'w') as fout:
    fin = fileinput.input(filenames)
    for line in fin:
        fout.write(line)
    fin.close()

Я не знаю об элегантности, но это работает:

    import glob
    import os
    for f in glob.glob("file*.txt"):
         os.system("cat "+f+" >> OutFile.txt")

Что не так с командами UNIX? (учитывая, что вы не работаете в Windows):

ls | xargs cat | tee output.txt делает работу (вы можете вызвать его из python с подпроцессом, если хотите)

outfile.write(infile.read()) # time: 2.1085190773010254s
shutil.copyfileobj(fd, wfd, 1024*1024*10) # time: 0.60599684715271s

Простой тест показывает, что шутил работает лучше.

Альтернатива ответу @ inspectorG4dget (лучший ответ на сегодняшний день 29-03-2016). Я тестировал с 3 файлами 436MB.

Решение @ inspectorG4dget: 162 секунды

Следующее решение: 125 секунд

from subprocess import Popen
filenames = ['file1.txt', 'file2.txt', 'file3.txt']
fbatch = open('batch.bat','w')
str ="type "
for f in filenames:
    str+= f + " "
fbatch.write(str + " > file4results.txt")
fbatch.close()
p = Popen("batch.bat", cwd=r"Drive:\Path\to\folder")
stdout, stderr = p.communicate()

Идея состоит в том, чтобы создать пакетный файл и выполнить его, используя преимущества «старой доброй технологии». Его полупитон, но работает быстрее. Работает для окон.

Если у вас много файлов в каталоге, то glob2может быть лучше создать список имен файлов, чем писать их вручную.

import glob2

filenames = glob2.glob('*.txt')  # list of all .txt files in the directory

with open('outfile.txt', 'w') as f:
    for file in filenames:
        with open(file) as infile:
            f.write(infile.read()+'\n')

Проверьте метод .read () объекта File:

http://docs.python.org/2/tutorial/inputoutput.html#methods-of-file-objects

Вы могли бы сделать что-то вроде:

concat = ""
for file in files:
    concat += open(file).read()

или более «элегантный» путь Python:

concat = ''.join([open(f).read() for f in files])

который, согласно этой статье: http://www.skymind.com/~ocrow/python_string/ также будет самым быстрым.

Если файлы не гигантские:

with open('newfile.txt','wb') as newf:
    for filename in list_of_files:
        with open(filename,'rb') as hf:
            newf.write(hf.read())
            # newf.write('\n\n\n')   if you want to introduce
            # some blank lines between the contents of the copied files

Если файлы слишком велики, чтобы их можно было целиком прочитать и хранить в оперативной памяти, алгоритм должен немного отличаться, чтобы каждый файл, который будет скопирован в цикле, был прочитан фрагментами фиксированной длины, read(10000)например , с помощью .

def concatFiles():
    path = 'input/'
    files = os.listdir(path)
    for idx, infile in enumerate(files):
        print ("File #" + str(idx) + "  " + infile)
    concat = ''.join([open(path + f).read() for f in files])
    with open("output_concatFile.txt", "w") as fo:
        fo.write(path + concat)

if __name__ == "__main__":
    concatFiles()

  import os
  files=os.listdir()
  print(files)
  print('#',tuple(files))
  name=input('Enter the inclusive file name: ')
  exten=input('Enter the type(extension): ')
  filename=name+'.'+exten
  output_file=open(filename,'w+')
  for i in files:
    print(i)
    j=files.index(i)
    f_j=open(i,'r')
    print(f_j.read())
    for x in f_j:
      outfile.write(x)