Вопросы с тегом «large-files»

Скажем , у меня есть огромный текстовый файл (> 2 Гб) , и я просто хочу catлинии Xк Y(например , 57890000 на 57890010). Из того, что я понимаю, я могу сделать это, подключившись headк сети tailили наоборот, т.е. head -A /path/to/file | tail -B или альтернативно tail -C /path/to/file | …

132 tail  cat  large-files  head 

У меня есть огромный (70 ГБ), одна строка , текстовый файл, и я хочу заменить строку (токен) в нем. Я хочу заменить токен <unk>другим фиктивным токеном ( проблема с перчатками ). Я пробовал sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new но выходной файл corpus.txt.newимеет нулевые байты! Я также пытался использовать …

126 text-processing  sed  large-files 

Огромный (до 2 ГиБ) мой текстовый файл содержит около 100 точных дубликатов каждой строки в нем (в моем случае это бесполезно, поскольку файл представляет собой таблицу данных, похожую на CSV). Что мне нужно, так это удалить все повторения, при этом (желательно, но этим можно пожертвовать ради значительного повышения производительности), сохраняя …

126 files  text-processing  large-files 

У меня довольно большой файл (35 ГБ), и я хотел бы отфильтровать этот файл на месте (т. Е. У меня недостаточно места на диске для другого файла), в частности, я хочу grep и игнорировать некоторые шаблоны - есть ли способ сделать это без использования другого файла? Допустим, я хочу отфильтровать …

54 text-processing  grep  large-files 

У меня есть два больших файла (6 ГБ каждый). Они не отсортированы, с переводами строки ( \n) в качестве разделителей. Как я могу их различить? Это должно занять до 24 часов.

32 performance  diff  large-files 

Я попробовал это с SCP, но там написано "Отрицательный размер файла". >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size Также пытался использовать SFTP, работал нормально, пока 2 ГБ файла не были переданы, затем остановился: sftp> put matlab.iso Uploading matlab.iso to /home/x/matlab.iso matlab.iso -298% 2021MB -16651.-8KB/s 00:5d o_upload: offset < 0 Есть …

27 scp  sftp  large-files 

У меня есть текстовый файл 25 ГБ, который нуждается в замене строки только на несколько строк. Я могу sedуспешно использовать, но это занимает очень много времени для запуска. sed -i 's|old text|new text|g' gigantic_file.sql Есть ли более быстрый способ сделать это?

25 sed  replace  large-files 

У меня есть ext4раздел на 900 ГБ на (магнитном) жестком диске, который не имеет дефектов и поврежденных секторов. Раздел полностью пустой, за исключением пустой lost+foundдиректории. Раздел был отформатирован с использованием параметров по умолчанию, за исключением того, что я установил количество зарезервированных блоков файловой системы равным 1%. Я загрузил файл ~ …

19 filesystems  ext4  large-files 

У меня есть каталог с около 100000 небольших файлов (каждый файл из 1-3 строк, каждый файл является текстовым файлом). По размеру каталог не очень большой (<2 ГБ). Эти данные хранятся на профессионально управляемом сервере NFS. Сервер работает под управлением Linux. Я думаю, что файловая система ext3, но я точно не …

19 filesystems  large-files 

У меня есть несколько файлов размером> 1 ГБ каждый. Мне нужно удалить последние несколько байтов из файлов. Как мне это сделать? Я предпочитаю редактировать файл на месте, чтобы сэкономить место на диске. Я нахожусь на HP-UX.

18 files  editors  hp-ux  large-files 

Полезно ли использовать флаг -T largefile при создании файловой системы для раздела с большими файлами, такими как видео и аудио в формате flac? Я протестировал один и тот же раздел с этим флагом и без него, и, используя tune2fs -l [partition] , я проверил в разделе «Функции файловой системы», в …

17 filesystems  ext4  ext3  large-files  ext2 

В том же духе, что и этот другой вопрос: cat line X - строка Y на огромном файле : Есть ли способ открыть из Emacs (и показать в буфере) заданный набор строк (например, все строки между строкой Xи Y) из огромного текстового файла? Например, открыть и показать в буфере все …

10 emacs  large-files 

У меня есть текстовый файл 250 МБ, все в одной строке. В этом файле я хочу заменить aсимволы на bсимволы: sed -e "s/a/b/g" < one-line-250-mb.txt Это терпит неудачу с: sed: couldn't re-allocate memory Мне кажется, что такого рода задачи могут быть выполнены в линию без выделения большого количества памяти. Есть …

10 text-processing  sed  performance  large-files  out-of-memory 

У меня есть ~ 30 тыс. Файлов. Каждый файл содержит ~ 100 тыс. Строк. Строка не содержит пробелов. Строки в отдельном файле сортируются и дублируются бесплатно. Моя цель: я хочу , чтобы найти все все повторяющиеся строки через два или более файлов , а также имена файлов, содержащие дублированные записи. …

9 shell-script  text-processing  performance  large-files  deduplication 

Мне нужно просмотреть большое (50000x40000 px) изображение PNG в Linux. К сожалению, большинство инструментов (eog, convert и т. Д.) Либо аварийно завершают работу, либо отказывают, отмечая слишком мало памяти. Есть ли способ просмотреть это изображение (я бы предпочел видеть как измененное изображение и детали)?

9 images  large-files