Вопросы с тегом «split»

Связанные, но не удовлетворительные ответы: Как я могу разбить большой текстовый файл на куски по 500 слов или около того? Я пытаюсь взять текстовый файл ( http://mattmahoney.net/dc/text8.zip ), содержащий> 10 ^ 7 слов, все в одной строке, и разбить его на строки по N слов в каждом. Мой текущий подход …

11 text-processing  sed  awk  split 

У меня есть дерево каталогов, которое я хотел бы сделать резервную копию на оптических дисках. К сожалению, он превышает размер любого диска (около 60 ГБ). Я ищу сценарий, который разбил бы это дерево на куски соответствующего размера с жесткими ссылками или еще чем-нибудь (оставив оригинал нетронутым). Затем я мог бы …

11 backup  disk-usage  split  burning 

У меня есть три вида данных в разных форматах; для каждого типа данных существует скрипт Python, который преобразует его в единый унифицированный формат. Этот сценарий Python является медленным и привязанным к процессору (к одному ядру на многоядерном компьютере), поэтому я хочу запустить три его экземпляра - по одному для каждого …

10 text-processing  pipe  split  parallelism 

У меня был большой (~ 60G) сжатый файл ( tar.gz). Раньше я splitразбивал его на 4 части, а затем catсоединял их вместе. Однако теперь, когда я пытаюсь оценить размер несжатого файла, получается, что он меньше оригинала? Как это возможно? $ gzip -l myfile.tar.gz compressed uncompressed ratio uncompressed_name 60680003101 3985780736 -1422.4% …

9 compression  gzip  split 

У меня большой текстовый файл (~ 50Gb, когда gz'ed). Файл содержит 4*Nстроки или Nзаписи; то есть каждая запись состоит из 4 строк. Я хотел бы разделить этот файл на 4 файла поменьше, каждый размером примерно 25% от входного файла. Как я могу разделить файл на границе записи? Наивным подходом было …

9 text-processing  sed  awk  split  wc 

Я загружаю довольно гигантский файл в базу данных postgresql. Для этого я сначала использую splitфайл, чтобы получить файлы меньшего размера (30 ГБ каждый), а затем загружаю каждый файл меньшего размера в базу данных, используя GNU Parallelи psql copy. Проблема в том, что для разделения файла требуется около 7 часов, а …

9 files  split  gnu-parallel 

Я хочу разбить 'hello'на h e l l oмассив, используя только bash, я мог бы сделать это в sed с помощью, sed 's/./& /g'но я хочу знать, как разбить строку на массив в Bash, когда я не знаю, что будет разделитель, или разделитель любой один символ Я не думаю, что …

9 bash  string  split 

У меня есть файл, который выглядит следующим образом: chr19 61336212 + 0 0 CG CGT chr19 61336213 - 0 0 CG CGG chr19 61336218 + 0 0 CG CGG chr19 61336219 - 0 0 CG CGC chr19 61336268 + 0 0 CG CGG chr19 61336269 - 0 0 CG CGA …

8 text-processing  awk  split 

У меня довольно большой MSG-файл, отформатированный в формате UIEE. $ wc -l big_db.msg 8726593 big_db.msg По сути, файл состоит из записей различной длины, которые выглядят примерно так: UR|1 AA|Condon, Richard TI|Prizzi's Family CN|Collectable- Good/Good MT|FICTION PU|G.P. Putnam & Sons DP|1986 ED|First Printing. BD|Hard Cover NT|0399132104 KE|MAFIA KE|FICTION PR|44.9 XA|4 XB|1 …

8 text-processing  split 

Как заставить K3b разделить тома на несколько носителей? Например, если я дам ему папку, которая имеет 6 ГБ (не один файл размером 6 ГБ), он должен автоматически создать несколько дисков объемом 4,4 ГБ, а не делать это вручную? Если K3B не может это сделать, есть ли какое-нибудь программное обеспечение, которое …

8 iso  split  mkisofs