Я должен извлечь столбец данных из очень большого файла & gt; 100 ГБ.
Я знаю, как использовать awk
а также cut
Команды делают это, но хотели бы знать, является ли кто-то более эффективным (с точки зрения скорости) для такой задачи.
Если
—
Michael Vehrs
cut
можно использовать, это должно быть быстрее, так как это намного проще и, следовательно, менее способно.
grep -o "\w*pattern\w*" /path/to/file
, Возможно, вы захотите прочитать также оparallel
для использования несколькихgrep
это на куски этого файла.