Как случайным образом выбрать часть файла

Есть ли какая-нибудь команда Linux, которую можно использовать для выборки подмножества файла? Например, файл содержит один миллион строк, и мы хотим случайным образом выбрать только одну тысячу строк из этого файла.

Под случайным я подразумеваю, что каждая строка получает одинаковую вероятность выбора, и ни одна из выбранных линий не является повторяющейся.

headи tailможет выбрать подмножество файла, но не случайно. Я знаю, что всегда могу написать для этого скрипт на python, но мне просто интересно, есть ли команда для этого использования.

Команда shuf(часть coreutils) может сделать это:

shuf -n 1000 file

И, по крайней мере, на данный момент не древние версии (добавленные в коммите от 2013 года ), которые будут использовать выборку из резервуара, когда это уместно, что означает, что она не должна исчерпывать память и использует быстрый алгоритм.

Если у вас очень большой файл (что является типичной причиной для взятия образца), вы обнаружите, что:

1. shuf истощает память
2. Использование $RANDOMне будет работать правильно, если файл превышает 32767 строк

Если вам не нужны «ровно» n строк выборки, вы можете выбрать соотношение следующим образом:

cat input.txt | awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01) print $0}' > sample.txt

При этом используется постоянная память , выборки 1% файла (если вы знаете количество строк файла, вы можете настроить этот коэффициент для выборки, близкой к ограниченному количеству строк), и работает с любым размером файла, но это не будет вернуть точное количество строк, просто статистическое соотношение.

Примечание. Код получен по адресу : https://stackoverflow.com/questions/692312/randomly-pick-lines-from-a-file-without-slurping-it-with-unix

Похоже на вероятностное решение @ Txangel, но приближается к 100 раз быстрее.

perl -ne 'print if (rand() < .01)' huge_file.csv > sample.csv

Если вам нужна высокая производительность, точный размер выборки и вы готовы жить с пробелом в конце файла, вы можете сделать что-то вроде следующего (выборка 1000 строк из файла длиной 1 м):

perl -ne 'print if (rand() < .0012)' huge_file.csv | head -1000 > sample.csv

.. или действительно цепочка второй метод образца вместо head.

Если shuf -nуловка с большими файлами исчерпывает память, и вам все еще нужен пример фиксированного размера и можно установить внешнюю утилиту, попробуйте пример :

$ sample -N 1000 < FILE_WITH_MILLIONS_OF_LINES 

Предостережение заключается в том, что образец (1000 строк в примере) должен уместиться в памяти.

Отказ от ответственности: я являюсь автором рекомендуемого программного обеспечения.

Не знаю ни одной команды, которая могла бы сделать то, что вы просите, но вот цикл, который я собрал, который может сделать эту работу:

for i in `seq 1000`; do sed -n `echo $RANDOM % 1000000 | bc`p alargefile.txt; done > sample.txt

sedвыберет случайную линию на каждом из 1000 проходов. Возможно, есть более эффективные решения.

Вы можете сохранить следующий код в файле (например, randextract.sh) и выполнить как:

randextract.sh file.txt

---- НАЧАТЬ ФАЙЛ ----

#!/bin/sh -xv

#configuration MAX_LINES is the number of lines to extract
MAX_LINES=10

#number of lines in the file (is a limit)
NUM_LINES=`wc -l $1 | cut -d' ' -f1`

#generate a random number
#in bash the variable $RANDOM returns diferent values on each call
if [ "$RANDOM." != "$RANDOM." ]
then
    #bigger number (0 to 3276732767)
    RAND=$RANDOM$RANDOM
else
    RAND=`date +'%s'`
fi 

#The start line
START_LINE=`expr $RAND % '(' $NUM_LINES - $MAX_LINES ')'`

tail -n +$START_LINE $1 | head -n $MAX_LINES

---- КОНЕЦ ФАЙЛА ----

Если вы знаете количество строк в файле (например, 1e6 в вашем случае), вы можете сделать:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Если нет, вы всегда можете сделать

awk -v n="$(wc -l < file)" -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}' < file

Это сделало бы два прохода в файле, но все же избегало бы сохранения всего файла в памяти.

Другое преимущество над GNU shufзаключается в том, что он сохраняет порядок строк в файле.

Обратите внимание , что он принимает n это число строк в файле. Если вы хотите распечатать pиз первых n строк файла (который потенциально больше линий), вы должны были бы остановиться awkна n^й строки , например:

awk -v n=1e6 -v p=1000 '
  BEGIN {srand()}
  rand() * n-- < p {p--; print}
  !n {exit}' < file

Мне нравится использовать awk для этого, когда я хочу сохранить строку заголовка и когда пример может составлять приблизительный процент файла. Работает для очень больших файлов:

awk 'BEGIN {srand()} !/^$/ { if (rand() <= .01 || FNR==1) print > "data-sample.txt"}' data.txt

Или вот так:

LINES=$(wc -l < file)  
RANDLINE=$[ $RANDOM % $LINES ]  
tail -n $RANDLINE  < file|head -1  

Со страницы руководства bash:

        RANDOM Каждый раз, когда на этот параметр ссылаются, случайное целое число
              между 0 и 32767 генерируется. Последовательность случайных
              числа могут быть инициализированы путем присвоения значения RAN-
              DOM. Если RANDOM не установлен, он теряет свое специальное свойство
              связи, даже если он впоследствии сбрасывается.

Если размер вашего файла не очень велик, вы можете использовать сортировку в случайном порядке. Это занимает немного больше времени, чем shuf, но случайным образом разбирает все данные. Таким образом, вы можете легко сделать следующее, чтобы использовать head, как вы просили:

sort -R input | head -1000 > output

Это отсортирует файл случайным образом и даст вам первые 1000 строк.

Как уже упоминалось в принятом ответе, GNU довольно хорошо shufподдерживает простую случайную выборку ( shuf -n). Если shufтребуются методы выборки, выходящие за рамки поддерживаемых , рассмотрите tsv-sample из утилит TSV eBay . Он поддерживает несколько дополнительных режимов выборки, включая взвешенную случайную выборку, выборку Бернулли и отдельную выборку. Производительность похожа на GNU shuf(оба довольно быстрые). Отказ от ответственности: я автор.