Как я могу рандомизировать строки в файле с помощью стандартных инструментов Red Hat Linux?

Как я могу рандомизировать строки в файле с помощью стандартных инструментов Red Hat Linux?

У меня нет shufкоманды, так что я ищу что - то вроде perlили awkоднострочника что совершающего ту же задачу.

И вы получите однострочник Perl!

perl -MList::Util -e 'print List::Util::shuffle <>'

Он использует модуль, но он является частью дистрибутива кода Perl. Если этого недостаточно, вы можете попробовать прокатить свой собственный.

Я пробовал использовать это с -iфлагом («редактировать на месте»), чтобы он редактировал файл. Документация предполагает, что это должно работать, но это не так. Он по-прежнему отображает перетасованный файл в стандартный вывод, но на этот раз удаляет оригинал. Я предлагаю вам не использовать его.

Рассмотрим сценарий оболочки:

#!/bin/sh

if [[ $# -eq 0 ]]
then
  echo "Usage: $0 [file ...]"
  exit 1
fi

for i in "$@"
do
  perl -MList::Util -e 'print List::Util::shuffle <>' $i > $i.new
  if [[ `wc -c $i` -eq `wc -c $i.new` ]]
  then
    mv $i.new $i
  else
    echo "Error for file $i!"
  fi
done

Не проверено, но, надеюсь, работает.

Хм, давай не забываем

sort --random-sort

shuf это лучший способ.

sort -Rмучительно медленно. Я просто пробовал отсортировать файл размером 5ГБ. Я сдался через 2,5 часа. Потом shufразобрал за минуту.

cat yourfile.txt | while IFS= read -r f; do printf "%05d %s\n" "$RANDOM" "$f"; done | sort -n | cut -c7-

Прочтите файл, добавьте к каждой строке случайное число, отсортируйте файл по этим случайным префиксам, затем удалите префиксы. Однострочный, который должен работать в любой полусовременной оболочке.

РЕДАКТИРОВАТЬ: включены замечания Ричарда Хансена.

Однострочник для Python:

python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile

А для печати только одной случайной строки:

python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile

Но посмотрите этот пост о недостатках python random.shuffle(). Он не будет работать со многими (более 2080) элементами.

Связано с ответом Джима:

My ~/.bashrcсодержит следующее:

unsort ()
{
    LC_ALL=C sort -R "$@"
}

С сортировкой GNU coreutils, -R= --random-sort, которая генерирует случайный хэш каждой строки и сортирует по нему. Рандомизированный хеш на самом деле не будет использоваться в некоторых локали в некоторых более старых (глючных) версиях, в результате чего он будет возвращать нормальный отсортированный вывод, поэтому я установил LC_ALL=C.

Относится к ответу Криса:

perl -MList::Util=shuffle -e'print shuffle<>'

является немного более коротким однострочником. ( -Mmodule=a,b,cсокращение от -e 'use module qw(a b c);'.)

Причина, по которой простота -iне работает для перетасовки на месте, заключается в том, что Perl ожидает, что это printпроизойдет в том же цикле, в котором читается файл, и print shuffle <>не выводит данные до тех пор, пока все входные файлы не будут прочитаны и закрыты.

В качестве более короткого обходного пути

perl -MList::Util=shuffle -i -ne'BEGIN{undef$/}print shuffle split/^/m'

перетасует файлы на месте. ( -nозначает «заключить код в while (<>) {...}цикл; BEGIN{undef$/}заставляет Perl работать с файлами по очереди, а не по строкам, и split/^/mнеобходимо, потому что $_=<>это было неявно выполнено с целым файлом, а не со строками.)

Когда я устанавливаю coreutils с помощью homebrew

brew install coreutils

shufстановится доступным как n.

Mac OS X с DarwinPorts:

sudo port install unsort
cat $file | unsort | ...

FreeBSD имеет свою собственную случайную утилиту:

cat $file | random | ...

Он находится в / usr / games / random, поэтому, если вы не установили игры, вам не повезло.

Вы можете рассмотреть возможность установки таких портов, как textproc / rand или textproc / msort. Они вполне могут быть доступны в Linux и / или Mac OS X, если переносимость вызывает беспокойство.

В OSX скачивание последней версии с http://ftp.gnu.org/gnu/coreutils/ и чего-то вроде

./configure сделать sudo make install

... должен дать вам / usr / local / bin / sort --random-sort

без ошибок / usr / bin / sort

Или получите его с MacPorts:

$ sudo port install coreutils

и / или

$ /opt/local//libexec/gnubin/sort --random-sort