Как я могу удалить дубликаты в моем .bash_history, сохраняя порядок?

Я действительно наслаждаюсь control+rрекурсивным поиском в моей истории команд. Я нашел несколько хороших вариантов, которые мне нравится использовать с ним:

# ignore duplicate commands, ignore commands starting with a space
export HISTCONTROL=erasedups:ignorespace

# keep the last 5000 entries
export HISTSIZE=5000

# append to the history instead of overwriting (good for multiple connections)
shopt -s histappend

Единственная проблема для меня состоит в том, что erasedupsстираются только последовательные дубликаты - так что с этой строкой команд:

ls
cd ~
ls

Команда lsбудет записана дважды. Я думал о периодическом запуске w / cron:

cat .bash_history | sort | uniq > temp.txt
mv temp.txt .bash_history

Это приведет к удалению дубликатов, но, к сожалению, порядок не будет сохранен. Если я sortсначала не верну файл, я не верю, что он uniqможет работать должным образом.

Как я могу удалить дубликаты в моем .bash_history, сохраняя порядок?

Дополнительный кредит:

Есть ли проблемы с перезаписью .bash_historyфайла через скрипт? Например, если вы удалите файл журнала apache, я думаю, что вам нужно отправить сигнал nohup / reset, killчтобы он сбрасывал соединение с файлом. Если это так с .bash_historyфайлом, возможно, я мог бы каким-то образом использовать его, psчтобы проверить и убедиться в отсутствии подключенных сеансов до запуска сценария фильтрации?

Сортировка истории

Эта команда работает как sort|uniq, но держит линии на месте

nl|sort -k 2|uniq -f 1|sort -n|cut -f 2

В основном, к каждой строке добавляется свой номер. После sort|uniq-ing все строки сортируются в соответствии с их исходным порядком (с использованием поля номера строки), и поле номера строки удаляется из строк.

Это решение имеет недостаток, заключающийся в том, что он не определен, какой представитель класса равных линий сделает его на выходе, и, следовательно, его позиция в конечном выводе не определена. Однако, если будет выбран последний представитель, вы можете sortввести с помощью второй клавиши:

nl|sort -k2 -k 1,1nr|uniq -f1|sort -n|cut -f2

Управление .bash_history

Для перечитывания и записи истории вы можете использовать history -aи history -wсоответственно.

Поэтому я искал точно такую ​​же вещь после раздражения от дубликатов и обнаружил, что если я отредактирую свой ~ / .bash_profile (Mac) с помощью:

export HISTCONTROL=ignoreboth:erasedups

Он делает именно то, что вы хотели, он сохраняет только самые последние команды. ignorebothна самом деле так же, как делать, ignorespace:ignoredupsи это вместе с erasedupsвыполнением работы.

По крайней мере, на моем Mac-терминале с Bash эта работа отлично. Нашел это здесь на askubuntu.com .

Нашел это решение в дикой природе и протестировал:

awk '!x[$0]++'

При первом появлении определенного значения строки ($ 0) значение x [$ 0] равно нулю.
Нулевое значение инвертируется !и становится единым.
Оператор, который оценивает один, вызывает действие по умолчанию, которое является печатью.

Поэтому, когда в первый раз $0виден конкретный , он печатается.

Каждый раз, когда (повторяется) значение x[$0]isrrented,
его отрицательное значение равно нулю, а оператор, который оценивается как ноль, не печатается.

Чтобы сохранить последнее повторенное значение, измените историю и используйте тот же awk:

awk '!x[$0]++' ~/.bash_history                 # keep the first value repeated.

tac ~/.bash_history | awk '!x[$0]++' | tac     # keep the last.

Расширяя ответ Клейтона:

tac $HISTFILE | awk '!x[$0]++' | tac | sponge $HISTFILE

tacпереверните файл, убедитесь, что вы установили его, moreutilsчтобы он был spongeдоступен, в противном случае используйте временный файл.

Это сохранит последние дублированные строки:

ruby -i -e 'puts readlines.reverse.uniq.reverse' ~/.bash_history
tac ~/.bash_history | awk '!a[$0]++' | tac > t; mv t ~/.bash_history

Это старый пост, но это постоянная проблема для пользователей, которые хотят иметь несколько открытых терминалов и синхронизировать историю между окнами, но не дублировать их.

Мое решение в .bashrc:

shopt -s histappend
export HISTCONTROL=ignoreboth:erasedups
export PROMPT_COMMAND="history -n; history -w; history -c; history -r"
tac "$HISTFILE" | awk '!x[$0]++' > /tmp/tmpfile  &&
                tac /tmp/tmpfile > "$HISTFILE"
rm /tmp/tmpfile

• Опция histappend добавляет историю буфера в конец файла истории ($ HISTFILE).
• ignoreboth и erasedups предотвращают сохранение повторяющихся записей в $ HISTFILE
• Команда prompt обновляет кэш истории
  • history -n читает все строки из $ HISTFILE, которые могли возникнуть в другом терминале с момента последнего возврата каретки
  • history -w записывает обновленный буфер в $ HISTFILE
  • history -c стирает буфер, чтобы не возникало дублирования
  • history -r перечитывает $ HISTFILE, добавляя пустой буфер
• Скрипт awk хранит первое вхождение каждой встреченной строки. tacпереворачивает его, а затем переворачивает обратно, чтобы его можно было сохранить с помощью самых последних команд, еще самых последних в истории
• rm файл / tmp

Каждый раз, когда вы открываете новую оболочку, история стирает все дубликаты, и каждый раз, когда вы Enterнажимаете клавишу в другом окне оболочки / терминала, она обновляет эту историю из файла.

Для уникальной записи каждой новой команды сложно. Сначала вы должны добавить ~/.profileили аналогичный:

HISTCONTROL=erasedups
PROMPT_COMMAND='history -w'

Затем вам нужно добавить в ~/.bash_logout:

history -a
history -w