Разница в пробелах между двумя файлами в Linux

У меня есть два файла, которые при сравнении с diff показывают, что каждая строка изменилась. Когда я сравниваю их с diff -w(игнорируя пробелы), это показывает несколько минимальных изменений, которые я ожидаю.

Очевидно, между пробелами в каждом файле есть некоторая разница, но я не знаю, что это такое и как их найти. Я попытался отредактировать файлы, чтобы убедиться, что пробел на самом деле является пробелом (в отличие от вкладок), но я не уверен, что еще делать.

Я использовал vim с, :set list onчтобы подтвердить, что в конце строк нет пробела.

Я также считаю, что в каждом файле есть разделители строк в Linux, поскольку vim не показывал их ^Mв конце строк.

Для vimпользователей есть удобная утилита, показывающая точные различия между файлами:

vimdiff file1 file2

Это поместит каждый файл в окна, бок о бок, и различия будут выделены цветом.

Некоторые полезные команды, когда в vimdiff

В то время как в vimdiff, некоторые полезные команды:

• ]c: перейти к следующему изменению

• [c: перейти к предыдущему изменению

• ctrl-W ctrl-W: переключиться в другое окно

• zo: открытые складки

• zc: закрыть складки

пример

Вот пример vimdiffв xtermсравнения двух версий cupsфайла конфигурации:

Вы можете видеть, что длинные участки одинаковых линий были свернуты. Их можно открыть снова с помощью zo.

Цветовая схема будет варьироваться в зависимости от настроек вашего варианта. В приведенном выше примере, когда строка появляется в одном файле, но не в другом, этой строке выделяется темно-синий фон. В другом файле пропущенные строки обозначены пунктирными линиями. Когда линия появляется в обоих файлах, но имеет некоторые различия, неизмененные части линий имеют розовый фон, а измененные части имеют красный фон.

В FreeBSD или в большинстве систем Linux вы можете передать вывод diff, cat -v -e -tчтобы показать различия между пробелами.

diff file1 file2 | cat -vet

Вкладки будут отображаться как ^I, а $будет отображаться в конце каждой строки, так что вы можете увидеть конечный пробел, а непечатаемые символы будут отображаться как ^Xили M-X.

Если у вас есть GNU coreutils (доступно в большинстве не занятых дистрибутивов Linux), это можно упростить до

diff file1 file2 | cat -A

В системах busybox используйте catv -vet.

Был ли один из файлов отредактирован на компьютере с Windows?

Стандартное завершение строки в Windows - это CRLF, где в Linux это просто LF (а в Mac это был CR, но я подозреваю, что это изменилось со времен OS X).

Попробуйте wc -lфайлы и посмотрите, сколько строк, а затем посмотрите, не отличается ли разница в размере от количества строк (последняя строка может не заканчиваться в одном файле).

odможет помочь Команда Octal Dump может показывать содержимое в шестнадцатеричном формате. Это может помочь вам увидеть, какие байты, включая нулевые байты или неожиданный пробел, находятся в файле. Возможными общими причинами могут быть LF против CRLF, табуляции против пробелов или ASCII против юникода (у которых часто может быть нулевой байт перед каждым обычно видимым байтом). od -x filenameдолжен раскрыть любой из этих шаблонов. Если вы хотите более сложный способ просмотра файла, подойдет любой «шестнадцатеричный редактор». Приятно то, odчто, как и cutкоманда, она встроена во многие системы Unix. Поэтому зачастую не требуется отдельная установка.

Если вам нужно, чтобы файлы были более похожими, trможете внести некоторые изменения и sedсделать больше. Вероятно, я бы начал с того, ls -lчтобы увидеть, какой файл больше, затем просмотрите байты, чтобы увидеть, что нужно изменить, а затем измените один из файлов, чтобы они казались более похожими.

Чтобы узнать, где настоящие пробелы и вкладки, вы можете заменить их, sedнапример:

$ cat file
  line 1
  line 2
    line 6
        line 7
$ sed 's/ /-/g; s/\t/<tab>/g' file
--line-1
--line-2
<tab>line-6
<tab><tab>line-7

А теперь сравните два файла.

Следующее содержание было скопировано здесь из раздела «вопрос» выше, который был написан Ромски.

Оба vimdiffи diff file1 file2 | cat -Aбыли очень полезны с точки зрения инструментов.

Наконец, я нашел еще одну проблему. Некоторые из моих файлов были закодированы с помощью UTF-8 BOM. Это было выделено с помощью diff file1 file2 | cat -A. Это проявилось как M-oM-;M-?в начале затронутого файла:

$ diff file1 file2 | cat -A
< package com.mycompany;$
---$
> M-oM-;M-?package com.mycompany;$

Несмотря на ряд проблем, я перечислил несколько команд ниже для тех, кто нуждается в очистке своих файлов:

# recursively remove UTF8 BOM
find . -type f -exec sed -i -e '1s/^\xEF\xBB\xBF//' {} \;

# recursively replace CRLF with LF
find . -type f -print0 | xargs -0 dos2unix