Вопросы с тегом «text-processing»

У меня есть текстовый файл в неизвестной или смешанной кодировке. Я хочу видеть строки, которые содержат последовательность байтов, которая не является допустимой UTF-8 (путем передачи текстового файла в какую-то программу). Эквивалентно, я хочу отфильтровать строки, которые являются действительными UTF-8. Другими словами, я ищу .grep [notutf8] Идеальное решение было бы переносимым, …

50 command-line  text-processing  character-encoding  unicode 

Мне нужно периодически запускать команду, которая гарантирует, что некоторые текстовые файлы хранятся в режиме Linux. К сожалению, dos2unixвсегда изменяет файл, который может испортить временные метки файла и папки и вызвать ненужные записи. Сценарий, который я пишу, написан на Bash, поэтому я бы предпочел ответы, основанные на Bash.

48 bash  text-processing  newlines 

Входной файл1: dog 123 4335 cat 13123 23424 deer 2131 213132 bear 2313 21313 Я даю совпадение по шаблону из in other file(как dog 123 4335из file2). Я соответствую шаблону строки, dog 123 4335и после печати всех строк без строки соответствия мой вывод: cat 13123 23424 deer 2131 213132 bear …

48 text-processing  sed  grep 

Я работаю с CSV-файлами, и иногда мне нужно быстро проверить содержимое строки или столбца из командной строки. Во многих случаях cut, head, tailи друзья будут делать эту работу; тем не менее, сокращение не может легко справиться с такими ситуациями, как "this, is the first entry", this is the second, 34.5 …

47 command-line  software-rec  text-processing  csv 

У меня есть несколько .htmфайлов, которые открываются в Gedit без каких-либо предупреждений / ошибок, но когда я открываю эти же файлы Jedit, он предупреждает меня о недопустимой кодировке UTF-8 ... В метатеге HTML указано «charset = ISO-8859-1». Jedit допускает Список резервных кодировок и Список авто-детекторов кодирования (в настоящее время "BOM …

46 text-processing  utilities  character-encoding 

Я хочу конвертировать .txtфайлы в .pdf. Я использую это: ls | while read ONELINE; do convert -density 400 "$ONELINE" "$(echo "$ONELINE" | sed 's/.txt/.pdf/g')"; done Но это приводит к одной «ошибке» - если в текстовом файле есть очень длинная строка, она не переносится. Введите текст Выходной PDF - Также было …

45 text-processing  pdf  imagemagick  conversion 

Я использую, sed чтобы быстро удалить строки с определенной позиции, как sed '1d' sed '5d' Но что делать, если я хочу удалить последнюю строку файла, и я не знаю количество строк (я знаю, что могу получить это, используя wcи несколько других приемов). В настоящее время используется обходной путь headи в …

44 text-processing  sed 

Есть ли простой способ заменить / оценить переменные среды в файле? Например, у меня есть файл, config.xmlкоторый содержит: <property> <name>instanceId</name> <value>$INSTANCE_ID</value> </property> <property> <name>rootPath</name> <value>/services/$SERVICE_NAME</value> </property> ...так далее. Я хочу заменить $INSTANCE_IDв файле значение INSTANCE_IDпеременной окружения $SERVICE_NAMEзначением SERVICE_NAMEenv var. Я априори не буду знать, какие переменные среды нужны (или, скорее, …

41 shell-script  text-processing  scripting  environment-variables 

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ В результате мне нужно отобразить все строки исходного файла, удалив все дубликаты (не только последовательные), сохранив при этом исходный порядок операторов …

40 text-processing  uniq 

В оболочке, как я могу прочитать байты имеющегося у меня двоичного файла и распечатать вывод в виде шестнадцатеричных чисел?

39 shell  text-processing  binary 

Иногда, я получаю как разделенный вкладкой список, который не совсем выровнен, например var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3 Есть ли простой способ сделать их выровненными? var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3

39 command-line  text-processing  csv  tabulation 

У меня есть файл с 30 000 000 строк (учет радиуса), и мне нужно найти последнее совпадение данного шаблона. Команда: tac accounting.log | grep $pattern дает то, что мне нужно, но это слишком медленно, потому что ОС должна сначала прочитать весь файл, а затем отправить в канал. Итак, мне нужно …

39 text-processing  files  grep  tail 

Как я могу заменить все символы новой строки пробелом, кроме последней строки? Я могу заменить все символы новой строки на пробел, trно как я могу сделать это с некоторыми исключениями?

38 bash  shell-script  text-processing  tr 

Есть ли способ комментировать / раскомментировать сценарий shell / config / ruby ​​с помощью командной строки? например: $ comment 14-18 bla.conf $ uncomment 14-18 bla.conf это добавит или удалит #знак bla.confна линии 14к 18. Обычно я использую sed, но я должен знать содержимое этих строк, а затем выполнить операцию поиска …

37 shell-script  text-processing 

Я пытаюсь удалить некоторые символы из файла (UTF-8). Я использую trдля этого: tr -cs '[[:alpha:][:space:]]' ' ' <testdata.dat Файл содержит несколько иностранных символов (например, «Латвийская» или «àé»). trкажется, не понимает их: он рассматривает их как не-альфа и удаляет тоже. Я попытался изменить некоторые из моих настроек локали: LC_CTYPE=C LC_COLLATE=C tr …

36 linux  text-processing  unicode  tr