Вопросы с тегом «text-processing»

Я пытался написать простой скрипт bash, который я буду использовать для установки приложения и обновления его конфигурационного файла. Я испытываю трудности с тем, чтобы изменить его конфигурационный файл. # DBHost=localhost DBName=test # DBPassword= Любые предложения, как я могу изменить выше, как показано ниже? DBHost=localhost DBName=database DBPassword=password

9 bash  shell-script  text-processing  configuration 

Я пытаюсь запустить проверку PEP8 для большого дерева исходных текстов. Дерево состоит из смеси файлов на разных языках. Идея состоит в том, чтобы проверить все скрипты Python без явного перечисления их. Большинство этих файлов на самом деле не имеют .pyрасширения. Есть ли простой способ найти все файлы со словом Python …

9 shell-script  text-processing  search 

Мне так надоели бесполезные пробелы в исходных файлах, которые я даже настроил для показа в vim. Проблема в том, что мне очень часто (если не всегда) приходится сталкиваться с бесполезными пробелами с моими помощниками-разработчиками. Я просто хотел бы сканировать исходные файлы (с учетом регулярного выражения) и удалять пробелы из всех …

9 shell-script  text-processing 

Я должен регулярно создавать более 100 текстовых файлов из шаблонов. В настоящее время я использую слишком сложный сценарий оболочки. Я думаю, что есть более разумный способ справиться с этим, но я не знаю как. У меня есть «база данных»: # outputfile template data1 data2 data3 first.txt $template_main $text1 abcd 1234 …

9 shell-script  text-processing 

У меня есть HTML-файл с большим количеством%-кодированного текста UTF-8 в URL. Например, «% D1% 80% D0% B5% D1% 81% D1% 83% D1% 80% D1% 81% D1% 8B» означает «ресурсы» («ресурсы» на русском языке). Задача состоит в том, чтобы заменить все такие подстроки читаемым текстом UTF-8. Чтобы упростить задачу, мы можем …

9 text-processing  character-encoding  text  unicode 

Вот фрагмент из ВВОДА: ... #################### Bala Bela;XXXXXX12345;XXXXXX12345678;A SERVER345Z3.DOMAIN.com0 SERVER346Z3.DOMAIN.com0 SERVER347Z3.DOMAIN.com0 SERVER348Z3.DOMAIN.com0 ssh-dss ...pubkeyhere... #################### Ize Jova;XXXXXX12345;XXXXXX12345;A SERVER342Z3.DOMAIN.com0 SERVER343Z3.DOMAIN.com0 SERVER345Z3.DOMAIN.com0 ssh-rsa ...pubkeyhere... ... И вот фрагмент из ВЫХОДА, который мне нужен: Bala Bela;XXXXXX12345;XXXXXX12345678;A 4 Ize Jova;XXXXXX12345;XXXXXX12345;A 3 Поэтому мне нужен выход из INPUT, чтобы я мог видеть, сколько строк, начинающихся …

9 bash  text-processing 

Мне было интересно, есть ли какие-либо общие инструменты построения графиков, доступные в наборе инструментов Unix? Под графиком я подразумеваю простые бары или вещи, которые вы видите во многих утилитах на основе проклятий. Под инструментарием Unix я подразумеваю вещи, по которым вы можете передавать данные в них, используя стандартные соглашения Unix. …

9 text-processing  logs  plotting 

В среде Unix есть несколько отличных инструментов для анализа текста в различных формах. Однако в последнее время данные не в традиционных (исторических) форматах (CSV, TSV, основанных на записях или других основанных на разделителях), как это было раньше. В наши дни данные обмениваются в структурированных форматах, таких как XML / JSON. …

9 text-processing  xml 

У меня есть программа, texcountкоторая выводит количество слов в моем документе LaTeX. Я также могу направить выходные данные этого, чтобы sedсделать переносы строк TeX newlines и записать это в файл, который я могу затем включить в мой окончательный документ. Но когда я делаю texcount foo.tex | sed s/$/'\\\\'/ > wc.texвывод …

9 shell  text-processing  utilities 

Как удалить последний запятую из файла в Linux? Пример файла: "is_supported_kafka_ranger" : "true", "kafka_log_dir" : "/var/log/kafka", "kafka_pid_dir" : "/var/run/kafka", "kafka_user" : "kafka", "kafka_user_nofile_limit" : "128000", "kafka_user_nproc_limit" : "65536", Ожидаемые результаты: "is_supported_kafka_ranger" : "true", "kafka_log_dir" : "/var/log/kafka", "kafka_pid_dir" : "/var/run/kafka", "kafka_user" : "kafka", "kafka_user_nofile_limit" : "128000", "kafka_user_nproc_limit" : "65536"

9 text-processing  awk  sed  perl 

У меня есть ~ 30 тыс. Файлов. Каждый файл содержит ~ 100 тыс. Строк. Строка не содержит пробелов. Строки в отдельном файле сортируются и дублируются бесплатно. Моя цель: я хочу , чтобы найти все все повторяющиеся строки через два или более файлов , а также имена файлов, содержащие дублированные записи. …

9 shell-script  text-processing  performance  large-files  deduplication 

У меня есть коллекция файлов (* .zip, * .txt, * .tar.gz, * .doc, ... и т. Д.). Эти файлы находятся в пути. Я хочу найти все файлы (* .txt), а затем скопировать только текстовые файлы, содержащие определенные слова (например, LINUX / UNIX). Я запустил следующее: find . -name "*.txt" | …

9 text-processing  grep  find  cp 

Рассмотрим следующие файлы: file1: boo,8,1024 foo,7,2048 file2: foo,0,24,154 noo,0,10,561 file3: 24,154,7,1024,0 Что мне нужно, это пойти в File1 и проверить, если $2==7; если это правда, взять $1, $2и $3от File1 ; Теперь я должен сравнить, если $1из File1 равно $1из File2 ; если это правда, я должен взять $3и $4из …

9 text-processing  awk  gawk 

У меня есть две параллельные тела (текстовые файлы) с выравниванием по предложениям, содержащие около 50 миллионов слов. (из Europarl corpus -> параллельный перевод юридических документов). Теперь я хотел бы перемешать строки двух файлов, но оба одинаково. Я хотел подойти к этому, используя gshuf (я на Mac), используя один уникальный случайный …

9 text-processing  osx  random 

У меня есть следующий кадр данных, который продолжается бесконечно по горизонтали и вертикали с отрицательными числами только в нечетных столбцах: -1 2 3 4 -5 9 2 3 -4 5 -6 11 И я хочу, чтобы 2-й, 4-й и 6-й полные столбцы (или каждый четный столбец) и знаки минус только …

9 text-processing  sed  awk