Вопросы с тегом «parsing»

Мы с коллегой недавно спорили о том, способен ли чистый регулярный код полностью инкапсулировать формат csv, так что он способен анализировать все файлы с любым заданным escape-символом, символом кавычек и символом-разделителем. Регулярное выражение не должно быть способно изменять эти символы после создания, но оно не должно терпеть неудачу в любом …

19 parsing  regular-expressions  csv 

Когда я начал использовать комбинаторы синтаксического анализа, моей первой реакцией было чувство освобождения от того, что казалось искусственным различием между синтаксическим анализом и лексингом. Внезапно все было просто разбор! Однако недавно я наткнулся на эту публикацию на codereview.stackexchange, иллюстрирующую кого-то, кто вновь подтверждает это различие. Сначала я думал, что это …

18 parsing  lexer  parser-combinator 

Если я правильно помню курс по компиляторам, типичный компилятор имеет следующую упрощенную схему: Лексический анализатор сканирует (или вызывает некоторую функцию сканирования) исходный код посимвольно Строка входных символов проверяется на соответствие словаря лексем Если лексема действительна, она классифицируется как токен, которому она соответствует Парсер проверяет синтаксис комбинации токенов; токен за токеном …

16 multithreading  compiler  parsing 

Я работаю над продуктом, в котором ответственность одного из модулей состоит в том, чтобы анализировать XML-файлы и выгружать необходимый контент в базу данных. Несмотря на то, что настоящее требование состоит только в разборе файлов XML, я хочу спроектировать свой модуль синтаксического анализа таким образом, чтобы в будущем я мог поддерживать …

14 java  design  parsing  xml 

Я пишу парсер для языка разметки, который я создал (пишу на python, но это не совсем относится к этому вопросу - на самом деле, если это кажется плохой идеей, я хотел бы предложить вариант для лучшего пути) , Я читаю о синтаксических анализаторах здесь: http://www.ferg.org/parsing/index.html и работаю над написанием лексера, …

14 python  parsing  lexer 

Насколько я понимаю, парсер создает дерево разбора, а затем отбрасывает его. Тем не менее, он также может вызвать абстрактное синтаксическое дерево, которое предположительно использует компилятор. У меня сложилось впечатление, что и дерево синтаксического анализа, и абстрактное синтаксическое дерево создаются на этапе синтаксического анализа. Тогда кто-то может объяснить, почему они разные?

14 parsing  trees 

Какие тесты я должен использовать для модульного тестирования парсера CSV? У меня есть простой синтаксический анализатор csv в C #, и я хочу быть уверенным, что у меня есть хороший охват модульных тестов для всех распространенных (и необычных) краевых случаев. Какие тесты я должен использовать для выявления потенциальных проблем и …

14 testing  parsing 

Я не понимаю это предложение из статьи в Википедии, посвященной проблеме оборванного остального : [Проблема Dangling Else] - это проблема, которая часто возникает при построении компилятора, особенно при анализе без сканирования. Может кто-нибудь объяснить мне, как методы анализа без сканирования могут обострить эту проблему? Мне кажется, что проблема в грамматике, …

13 programming-languages  compiler  parsing  ambiguity 

Моя компания (назовем их Acme Technology) имеет библиотеку из примерно тысячи исходных файлов, которые первоначально были получены от исследовательской группы Acme Labs, инкубированы в группе разработчиков в течение пары лет и совсем недавно были предоставлены нескольким клиентам в не разглашать. Acme готовится выпустить, возможно, 75% кода для сообщества с открытым …

13 open-source  licensing  version-control  parsing 

Закрыто . Этот вопрос основан на мнении . В настоящее время он не принимает ответы. Хотите улучшить этот вопрос? Обновите вопрос, чтобы ответить на него фактами и цитатами, отредактировав этот пост . Закрыто 5 лет назад . Текущий файл конфигурации выглядит следующим образом: mainwindow.title = 'test' mainwindow.position.x = 100 mainwindow.position.y …

13 python  design-patterns  design  parsing 

Недавно я начал экспериментировать с обработкой естественного языка (NLP), используя CoreNLP от Stanford , и мне интересно, каковы некоторые стандартные способы хранения проанализированных данных NLP для чего-то вроде приложения для анализа текста? Один способ, который я подумал, может быть интересным, - сохранить дочерние элементы в виде списка смежности и эффективно …

12 database  parsing  persistence  natural-language-processing 

Я программировал много лет, но одна задача, которая все еще занимает у меня слишком много времени, - это задать грамматику для синтаксического анализатора, и даже после этого чрезмерного усилия, я никогда не уверен, что грамматика, которую я придумал, хороша ( любой разумной мерой "хорошо"). Я не ожидаю, что существует алгоритм …

12 language-design  grammar  parsing 

Согласно одной странице на code.google.com, «левая рекурсия» определяется следующим образом: Левая рекурсия просто относится к любому рекурсивному нетерминалу, который, когда он создает форму предложения, содержащую себя, эта новая копия сама появляется слева от производственного правила. Википедия предлагает два разных определения: В терминах контекстно-свободной грамматики нетерминальный r является леворекурсивным, если крайний …

12 programming-languages  parsing  definition 

Я тестирую продукт для предприятий здравоохранения, и мы работаем с сообщениями HL7. Я видел, как люди стонали по другому вопросу о проблемах с HL7, но не упомянув о специфике. Может ли кто-нибудь дать мне представление о том, какие проблемы или классы проблем мы должны специально искать? Мы используем некоторые хорошо …

12 testing  parsing  hl7 

Существуют ли какое - либо программирование (или сценарии) язык (или домен конкретного языка) , имеющие два бинарных операторов oplи oprв том же старшинство с oplтого левоассоциативными и oprбыть правоассоциативным? (Я не могу найти такой пример, но я пытаюсь закодировать некоторый общий синтаксический анализатор, чтобы справиться с этим странным случаем) Как …

11 language-design  parsing