Вопросы с тегом «lexer»

Недавно я глубоко погрузился в мир парсеров, желая создать свой собственный язык программирования. Однако я обнаружил, что существуют два несколько разных подхода к написанию парсеров: Генераторы парсеров и Комбинаторы парсеров. Интересно, что мне не удалось найти какой-либо ресурс, объясняющий, в каких случаях какой подход лучше; Скорее всего , многие ресурсы …

60 parsing  lexer  parser-combinator 

Я медленно работаю, чтобы закончить свою степень, и этот семестр - Компиляторы 101. Мы используем Книгу Дракона . Вскоре в курсе, и мы поговорим о лексическом анализе и о том, как он может быть реализован с помощью детерминированных конечных автоматов (далее DFA). Настройте различные состояния лексера, определите переходы между ними …

24 compiler  lexer  pragmatism 

Как сказано в заголовке, какой тип данных должен возвращать / передавать синтаксический анализатор? Читая статью о лексическом анализе, которая есть в Википедии, она заявила, что: В информатике лексический анализ - это процесс преобразования последовательности символов (например, в компьютерной программе или веб-странице) в последовательность токенов ( строк с определенным «значением»). Однако, …

21 data-types  lexer  flex 

Когда я начал использовать комбинаторы синтаксического анализа, моей первой реакцией было чувство освобождения от того, что казалось искусственным различием между синтаксическим анализом и лексингом. Внезапно все было просто разбор! Однако недавно я наткнулся на эту публикацию на codereview.stackexchange, иллюстрирующую кого-то, кто вновь подтверждает это различие. Сначала я думал, что это …

18 parsing  lexer  parser-combinator 

Каковы хорошие ресурсы о том, как написать лексер на C ++ (книги, учебные пособия, документы), каковы некоторые хорошие методы и практики? Я посмотрел в Интернете, и все говорят, чтобы использовать генератор лексера, как лекс. Я не хочу этого делать, я хочу написать лексер от руки.

18 c++  compiler  lexer 

Я пишу парсер для языка разметки, который я создал (пишу на python, но это не совсем относится к этому вопросу - на самом деле, если это кажется плохой идеей, я хотел бы предложить вариант для лучшего пути) , Я читаю о синтаксических анализаторах здесь: http://www.ferg.org/parsing/index.html и работаю над написанием лексера, …

14 python  parsing  lexer 

Читая ответ на вопрос « Разъяснение о грамматике, лексерах и парсерах» , в ответе говорилось, что: [...] грамматика BNF содержит все правила, необходимые для лексического анализа и анализа. Это показалось мне несколько странным, потому что до сих пор я всегда думал, что лексер вообще не основан на грамматике, в то …

13 design  design-patterns  development-process  grammar  lexer 

Я смотрел на несколько лексеров в различных языках высокого уровня ( Python , PHP , Javascript и др.), И все они, кажется, используют регулярные выражения в той или иной форме. Хотя я уверен, что регулярные выражения, вероятно, лучший способ сделать это, мне было интересно, есть ли какой-нибудь способ добиться базового …

9 theory  regular-expressions  lexer