Вопросы с тегом «lexer»

Действительно ли лексеры и парсеры в теории отличаются друг от друга Кажется модным ненавидеть регулярные выражения: ужас кодирования , еще одно сообщение в блоге . Однако популярные инструменты, основанные на лексизме: pygments , geshi или prettify - все используют регулярные выражения. Кажется, они лекс что-нибудь ... Когда достаточно лексизма, когда …

308 parsing  antlr  lexer  pygments 

Я ищу четкое определение того, что такое «токенизатор», «парсер» и «лексер» и как они связаны друг с другом (например, использует ли парсер токенизатор или наоборот)? Мне нужно, чтобы программа прошла через исходные файлы c / h для извлечения декларации данных и определений. Я искал примеры и могу найти некоторую информацию, …

151 parsing  lexer  tokenize 

Я хочу научиться писать лексический анализатор. В моем университетском курсе было задание, в котором мы должны были написать синтаксический анализатор (и лексер для его выполнения), но это было дано нам без каких-либо инструкций или отзывов (за пределами установленной отметки), поэтому я особо не многому из него научился. После поиска по …

86 language-agnostic  lexer  compiler-construction