Softwareentwicklung lexer

4

Wann sollte ein Parser-Kombinator verwendet werden? Wann benutzt man einen Parser Generator?

Ich habe mich in letzter Zeit intensiv mit der Welt der Parser befasst und wollte meine eigene Programmiersprache erstellen. Ich fand jedoch heraus, dass es zwei unterschiedliche Ansätze zum Schreiben von Parsern gibt: Parser-Generatoren und Parser-Kombinatoren. Interessanterweise konnte ich keine Ressource finden, die erklärt, in welchen Fällen welcher Ansatz besser …

59 parsing lexer parser-combinator

6

Warum sollte ein Lexer als 2D-Array und als Riesen-Switch implementiert werden?

Ich arbeite langsam daran, mein Studium zu beenden, und dieses Semester ist Compilers 101. Wir verwenden das Drachenbuch . Kurz in den Kurs und wir sprechen über die lexikalische Analyse und wie sie über deterministische endliche Automaten (im Folgenden DFA) implementiert werden kann. Richten Sie Ihre verschiedenen Lexer-Zustände ein, definieren …

24 compiler lexer pragmatism

3

Was sollte der Datentyp der Token sein, die ein Lexer an seinen Parser zurückgibt?

Welchen Datentyp soll ein Lexer, wie im Titel erwähnt, zurückgeben / dem Parser geben? Beim Lesen des Artikels zur lexikalischen Analyse , den Wikipedia verfasst hat, wurde Folgendes festgestellt: In der Informatik ist die lexikalische Analyse das Umwandeln einer Folge von Zeichen (wie in einem Computerprogramm oder einer Webseite) in …

21 data-types lexer flex

5

Sind separate Parsing- und Lexing-Pässe eine gute Übung für Parser-Kombinatoren?

Als ich anfing, Parser-Kombinatoren zu verwenden, war meine erste Reaktion ein Gefühl der Befreiung von einer künstlichen Unterscheidung zwischen Parsing und Lexing. Plötzlich wurde alles nur noch analysiert! Vor kurzem bin ich jedoch auf dieses Posting auf codereview.stackexchange gestoßen, das jemanden veranschaulicht, der diese Unterscheidung wieder herstellt. Zuerst dachte ich, …

18 parsing lexer parser-combinator

4

Schreiben eines Lexers in C ++

Was sind gute Ressourcen zum Schreiben eines Lexikons in C ++ (Bücher, Tutorials, Dokumente), was sind einige gute Techniken und Vorgehensweisen? Ich habe im Internet gesucht und jeder sagt, dass er einen Lexer-Generator wie Lex benutzen soll. Das will ich nicht, ich will ein Lexer von Hand schreiben.

18 c++ compiler lexer

5

Token für einen Lexer finden

Ich schreibe einen Parser für eine von mir erstellte Auszeichnungssprache (in Python schreiben, aber das ist für diese Frage nicht wirklich relevant - in der Tat, wenn dies wie eine schlechte Idee erscheint, würde ich einen Vorschlag für einen besseren Pfad lieben). . Ich lese hier über Parser: http://www.ferg.org/parsing/index.html , …

14 python parsing lexer

1

Wie wird vorgegangen, wenn ein Lexer auf der Grundlage einer Grammatik geschrieben wird?

Während der Beantwortung der Frage Erläuterung zu Grammatiken, Lexika und Parsern lautete die Antwort: [...] Eine BNF-Grammatik enthält alle Regeln, die Sie für die lexikalische Analyse und Analyse benötigen. Das kam mir etwas seltsam vor, weil ich bis jetzt immer gedacht hatte, dass ein Lexer überhaupt nicht auf einer Grammatik …

12 design design-patterns development-process grammar lexer

5

Lexikalische Analyse ohne reguläre Ausdrücke

Ich habe mir einige Lexer in verschiedenen höheren Sprachen angesehen ( Python , PHP , Javascript ua) und alle scheinen reguläre Ausdrücke in der einen oder anderen Form zu verwenden. Obwohl ich sicher bin, dass Regex wahrscheinlich der beste Weg ist, dies zu tun, habe ich mich gefragt, ob es …

9 theory regular-expressions lexer

3

Erläuterungen zu Grammatiken, Lexern und Parsern

Hintergrundinfo ( Mai überspringen ): Ich arbeite an einer Aufgabe, die wir an der Uni gestellt haben und in der wir eine Grammatik für eine DSL entwerfen müssen, die uns zur Verfügung gestellt wurde. Die Grammatik muss in BNF oder EBNF sein. Neben anderen Dingen werden wir anhand der lexikalischen …

8 language-design parsing grammar lexer

Als «lexer» getaggte Fragen