Hier gibt es also viele Antworten, die aus Statistik- / Wahrscheinlichkeitslehrbüchern, Wikipedia usw. stammen. Ich glaube, wir haben "Laien", in denen ich arbeite. Ich denke, sie sind in der Marketingabteilung. Wenn ich ihnen irgendetwas Technisches erklären muss, wende ich die Regel "show don't tell" an. Mit dieser Regel würde ich ihnen wahrscheinlich so etwas zeigen.
Die Idee hier ist, zu versuchen, einen Algorithmus zu codieren, den ich lernen kann, zu buchstabieren - nicht indem ich alle Hunderte (Tausende?) Von Regeln lerne. Wenn Sie einem Wort, das mit einem stillen e endet, ein Ende hinzufügen, lassen Sie das letzte e fallen wenn das Ende mit einem Vokal beginnt . Ein Grund, der nicht funktioniert, ist, dass ich diese Regeln nicht kenne (ich bin mir nicht einmal sicher, ob die, die ich gerade rezitiert habe, richtig ist). Stattdessen werde ich das Buchstabieren lehren, indem ich ihm eine Reihe von richtig geschriebenen Wörtern zeige und es die Regeln aus diesen Wörtern extrahieren lasse, was mehr oder weniger die Essenz des maschinellen Lernens ist, unabhängig vom Algorithmus - Musterextraktion und Mustererkennung .
Das Erfolgskriterium ist die korrekte Schreibweise eines Wortes, das der Algorithmus noch nie gesehen hat (mir ist klar, dass dies rein zufällig passieren kann, aber den Marketing-Leuten fällt das nicht ein, also werde ich es ignorieren - und ich werde den Algorithmus haben Versuchen Sie, nicht nur ein Wort zu buchstabieren, sondern eine Menge. Es ist also unwahrscheinlich, dass wir durch ein paar glückliche Vermutungen getäuscht werden.
Vor ungefähr einer Stunde habe ich (als reine Textdatei) den Herman-Hesse-Roman Siddhartha von der exzellenten Project Gutenberg-Site heruntergeladen . Ich werde die Wörter in diesem Roman verwenden, um dem Algorithmus das Buchstabieren beizubringen.
Also habe ich den Algorithmus unten codiert, mit dem dieser Roman drei Buchstaben gleichzeitig gescannt wurde (jedes Wort hat ein zusätzliches Zeichen am Ende, das "Leerzeichen" oder das Ende des Wortes). Drei-Buchstaben-Sequenzen können Ihnen viel sagen - zum Beispiel folgt auf den Buchstaben 'q' fast immer 'u'; Die Sequenz 'ty' tritt normalerweise am Ende eines Wortes auf. z selten und so weiter. (Anmerkung: Ich hätte es genauso gut mit ganzen Wörtern füttern können, um es so zu trainieren, dass es in vollständigen Sätzen spricht - genau die gleiche Idee, nur ein paar Änderungen am Code.)
Nichts davon ist jedoch mit MCMC verbunden, was nach dem Training passiert, wenn wir dem Algorithmus ein paar zufällige Buchstaben (als Startwert) geben und er beginnt, "Wörter" zu bilden. Wie baut der Algorithmus Wörter auf? Stellen Sie sich vor, es hat den Block 'qua'; Welchen Buchstaben fügt es als nächstes hinzu? Während des Trainings konstruierte der Algorithmus aus all den Tausenden von Wörtern des Romans eine massive l * etter-sequence-Frequenzmatrix *. Irgendwo in dieser Matrix befinden sich der aus drei Buchstaben bestehende Block "qua" und die Häufigkeiten für die Zeichen, die der Sequenz folgen könnten. Der Algorithmus wählt einen Buchstaben basierend auf den Frequenzen aus, die ihm möglicherweise folgen könnten. Der Buchstabe, den der Algorithmus als Nächstes auswählt, hängt also von den letzten drei Buchstaben in seiner Wortkonstruktionswarteschlange ab.
Das ist also ein Markov-Chain-Monte-Carlo-Algorithmus.
Ich denke, der beste Weg, um zu veranschaulichen, wie es funktioniert, besteht darin, die Ergebnisse basierend auf verschiedenen Trainingsstufen zu zeigen. Das Trainingsniveau wird variiert, indem die Anzahl der Durchgänge geändert wird, die der Algorithmus während des Romans durchführt. Je mehr Durchgänge durchläuft, desto genauer sind die Buchstabenfolgen-Frequenzmatrizen. Nachfolgend sind die Ergebnisse - in Form von 100 Zeichenketten, die vom Algorithmus ausgegeben werden - nach dem Training des Romans 'Siddharta' aufgeführt.
Ein einziger Durchgang durch den Roman, Siddhartha :
Dann werickst du alle Motten ab, wenn du lebhaft bist und schlammige Haut hast, aus Angst vor seinem Sible
(Sofort hat man gelernt, fast perfekt Walisisch zu sprechen; das hatte ich nicht erwartet.)
Nach zwei Durchgängen durch den Roman:
Die ack wor prenskinith Show war ein zweifacher Anblick. Das Land, in dem Rhatingle herrschte, war das Ov dort
Nach 10 Durchgängen:
trotz aber die sollten jetzt mit ack beten haben wasser ihre hundeschmerz hebel füße nicht die schwache erinnerung
Und hier ist der Code (in Python bin ich mir fast sicher, dass dies in R mit einem MCMC-Paket, von dem es mehrere gibt, in nur 3-4 Zeilen möglich ist)
def create_words_string(raw_string) :
""" in case I wanted to use training data in sentence/paragraph form;
this function will parse a raw text string into a nice list of words;
filtering: keep only words having more than 3 letters and remove
punctuation, etc.
"""
pattern = r'\b[A-Za-z]{3,}\b'
pat_obj = re.compile(pattern)
words = [ word.lower() for word in pat_obj.findall(raw_string) ]
pattern = r'\b[vixlm]+\b'
pat_obj = re.compile(pattern)
return " ".join([ word for word in words if not pat_obj.search(word) ])
def create_markov_dict(words_string):
# initialize variables
wb1, wb2, wb3 = " ", " ", " "
l1, l2, l3 = wb1, wb2, wb3
dx = {}
for ch in words_string :
dx.setdefault( (l1, l2, l3), [] ).append(ch)
l1, l2, l3 = l2, l3, ch
return dx
def generate_newtext(markov_dict) :
simulated_text = ""
l1, l2, l3 = " ", " ", " "
for c in range(100) :
next_letter = sample( markov_dict[(l1, l2, l3)], 1)[0]
simulated_text += next_letter
l1, l2, l3 = l2, l3, next_letter
return simulated_text
if __name__=="__main__" :
# n = number of passes through the training text
n = 1
q1 = create_words_string(n * raw_str)
q2 = create_markov_dict(q1)
q3 = generate_newtext(q2)
print(q3)
