Analysieren Sie den E-Mail-Inhalt aus der angegebenen Antwort

Ich versuche herauszufinden, wie der Text einer E-Mail aus einem zitierten Antworttext heraus analysiert werden kann. Mir ist aufgefallen, dass E-Mail-Clients normalerweise ein "An so und so einem Datum so und so geschrieben" setzen oder den Zeilen eine spitze Klammer voranstellen. Leider macht das nicht jeder. Hat jemand eine Idee, wie man Antworttext programmgesteuert erkennt? Ich benutze C #, um diesen Parser zu schreiben.

Ich habe viel mehr danach gesucht und hier ist, was ich gefunden habe. Grundsätzlich gibt es zwei Situationen, in denen Sie dies tun: Wenn Sie den gesamten Thread haben und wenn Sie dies nicht tun. Ich werde es in diese beiden Kategorien aufteilen:

Wenn Sie den Thread haben:

Wenn Sie die gesamte Serie von E-Mails haben, können Sie ein sehr hohes Maß an Sicherheit erreichen, dass das, was Sie entfernen, tatsächlich zitierter Text ist. Es gibt zwei Möglichkeiten, dies zu tun. Zum einen können Sie die Nachrichten-ID, die In-Reply-To-ID und den Thread-Index der Nachricht verwenden, um die einzelne Nachricht, ihre übergeordnete Nachricht und den Thread zu bestimmen, zu dem sie gehört. Weitere Informationen hierzu finden Sie in RFC822 , RFC2822 , in diesem interessanten Artikel zum Threading oder in diesem Artikel zum Threading . Nachdem Sie den Thread neu zusammengestellt haben, können Sie den externen Text (z. B. An, Von, CC usw.) entfernen und fertig.

Wenn die Nachrichten, mit denen Sie arbeiten, keine Überschriften haben, können Sie mithilfe der Ähnlichkeitsübereinstimmung auch bestimmen, welche Teile einer E-Mail der Antworttext sind. In diesem Fall müssen Sie keine Ähnlichkeitsanpassung durchführen, um den Text zu bestimmen, der wiederholt wird. In diesem Fall möchten Sie möglicherweise einen Levenshtein-Entfernungsalgorithmus wie diesen in Code Project oder diesen untersuchen .

Egal was passiert, wenn Sie am Threading-Prozess interessiert sind, lesen Sie dieses großartige PDF zum Zusammensetzen von E-Mail-Threads .

Wenn Sie den Thread nicht haben:

Wenn Sie nur eine Nachricht aus dem Thread haben, müssen Sie versuchen, das Zitat zu erraten. In diesem Fall sind hier die verschiedenen Zitiermethoden, die ich gesehen habe:

1. eine Linie (wie im Ausblick zu sehen).
2. Winkelhalterungen
3. "---Originale Nachricht---"
4. "An so und so schrieb so und so:"

Entfernen Sie den Text von dort unten und Sie sind fertig. Der Nachteil bei all diesen ist, dass sie alle davon ausgehen, dass der Absender ihre Antwort über den zitierten Text gestellt und ihn nicht verschachtelt hat (wie es der alte Stil im Internet war). Wenn das passiert, viel Glück. Ich hoffe das hilft einigen von euch da draußen!

Zuallererst ist dies eine schwierige Aufgabe.

Sie sollten typische Antworten von verschiedenen E-Mail-Clients sammeln und korrekte reguläre Ausdrücke (oder was auch immer) vorbereiten, um sie zu analysieren. Ich habe Antworten von Outlook, Thunderbird, Google Mail, Apple Mail und mail.ru gesammelt.

Ich verwende reguläre Ausdrücke, um die Antwort auf folgende Weise zu analysieren: Wenn der Ausdruck nicht übereinstimmt, versuche ich, den nächsten zu verwenden.

new Regex("From:\\s*" + Regex.Escape(_mail), RegexOptions.IgnoreCase);
new Regex("<" + Regex.Escape(_mail) + ">", RegexOptions.IgnoreCase);
new Regex(Regex.Escape(_mail) + "\\s+wrote:", RegexOptions.IgnoreCase);
new Regex("\\n.*On.*(\\r\\n)?wrote:\\r\\n", RegexOptions.IgnoreCase | RegexOptions.Multiline);
new Regex("-+original\\s+message-+\\s*$", RegexOptions.IgnoreCase);
new Regex("from:\\s*$", RegexOptions.IgnoreCase);

So entfernen Sie das Zitat am Ende:

new Regex("^>.*$", RegexOptions.IgnoreCase | RegexOptions.Multiline);

Hier ist meine kleine Sammlung von Testantworten (Beispiele geteilt durch --- ):

From: test@test.com [mailto:test@test.com] 
Sent: Tuesday, January 13, 2009 1:27 PM
----
2008/12/26 <test@test.com>

>  text
----
test@test.com wrote:
> text
----
      test@test.com wrote:         text
text
----
2009/1/13 <test@test.com>

>  text
----
 test@test.com wrote:         text
 text
----
2009/1/13 <test@test.com>

> text
> text
----
2009/1/13 <test@test.com>

> text
> text
----
test@test.com wrote:
> text
> text
<response here>
----
--- On Fri, 23/1/09, test@test.com <test@test.com> wrote:

> text
> text

Viele Grüße, Oleg Yaroshevych

Danke, Goleg, für die Regexes! Wirklich geholfen. Dies ist kein C #, aber für die Googler da draußen ist hier mein Ruby-Parsing-Skript:

def extract_reply(text, address)
    regex_arr = [
      Regexp.new("From:\s*" + Regexp.escape(address), Regexp::IGNORECASE),
      Regexp.new("<" + Regexp.escape(address) + ">", Regexp::IGNORECASE),
      Regexp.new(Regexp.escape(address) + "\s+wrote:", Regexp::IGNORECASE),
      Regexp.new("^.*On.*(\n)?wrote:$", Regexp::IGNORECASE),
      Regexp.new("-+original\s+message-+\s*$", Regexp::IGNORECASE),
      Regexp.new("from:\s*$", Regexp::IGNORECASE)
    ]

    text_length = text.length
    #calculates the matching regex closest to top of page
    index = regex_arr.inject(text_length) do |min, regex|
        [(text.index(regex) || text_length), min].min
    end

    text[0, index].strip
end

Bisher hat es ziemlich gut funktioniert.

Der mit Abstand einfachste Weg, dies zu tun, besteht darin, einen Marker in Ihren Inhalten zu platzieren, z.

--- Bitte antworten Sie über dieser Zeile ---

Wie Sie zweifellos bemerkt haben, ist das Parsen von zitiertem Text keine triviale Aufgabe, da verschiedene E-Mail-Clients Text auf unterschiedliche Weise zitieren. Um dieses Problem richtig zu lösen, müssen Sie jeden E-Mail-Client berücksichtigen und testen.

Facebook kann dies, aber wenn Ihr Projekt nicht über ein großes Budget verfügt, können Sie dies wahrscheinlich nicht.

Oleg hat das Problem mithilfe von Regexes gelöst, um den Text "Am 13. Juli 2012, um 13:09 Uhr schrieb xxx:" zu finden. Wenn der Benutzer diesen Text jedoch löscht oder wie viele andere Personen am Ende der E-Mail antwortet, funktioniert diese Lösung nicht.

Wenn der E-Mail-Client eine andere Datumszeichenfolge verwendet oder keine Datumszeichenfolge enthält, schlägt der reguläre Ausdruck ebenfalls fehl.

Es gibt keinen universellen Indikator für eine Antwort in einer E-Mail. Das Beste, was Sie tun können, ist zu versuchen, die häufigsten zu finden und neue Muster zu analysieren, wenn Sie auf sie stoßen.

Denken Sie daran, dass einige Personen Antworten in den zitierten Text einfügen (mein Chef beantwortet beispielsweise Fragen in derselben Zeile, in der ich sie gestellt habe). Wenn Sie also etwas tun, verlieren Sie möglicherweise einige Informationen, die Sie gerne behalten hätten.

Hier ist meine C # -Version von @ hurshagrawals Ruby-Code. Ich kenne Ruby nicht wirklich gut, also könnte es aus sein, aber ich denke, ich habe es richtig gemacht.

public string ExtractReply(string text, string address)
{
    var regexes = new List<Regex>() { new Regex("From:\\s*" + Regex.Escape(address), RegexOptions.IgnoreCase),
                        new Regex("<" + Regex.Escape(address) + ">", RegexOptions.IgnoreCase),
                        new Regex(Regex.Escape(address) + "\\s+wrote:", RegexOptions.IgnoreCase),
                        new Regex("\\n.*On.*(\\r\\n)?wrote:\\r\\n", RegexOptions.IgnoreCase | RegexOptions.Multiline),
                        new Regex("-+original\\s+message-+\\s*$", RegexOptions.IgnoreCase),
                        new Regex("from:\\s*$", RegexOptions.IgnoreCase),
                        new Regex("^>.*$", RegexOptions.IgnoreCase | RegexOptions.Multiline)
                    };

    var index = text.Length;

    foreach(var regex in regexes){
        var match = regex.Match(text);

        if(match.Success && match.Index < index)
            index = match.Index;
    }

    return text.Substring(0, index).Trim();
}

Wenn Sie die ursprüngliche Nachricht steuern (z. B. Benachrichtigungen von einer Webanwendung), können Sie einen eindeutigen, identifizierbaren Header einrichten und diesen als Trennzeichen für den ursprünglichen Beitrag verwenden.

Dies ist eine gute Lösung. Fand es nach so langer Suche.

Ein Zusatz, wie oben erwähnt, ist fallweise, so dass die obigen Ausdrücke meine Antworten auf Google Mail und Outlook (2010) nicht korrekt analysiert haben, für die ich die folgenden zwei Regex (s) hinzugefügt habe. Lassen Sie mich für alle Probleme wissen.

//Works for Gmail
new Regex("\\n.*On.*<(\\r\\n)?" + Regex.Escape(address) + "(\\r\\n)?>", RegexOptions.IgnoreCase),
//Works for Outlook 2010
new Regex("From:.*" + Regex.Escape(address), RegexOptions.IgnoreCase),

Prost

Es ist ein alter Beitrag, jedoch nicht sicher, ob Sie wissen, dass Github eine Ruby- Bibliothek hat, die die Antwort extrahiert. Wenn Sie .NET verwenden, habe ich ein .NET unter https://github.com/EricJWHuang/EmailReplyParser

Wenn Sie die API von SigParser.com verwenden , erhalten Sie eine Reihe aller ausgebrochenen E-Mails in einer Antwortkette aus einer einzelnen E-Mail-Textzeichenfolge. Wenn es also 10 E-Mails gibt, erhalten Sie den Text für alle 10 E-Mails.

Die detaillierte API-Spezifikation können Sie hier anzeigen.

https://api.sigparser.com/