Wie kann ich eine Wortliste zusammenführen (Duplikate entfernen)?

Ich bearbeite eine lange Liste eindeutiger Wörter (ein Wort pro Zeile) in einer Textdatei.

Ich habe Notepad ++ und TextFXTools verwendet, um eine Liste von Wörtern zusammenzuführen, und habe OK gearbeitet. Ich würde neue Wörter am Ende der Liste hinzufügen und FXTools verwenden, um Duplikate zu entfernen. Es funktionierte, bis die Liste groß wurde, ein paar Millionen Wörter. Notepad ++ stürzt häufig mit so großen Listen ab.

Ich brauche eine Möglichkeit, einer großen Liste eine neue Wortliste hinzuzufügen, Duplikate zu löschen und nur eindeutige Wörter beizubehalten. Wie kann ich das erreichen?

Sie können dieses Tool in einem HTML5-Browser verwenden: http://textmechanic.com/Big-File-Tool-Remove-Duplicate-Lines.html

1. Öffnen Sie Excel und wechseln Sie zu A1 Cell. Geben Sie eine Überschrift ein
2. Fügen Sie Ihre Datensätze in A2, A3, A4 ..... Zelle ein
3. Wählen Sie A1 Cell und gehen Sie zu Data-> Advance-> Click, OKwenn eine Eingabeaufforderung angezeigt wird
4. Klicken Unique Data Onlyund klickenOK
5. Jetzt sollte die Liste keine doppelten Daten enthalten