Löschen Sie doppelte Datensätze in PostgreSQL

Ich habe eine Tabelle in einer PostgreSQL 8.3.8-Datenbank, die keine Schlüssel / Einschränkungen enthält und mehrere Zeilen mit genau denselben Werten enthält.

Ich möchte alle Duplikate entfernen und nur 1 Kopie jeder Zeile behalten.

Es gibt insbesondere eine Spalte (mit dem Namen "Schlüssel"), die zur Identifizierung von Duplikaten verwendet werden kann (dh es sollte nur ein Eintrag für jeden einzelnen "Schlüssel" vorhanden sein).

Wie kann ich das machen? (idealerweise mit einem einzelnen SQL-Befehl) Geschwindigkeit ist in diesem Fall kein Problem (es gibt nur wenige Zeilen).

DELETE FROM dupes a
WHERE a.ctid <> (SELECT min(b.ctid)
                 FROM   dupes b
                 WHERE  a.key = b.key);

Eine schnellere Lösung ist

DELETE FROM dups a USING (
      SELECT MIN(ctid) as ctid, key
        FROM dups 
        GROUP BY key HAVING COUNT(*) > 1
      ) b
      WHERE a.key = b.key 
      AND a.ctid <> b.ctid

Das ist schnell und prägnant:

DELETE FROM dupes T1
    USING   dupes T2
WHERE   T1.ctid < T2.ctid  -- delete the older versions
    AND T1.key  = T2.key;  -- add more columns if needed

Siehe auch meine Antwort unter So löschen Sie doppelte Zeilen ohne eindeutige Kennung, die weitere Informationen enthält.

Ich habe es versucht:

DELETE FROM tablename
WHERE id IN (SELECT id
              FROM (SELECT id,
                             ROW_NUMBER() OVER (partition BY column1, column2, column3 ORDER BY id) AS rnum
                     FROM tablename) t
              WHERE t.rnum > 1);

bereitgestellt von Postgres Wiki:

https://wiki.postgresql.org/wiki/Deleting_duplicates

Ich musste meine eigene Version erstellen. Die von @a_horse_with_no_name geschriebene Version ist in meiner Tabelle viel zu langsam (21 Millionen Zeilen). Und @rapimo löscht einfach keine Dups.

Folgendes verwende ich unter PostgreSQL 9.5

DELETE FROM your_table
WHERE ctid IN (
  SELECT unnest(array_remove(all_ctids, actid))
  FROM (
         SELECT
           min(b.ctid)     AS actid,
           array_agg(ctid) AS all_ctids
         FROM your_table b
         GROUP BY key1, key2, key3, key4
         HAVING count(*) > 1) c);

Ich würde eine temporäre Tabelle verwenden:

create table tab_temp as
select distinct f1, f2, f3, fn
  from tab;

Dann löschen tabund umbenennen tab_tempin tab.

Ein anderer Ansatz (funktioniert nur, wenn Sie ein eindeutiges Feld wie idin Ihrer Tabelle haben) besteht darin, alle eindeutigen IDs nach Spalten zu suchen und andere IDs zu entfernen, die nicht in der eindeutigen Liste enthalten sind

DELETE
FROM users
WHERE users.id NOT IN (SELECT DISTINCT ON (username, email) id FROM users);

Wie wäre es mit:

MIT
  u AS (SELECT DISTINCT * FROM your_table),
  x AS (DELETE FROM your_table)
INSERT INTO your_table SELECT * FROM u;

Ich war besorgt über die Ausführungsreihenfolge, würde das LÖSCHEN vor dem SELECT DISTINCT erfolgen, aber es funktioniert gut für mich. Und hat den zusätzlichen Vorteil, dass Sie keine Kenntnisse über die Tabellenstruktur benötigen.

Das hat bei mir gut funktioniert. Ich hatte eine Tabelle, Begriffe, die doppelte Werte enthielten. Es wurde eine Abfrage ausgeführt, um eine temporäre Tabelle mit allen doppelten Zeilen zu füllen. Dann habe ich die Anweisung a delete mit diesen IDs in der temporären Tabelle ausgeführt. value ist die Spalte, die die Duplikate enthielt.

        CREATE TEMP TABLE dupids AS
        select id from (
                    select value, id, row_number() 
over (partition by value order by value) 
    as rownum from terms
                  ) tmp
                  where rownum >= 2;

delete from [table] where id in (select id from dupids)

Hier ist eine Lösung mit PARTITION BY:

DELETE FROM dups
USING (
  SELECT
    ctid,
    (ctid != min(ctid) OVER (PARTITION BY key_column1, key_column2 [...])) AS is_duplicate
  FROM dups 
) dups_find_duplicates
WHERE dups.ctid == dups_find_duplicates.ctid
AND dups_find_duplicates.is_duplicate