Wie emuliere ich "Insert Ignorieren" und "On Duplicate Key Update" (SQL Merge) mit postgresql?

Einige SQL Server verfügen über eine Funktion, die INSERTübersprungen wird, wenn sie eine Primär- / eindeutige Schlüsselbeschränkung verletzt. Zum Beispiel hat MySQL INSERT IGNORE.

Was ist der beste Weg, um INSERT IGNOREund ON DUPLICATE KEY UPDATEmit PostgreSQL zu emulieren ?

Versuchen Sie ein UPDATE durchzuführen. Wenn keine Zeile geändert wird, die bedeutet, dass sie nicht vorhanden ist, fügen Sie sie ein. Offensichtlich tun Sie dies innerhalb einer Transaktion.

Sie können dies natürlich in eine Funktion einbinden, wenn Sie den zusätzlichen Code nicht auf der Clientseite platzieren möchten. Sie brauchen auch eine Schleife für die sehr seltene Rennbedingung in diesem Denken.

Ein Beispiel hierfür finden Sie in der Dokumentation: http://www.postgresql.org/docs/9.3/static/plpgsql-control-structures.html , Beispiel 40-2 ganz unten.

Das ist normalerweise der einfachste Weg. Sie können mit Regeln etwas zaubern, aber es wird wahrscheinlich viel chaotischer. Ich würde den Wrap-in-Function-Ansatz jeden Tag empfehlen.

Dies funktioniert für einzelne oder wenige Zeilenwerte. Wenn Sie beispielsweise mit einer großen Anzahl von Zeilen aus einer Unterabfrage arbeiten, teilen Sie diese am besten in zwei Abfragen auf, eine für INSERT und eine für UPDATE (natürlich als geeignete Verknüpfung / Unterauswahl - Sie müssen Ihre Hauptabfrage nicht schreiben zweimal filtern)

Mit PostgreSQL 9.5 ist dies nun eine native Funktionalität (wie sie MySQL seit mehreren Jahren hat):

INSERT ... ON CONFLICT NICHTS / AKTUALISIEREN ("UPSERT")

9.5 bietet Unterstützung für "UPSERT" -Operationen. INSERT wird erweitert, um eine ON CONFLICT DO UPDATE / IGNORE-Klausel zu akzeptieren. Diese Klausel gibt eine alternative Maßnahme an, die im Falle eines möglichen doppelten Verstoßes zu ergreifen ist.

...

Ein weiteres Beispiel für eine neue Syntax:

INSERT INTO user_logins (username, logins)
VALUES ('Naomi',1),('James',1) 
ON CONFLICT (username)
DO UPDATE SET logins = user_logins.logins + EXCLUDED.logins;

Bearbeiten: Falls Sie die Antwort von Warren verpasst haben , hat PG9.5 diese nun nativ; Zeit für ein Upgrade!

Aufbauend auf der Antwort von Bill Karwin, um darzulegen, wie ein regelbasierter Ansatz aussehen würde (Übertragung von einem anderen Schema in derselben Datenbank und mit einem mehrspaltigen Primärschlüssel):

CREATE RULE "my_table_on_duplicate_ignore" AS ON INSERT TO "my_table"
  WHERE EXISTS(SELECT 1 FROM my_table 
                WHERE (pk_col_1, pk_col_2)=(NEW.pk_col_1, NEW.pk_col_2))
  DO INSTEAD NOTHING;
INSERT INTO my_table SELECT * FROM another_schema.my_table WHERE some_cond;
DROP RULE "my_table_on_duplicate_ignore" ON "my_table";

Hinweis: Die Regel gilt für alle INSERTVorgänge, bis die Regel gelöscht wird, also nicht ganz ad hoc.

Für diejenigen unter Ihnen, die Postgres 9.5 oder höher haben, sollte die neue Syntax ON CONFLICT DO NOTHING funktionieren:

INSERT INTO target_table (field_one, field_two, field_three ) 
SELECT field_one, field_two, field_three
FROM source_table
ON CONFLICT (field_one) DO NOTHING;

Für diejenigen von uns, die eine frühere Version haben, funktioniert dieser richtige Join stattdessen:

INSERT INTO target_table (field_one, field_two, field_three )
SELECT source_table.field_one, source_table.field_two, source_table.field_three
FROM source_table 
LEFT JOIN target_table ON source_table.field_one = target_table.field_one
WHERE target_table.field_one IS NULL;

Um die Logik zum Ignorieren des Einfügens zu erhalten, können Sie wie folgt vorgehen . Ich fand, dass das Einfügen aus einer select-Anweisung von Literalwerten am besten funktioniert. Dann können Sie die doppelten Schlüssel mit einer NOT EXISTS-Klausel ausblenden. Um das Update auf doppelte Logik zu bekommen, vermute ich, dass eine pl / pgsql-Schleife notwendig wäre.

INSERT INTO manager.vin_manufacturer
(SELECT * FROM( VALUES
  ('935',' Citroën Brazil','Citroën'),
  ('ABC', 'Toyota', 'Toyota'),
  ('ZOM',' OM','OM')
  ) as tmp (vin_manufacturer_id, manufacturer_desc, make_desc)
  WHERE NOT EXISTS (
    --ignore anything that has already been inserted
    SELECT 1 FROM manager.vin_manufacturer m where m.vin_manufacturer_id = tmp.vin_manufacturer_id)
)

INSERT INTO mytable(col1,col2) 
    SELECT 'val1','val2' 
    WHERE NOT EXISTS (SELECT 1 FROM mytable WHERE col1='val1')

Es sieht so aus, als ob PostgreSQL ein Schemaobjekt unterstützt, das als Regel bezeichnet wird .

http://www.postgresql.org/docs/current/static/rules-update.html

Sie könnten eine Regel erstellen , ON INSERTfür eine bestimmte Tabelle, es tut zu machen , NOTHINGwenn eine Zeile mit dem angegebenen Primärschlüsselwert vorhanden ist , sonst macht es noch ein UPDATEstatt der , INSERTwenn eine Zeile mit dem Primärschlüsselwert gegeben existiert.

Ich habe es selbst nicht versucht, daher kann ich nicht aus Erfahrung sprechen oder ein Beispiel anbieten.

Wie @hanmari in seinem Kommentar erwähnt. Beim Einfügen in eine Postgres-Tabelle ist der On-Konflikt (..) nichts zu tun der beste Code, um keine doppelten Daten einzufügen:

query = "INSERT INTO db_table_name(column_name)
         VALUES(%s) ON CONFLICT (column_name) DO NOTHING;"

Mit der Codezeile ON CONFLICT kann die insert-Anweisung weiterhin Datenzeilen einfügen. Der Abfrage- und Wertecode ist ein Beispiel für das Einfügen eines Datums aus einem Excel in eine Postgres-DB-Tabelle. Ich habe einer Postgres-Tabelle, die ich verwende, Einschränkungen hinzugefügt, um sicherzustellen, dass das ID-Feld eindeutig ist. Anstatt einen Löschvorgang für dieselben Datenzeilen auszuführen, füge ich eine Zeile SQL-Code hinzu, die die ID-Spalte ab 1 neu nummeriert. Beispiel:

q = 'ALTER id_column serial RESTART WITH 1'

Wenn meine Daten ein ID-Feld haben, verwende ich dieses nicht als primäre ID / serielle ID. Ich erstelle eine ID-Spalte und setze sie auf seriell. Ich hoffe, diese Informationen sind für alle hilfreich. * Ich habe keinen Hochschulabschluss in Softwareentwicklung / -codierung. Alles, was ich im Codieren weiß, lerne ich selbst.

Diese Lösung vermeidet die Verwendung von Regeln:

BEGIN
   INSERT INTO tableA (unique_column,c2,c3) VALUES (1,2,3);
EXCEPTION 
   WHEN unique_violation THEN
     UPDATE tableA SET c2 = 2, c3 = 3 WHERE unique_column = 1;
END;

Es hat jedoch einen Leistungsnachteil (siehe PostgreSQL.org ):

Ein Block mit einer EXCEPTION-Klausel ist beim Ein- und Aussteigen erheblich teurer als ein Block ohne. Verwenden Sie daher EXCEPTION nicht ohne Notwendigkeit.

In großen Mengen können Sie die Zeile immer vor dem Einfügen löschen. Das Löschen einer nicht vorhandenen Zeile verursacht keinen Fehler und wird daher sicher übersprungen.

Für Datenimport-Skripte gibt es eine etwas umständliche Formulierung, die dennoch funktioniert, um "WENN NICHT EXISTIERT" zu ersetzen:

DO
$do$
BEGIN
PERFORM id
FROM whatever_table;

IF NOT FOUND THEN
-- INSERT stuff
END IF;
END
$do$;