schnelle zufällige Zeilenauswahl in Postgres

Ich habe eine Tabelle in Postgres, die einige Millionen Zeilen enthält. Ich habe im Internet nachgesehen und Folgendes gefunden

SELECT myid FROM mytable ORDER BY RANDOM() LIMIT 1;

Es funktioniert, aber es ist sehr langsam ... gibt es eine andere Möglichkeit, diese Abfrage durchzuführen, oder eine direkte Möglichkeit, eine zufällige Zeile auszuwählen, ohne die gesamte Tabelle zu lesen? Übrigens ist 'myid' eine ganze Zahl, aber es kann ein leeres Feld sein.

Sie könnten mit experimentieren wollen OFFSET, wie in

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

Das Nist die Anzahl der Zeilen in mytable. Möglicherweise müssen Sie zuerst a SELECT COUNT(*)ausführen, um den Wert von herauszufinden N.

Update (von Antony Hatchkins)

Sie müssen floorhier verwenden:

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

Betrachten Sie eine Tabelle mit 2 Zeilen. random()*Ngeneriert 0 <= x < 2und gibt beispielsweise SELECT myid FROM mytable OFFSET 1.7 LIMIT 1;0 Zeilen zurück, da implizit auf das nächste int gerundet wird.

PostgreSQL 9.5 führte einen neuen Ansatz für eine viel schnellere Stichprobenauswahl ein: TABLESAMPLE

Die Syntax lautet

SELECT * FROM my_table TABLESAMPLE BERNOULLI(percentage);
SELECT * FROM my_table TABLESAMPLE SYSTEM(percentage);

Dies ist nicht die optimale Lösung, wenn nur eine Zeile ausgewählt werden soll, da Sie den COUNT der Tabelle kennen müssen, um den genauen Prozentsatz zu berechnen.

Um eine langsame Zählung zu vermeiden und schnelles TABLESAMPLE für Tabellen von 1 Zeile bis Milliarden von Zeilen zu verwenden, haben Sie folgende Möglichkeiten:

 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.000001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.00001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.0001) LIMIT 1;
 -- if you got no result:
 SELECT * FROM my_table TABLESAMPLE SYSTEM(0.001) LIMIT 1;
 ...

Dies sieht vielleicht nicht so elegant aus, ist aber wahrscheinlich schneller als jede andere Antwort.

Informationen zur Entscheidung, ob Sie BERNULLI oder SYSTEM verwenden möchten, finden Sie unter http://blog.2ndquadrant.com/tablesample-in-postgresql-9-5-2/.

Ich habe dies mit einer Unterabfrage versucht und es hat gut funktioniert. Offset funktioniert zumindest in Postgresql v8.4.4 einwandfrei.

select * from mytable offset random() * (select count(*) from mytable) limit 1 ;

Sie müssen verwenden floor:

SELECT myid FROM mytable OFFSET floor(random()*N) LIMIT 1;

Überprüfen Sie diesen Link für einige verschiedene Optionen. http://www.depesz.com/index.php/2007/09/16/my- Thoughts-on-getting-random-row/

Aktualisieren: (A. Hatchkins)

Die Zusammenfassung des (sehr) langen Artikels lautet wie folgt.

Der Autor listet vier Ansätze auf:

1) ORDER BY random() LIMIT 1; - langsam

2) ORDER BY id where id>=random()*N LIMIT 1- ungleichmäßig, wenn es Lücken gibt

3) zufällige Spalte - muss von Zeit zu Zeit aktualisiert werden

4) Benutzerdefinierte Zufallsaggregat - Listmethode, könnte langsam sein: random () muss N-mal generiert werden

und schlägt vor, Methode 2 durch Verwendung zu verbessern

5) ORDER BY id where id=random()*N LIMIT 1 mit nachfolgenden Anfragen, wenn das Ergebnis leer ist.

Ich habe eine sehr schnelle Lösung ohne gefunden TABLESAMPLE. Viel schneller als OFFSET random()*N LIMIT 1. Es erfordert nicht einmal die Anzahl der Tabellen.

Die Idee ist beispielsweise, einen Ausdrucksindex mit zufälligen, aber vorhersehbaren Daten zu erstellen md5(primary key).

Hier ist ein Test mit Beispieldaten für 1 Million Zeilen:

create table randtest (id serial primary key, data int not null);

insert into randtest (data) select (random()*1000000)::int from generate_series(1,1000000);

create index randtest_md5_id_idx on randtest (md5(id::text));

explain analyze
select * from randtest where md5(id::text)>md5(random()::text)
order by md5(id::text) limit 1;

Ergebnis:

 Limit  (cost=0.42..0.68 rows=1 width=8) (actual time=6.219..6.220 rows=1 loops=1)
   ->  Index Scan using randtest_md5_id_idx on randtest  (cost=0.42..84040.42 rows=333333 width=8) (actual time=6.217..6.217 rows=1 loops=1)
         Filter: (md5((id)::text) > md5((random())::text))
         Rows Removed by Filter: 1831
 Total runtime: 6.245 ms

Diese Abfrage kann manchmal (mit einer Wahrscheinlichkeit von ungefähr 1 / Anzahl_der_Zeilen) 0 Zeilen zurückgeben, daher muss sie überprüft und erneut ausgeführt werden. Auch die Wahrscheinlichkeiten sind nicht genau gleich - einige Zeilen sind wahrscheinlicher als andere.

Zum Vergleich:

explain analyze SELECT id FROM randtest OFFSET random()*1000000 LIMIT 1;

Die Ergebnisse variieren stark, können aber ziemlich schlecht sein:

 Limit  (cost=1442.50..1442.51 rows=1 width=4) (actual time=179.183..179.184 rows=1 loops=1)
   ->  Seq Scan on randtest  (cost=0.00..14425.00 rows=1000000 width=4) (actual time=0.016..134.835 rows=915702 loops=1)
 Total runtime: 179.211 ms
(3 rows)

Der einfachste und schnellste Weg, um zufällige Zeilen abzurufen, ist die Verwendung der tsm_system_rowsErweiterung:

CREATE EXTENSION IF NOT EXISTS tsm_system_rows;

Dann können Sie die genaue Anzahl der gewünschten Zeilen auswählen:

SELECT myid  FROM mytable TABLESAMPLE SYSTEM_ROWS(1);

Dies ist mit PostgreSQL 9.5 und höher verfügbar.

Siehe: https://www.postgresql.org/docs/current/static/tsm-system-rows.html