Wählen Sie n zufällige Zeilen aus der SQL Server-Tabelle aus

Ich habe eine SQL Server-Tabelle mit ungefähr 50.000 Zeilen. Ich möchte ungefähr 5.000 dieser Zeilen zufällig auswählen. Ich habe mir einen komplizierten Weg überlegt, eine temporäre Tabelle mit einer Spalte "Zufallszahl" zu erstellen, meine Tabelle in diese zu kopieren, die temporäre Tabelle zu durchlaufen und jede Zeile mit zu aktualisieren RAND()und dann aus dieser Tabelle die Zufallszahlenspalte <auszuwählen 0,1. Ich suche nach einem einfacheren Weg, wenn möglich in einer einzigen Aussage.

In diesem Artikel wird die Verwendung der NEWID()Funktion vorgeschlagen. Das sieht vielversprechend aus, aber ich kann nicht sehen, wie ich einen bestimmten Prozentsatz von Zeilen zuverlässig auswählen kann.

Hat das schon mal jemand gemacht? Irgendwelche Ideen?

select top 10 percent * from [yourtable] order by newid()

Als Antwort auf den Kommentar "Pure Trash" zu großen Tabellen: Sie können dies so tun, um die Leistung zu verbessern.

select  * from [yourtable] where [yourPk] in 
(select top 10 percent [yourPk] from [yourtable] order by newid())

Die Kosten hierfür sind der Schlüssel-Scan der Werte zuzüglich der Verbindungskosten, die für eine große Tabelle mit einer kleinen prozentualen Auswahl angemessen sein sollten.

Je nach Ihren Anforderungen TABLESAMPLEerhalten Sie eine nahezu ebenso zufällige und bessere Leistung. Dies ist auf MS SQL Server 2005 und höher verfügbar.

TABLESAMPLE gibt Daten von zufälligen Seiten anstelle von zufälligen Zeilen zurück und daher ruft deos nicht einmal Daten ab, die nicht zurückgegeben werden.

Auf einem sehr großen Tisch habe ich getestet

select top 1 percent * from [tablename] order by newid()

dauerte mehr als 20 Minuten.

select * from [tablename] tablesample(1 percent)

dauerte 2 Minuten.

Die Leistung wird sich auch bei kleineren Samples verbessern, TABLESAMPLEwährend dies bei nicht der Fall ist newid().

Bitte denken Sie daran, dass dies nicht so zufällig ist wie die newid()Methode, aber Sie eine anständige Stichprobe erhalten.

Siehe die MSDN-Seite .

newid () / order by funktioniert, ist jedoch für große Ergebnismengen sehr teuer, da für jede Zeile eine ID generiert und anschließend sortiert werden muss.

TABLESAMPLE () ist vom Standpunkt der Leistung aus gut, aber Sie erhalten eine Zusammenfassung der Ergebnisse (alle Zeilen auf einer Seite werden zurückgegeben).

Für eine bessere Zufallsstichprobe mit besserer Leistung ist es am besten, Zeilen zufällig herauszufiltern. Ich habe das folgende Codebeispiel im SQL Server Books Online-Artikel Einschränken von Ergebnismengen mithilfe von TABLESAMPLE gefunden :

Wenn Sie wirklich eine zufällige Stichprobe einzelner Zeilen wünschen, ändern Sie Ihre Abfrage so, dass Zeilen zufällig herausgefiltert werden, anstatt TABLESAMPLE zu verwenden. In der folgenden Abfrage wird beispielsweise die NEWID-Funktion verwendet, um ungefähr ein Prozent der Zeilen der Sales.SalesOrderDetail-Tabelle zurückzugeben:

SELECT * FROM Sales.SalesOrderDetail
WHERE 0.01 >= CAST(CHECKSUM(NEWID(),SalesOrderID) & 0x7fffffff AS float)
              / CAST (0x7fffffff AS int)

Die SalesOrderID-Spalte ist im CHECKSUM-Ausdruck enthalten, sodass NEWID () einmal pro Zeile ausgewertet wird, um eine Stichprobenauswahl pro Zeile zu erzielen. Der Ausdruck CAST (CHECKSUM (NEWID (), SalesOrderID) & 0x7fffffff AS float / CAST (0x7fffffff AS int) ergibt einen zufälligen Float-Wert zwischen 0 und 1.

Wenn ich gegen eine Tabelle mit 1.000.000 Zeilen laufe, sind hier meine Ergebnisse:

SET STATISTICS TIME ON
SET STATISTICS IO ON

/* newid()
   rows returned: 10000
   logical reads: 3359
   CPU time: 3312 ms
   elapsed time = 3359 ms
*/
SELECT TOP 1 PERCENT Number
FROM Numbers
ORDER BY newid()

/* TABLESAMPLE
   rows returned: 9269 (varies)
   logical reads: 32
   CPU time: 0 ms
   elapsed time: 5 ms
*/
SELECT Number
FROM Numbers
TABLESAMPLE (1 PERCENT)

/* Filter
   rows returned: 9994 (varies)
   logical reads: 3359
   CPU time: 641 ms
   elapsed time: 627 ms
*/    
SELECT Number
FROM Numbers
WHERE 0.01 >= CAST(CHECKSUM(NEWID(), Number) & 0x7fffffff AS float) 
              / CAST (0x7fffffff AS int)

SET STATISTICS IO OFF
SET STATISTICS TIME OFF

Wenn Sie mit TABLESAMPLE durchkommen, erhalten Sie die beste Leistung. Verwenden Sie andernfalls die Methode newid () / filter. newid () / order by sollte der letzte Ausweg sein, wenn Sie eine große Ergebnismenge haben.

Das zufällige Auswählen von Zeilen aus einer großen Tabelle in MSDN bietet eine einfache, gut artikulierte Lösung, die die großen Leistungsprobleme berücksichtigt.

  SELECT * FROM Table1
  WHERE (ABS(CAST(
  (BINARY_CHECKSUM(*) *
  RAND()) as int)) % 100) < 10

Dieser Link bietet einen interessanten Vergleich zwischen Orderby (NEWID ()) und anderen Methoden für Tabellen mit 1, 7 und 13 Millionen Zeilen.

Wenn in Diskussionsgruppen Fragen zur Auswahl zufälliger Zeilen gestellt werden, wird häufig die NEWID-Abfrage vorgeschlagen. Es ist einfach und funktioniert sehr gut für kleine Tische.

SELECT TOP 10 PERCENT *
  FROM Table1
  ORDER BY NEWID()

Die NEWID-Abfrage hat jedoch einen großen Nachteil, wenn Sie sie für große Tabellen verwenden. Die ORDER BY-Klausel bewirkt, dass alle Zeilen in der Tabelle in die Tempdb-Datenbank kopiert werden, wo sie sortiert werden. Dies verursacht zwei Probleme:

1. Der Sortiervorgang ist normalerweise mit hohen Kosten verbunden. Das Sortieren kann viele Festplatten-E / A verwenden und lange ausgeführt werden.
2. Im schlimmsten Fall kann tempdb nicht mehr genügend Speicherplatz haben. Im besten Fall kann tempdb eine große Menge an Speicherplatz beanspruchen, der ohne einen manuellen Verkleinerungsbefehl niemals zurückgefordert wird.

Was Sie brauchen, ist eine Möglichkeit, Zeilen zufällig auszuwählen, die kein Tempdb verwenden und nicht viel langsamer werden, wenn die Tabelle größer wird. Hier ist eine neue Idee, wie das geht:

SELECT * FROM Table1
  WHERE (ABS(CAST(
  (BINARY_CHECKSUM(*) *
  RAND()) as int)) % 100) < 10

Die Grundidee hinter dieser Abfrage ist, dass wir für jede Zeile in der Tabelle eine Zufallszahl zwischen 0 und 99 generieren und dann alle Zeilen auswählen möchten, deren Zufallszahl kleiner als der Wert des angegebenen Prozentsatzes ist. In diesem Beispiel möchten wir, dass ungefähr 10 Prozent der Zeilen zufällig ausgewählt werden. Daher wählen wir alle Zeilen aus, deren Zufallszahl kleiner als 10 ist.

Bitte lesen Sie den vollständigen Artikel in MSDN .

Wenn Sie (im Gegensatz zum OP) eine bestimmte Anzahl von Datensätzen benötigen (was den CHECKSUM-Ansatz schwierig macht) und eine zufälligere Stichprobe wünschen, als TABLESAMPLE selbst bietet, und auch eine bessere Geschwindigkeit als CHECKSUM wünschen, können Sie mit einer Fusion des Datensatzes auskommen TABLESAMPLE- und NEWID () -Methoden wie folgt:

DECLARE @sampleCount int = 50
SET STATISTICS TIME ON

SELECT TOP (@sampleCount) * 
FROM [yourtable] TABLESAMPLE(10 PERCENT)
ORDER BY NEWID()

SET STATISTICS TIME OFF

In meinem Fall ist dies der einfachste Kompromiss zwischen Zufälligkeit (ich weiß nicht wirklich) und Geschwindigkeit. Variieren Sie den Prozentsatz (oder die Zeilen) der TABLESAMPLE entsprechend - je höher der Prozentsatz, desto zufälliger die Stichprobe, aber erwarten Sie einen linearen Geschwindigkeitsabfall. (Beachten Sie, dass TABLESAMPLE keine Variable akzeptiert.)

Ordnen Sie die Tabelle einfach nach einer Zufallszahl und erhalten Sie die ersten 5.000 Zeilen mit TOP.

SELECT TOP 5000 * FROM [Table] ORDER BY newid();

AKTUALISIEREN

Ich habe es einfach versucht und ein newid()Anruf ist ausreichend - keine Notwendigkeit für alle Besetzungen und alle Mathematik.

Dies ist eine Kombination aus der ursprünglichen Startidee und einer Prüfsumme, die meiner Meinung nach ohne die Kosten von NEWID () richtig zufällige Ergebnisse liefert:

SELECT TOP [number] 
FROM table_name
ORDER BY RAND(CHECKSUM(*) * RAND())

In MySQL können Sie dies tun:

SELECT `PRIMARY_KEY`, rand() FROM table ORDER BY rand() LIMIT 5000;

Ich habe diese Variation in den Antworten noch nicht ganz gesehen. Ich hatte eine zusätzliche Einschränkung, bei der ich bei einem anfänglichen Startwert jedes Mal denselben Satz von Zeilen auswählen musste.

Für MS SQL:

Minimales Beispiel:

select top 10 percent *
from table_name
order by rand(checksum(*))

Normalisierte Ausführungszeit: 1,00

NewId () Beispiel:

select top 10 percent *
from table_name
order by newid()

Normalisierte Ausführungszeit: 1.02

NewId()ist unwesentlich langsamer als rand(checksum(*)), daher möchten Sie es möglicherweise nicht für große Datensatzgruppen verwenden.

Auswahl mit Initial Seed:

declare @seed int
set @seed = Year(getdate()) * month(getdate()) /* any other initial seed here */

select top 10 percent *
from table_name
order by rand(checksum(*) % @seed) /* any other math function here */

Wenn Sie denselben Satz für einen Startwert auswählen müssen, scheint dies zu funktionieren.

Versuche dies:

SELECT TOP 10 Field1, ..., FieldN
FROM Table1
ORDER BY NEWID()

Es scheint, dass newid () nicht in der where-Klausel verwendet werden kann, daher erfordert diese Lösung eine innere Abfrage:

SELECT *
FROM (
    SELECT *, ABS(CHECKSUM(NEWID())) AS Rnd
    FROM MyTable
) vw
WHERE Rnd % 100 < 10        --10%

Ich habe es in Unterabfragen verwendet und es hat mir dieselben Zeilen in Unterabfragen zurückgegeben

 SELECT  ID ,
            ( SELECT TOP 1
                        ImageURL
              FROM      SubTable 
              ORDER BY  NEWID()
            ) AS ImageURL,
            GETUTCDATE() ,
            1
    FROM    Mytable

dann löste ich mit der Einbeziehung der übergeordneten Tabellenvariablen in wo

SELECT  ID ,
            ( SELECT TOP 1
                        ImageURL
              FROM      SubTable 
              Where Mytable.ID>0
              ORDER BY  NEWID()
            ) AS ImageURL,
            GETUTCDATE() ,
            1
    FROM    Mytable

Beachten Sie den Where-Zustand

Die verwendete serverseitige Verarbeitungssprache (z. B. PHP, .net usw.) ist nicht angegeben. Wenn es sich jedoch um PHP handelt, greifen Sie auf die erforderliche Anzahl (oder alle Datensätze) zu und verwenden Sie anstelle der Zufallsgenerierung in der Abfrage die Zufallsfunktion von PHP. Ich weiß nicht, ob .net eine äquivalente Funktion hat, aber wenn dies der Fall ist, verwenden Sie diese, wenn Sie .net verwenden

ORDER BY RAND () kann je nach Anzahl der Datensätze erhebliche Leistungseinbußen nach sich ziehen.

Das funktioniert bei mir:

SELECT * FROM table_name
ORDER BY RANDOM()
LIMIT [number]