Was kann eine SQL-Zählabfrage beschleunigen?

Was kann bei einer SQL-Abfrage (aggregiert) die Ausführungszeit in diesen drei Datenbanksystemen beschleunigen? Ich bin mir sicher, dass viele Dinge es beschleunigen könnten (Hardware für einen), aber ich bin nur ein unerfahrener DBA, also bin ich sicher, dass ich hier ein paar Antworten bekommen werde. Ich habe ungefähr 157 Millionen Zeilen in eine SQL Server-Datenbank migriert, und diese Abfrage dauert ewig. In meiner Netezza-Quelldatenbank dauert es jedoch Sekunden.

Zum Beispiel:

Netezza 6:

SELECT COUNT(*) FROM DATABASENAME..MYTABLE

Oracle 11g:

SELECT COUNT(*) FROM MYTABLE

SQL Server 2012:

SELECT COUNT(*) FROM DATABASENAME.[dbo].[MYTABLE]

Netezza ist eine Appliance, die sich hervorragend für große Tischscans eignet. Deshalb erzielen Sie mit diesem System so schnelle Ergebnisse.

Für Ihren SQL Server können Sie die Zeilenanzahl erheblich beschleunigen, indem Sie die DMV sys.dm_db_partition_stats abfragen.

SELECT s.name AS [Schema], o.name AS [Table], SUM(p.row_count) AS [RowCount]
FROM sys.dm_db_partition_stats p JOIN sys.objects o
ON p.object_id = o.object_id JOIN sys.schemas s
ON o.schema_id = s.schema_id
WHERE p.index_id < 2
AND o.object_id = object_id('MyTable')
GROUP BY o.name, s.name;

In einer Umgebung mit hohen Transaktionen ist nicht garantiert, dass diese DMV 100% genau ist. Aus Ihrer Frage geht jedoch hervor, dass Sie nur Zeilenzählungen durchführen, um jede Tabelle nach Ihrer Migration zu überprüfen. Daher sollte diese Abfrage für Sie funktionieren.

Hier ist eine SQL Server-Lösung, die COUNT_BIGin einer indizierten Ansicht verwendet wird. Auf diese Weise erhalten Sie eine transaktionskonsistente Zählung ohne den Aufwand für große Tabellen- oder Index-Scans und ohne den für letztere erforderlichen Speicherplatz:

CREATE TABLE [dbo].[MyTable](id int);
GO

CREATE VIEW [dbo].[MyTableRowCount]
    WITH SCHEMABINDING
AS

    SELECT
        COUNT_BIG(*) AS TableRowCount
        FROM [dbo].[MyTable];
GO

CREATE UNIQUE CLUSTERED INDEX IX_MyTableRowCount
    ON [dbo].[MyTableRowCount](TableRowCount);
GO

SELECT
    TableRowCount
    FROM [dbo].[MyTableRowCount] WITH(NOEXPAND);

Dies erfordert einen einzelnen ersten Scan (kein Weg davon weg) und einen zusätzlichen Aufwand für inkrementelle Tabellendatenmanipulationen. Wenn Sie große Operationen mit vielen Daten ausführen (im Gegensatz zu vielen kleinen Operationen), sollte der Aufwand für Änderungen meiner Meinung nach vernachlässigbar sein.

In Oracle kann ein binärer Baumindex für eine NOT NULL-Spalte verwendet werden, um einen COUNT (*) zu beantworten. In den meisten Fällen ist es schneller als ein FULL TABLE SCAN, da Indizes normalerweise kleiner als ihre Basistabelle sind.

Ein regulärer binärer Baumindex wird jedoch mit 157 Mrows immer noch riesig sein. Wenn Ihre Tabelle nicht gleichzeitig aktualisiert wird (dh nur ein Stapelladevorgang), möchten Sie möglicherweise stattdessen einen Bitmap-Index verwenden.

Der kleinste Bitmap-Index wäre ungefähr so:

CREATE BITMAP INDEX ix ON your_table(NULL);

Null-Einträge werden von einem Bitmap-Index berücksichtigt. Der resultierende Index ist winzig (20-30 8.000 Blöcke pro Million Zeile), verglichen mit einem regulären Binärbaumindex oder der Basistabelle.

Der resultierende Plan sollte die folgenden Operationen zeigen:

----------------------------------------------
| Id  | Operation                     | Name | 
----------------------------------------------
|   0 | SELECT STATEMENT              |      |
|   1 |  SORT AGGREGATE               |      |
|   2 |   BITMAP CONVERSION COUNT     |      |
|   3 |    BITMAP INDEX FAST FULL SCAN| IX   |
----------------------------------------------

Wenn Ihre Tabelle gleichzeitig aktualisiert wird, ist ein Bitmap-Index mit einem eindeutigen Wert ein Streitpunkt und sollte nicht verwendet werden.

In Oracle wird eine einfache Zählabfrage häufig ausgeführt, indem ein Index anstelle einer ganzen Tabelle gescannt wird. Der Index muss ein Bitmap-Index sein oder in einer Spalte mit der Einschränkung NOT NULL definiert sein. Für komplexere Abfragen, die einen vollständigen Tabellenscan erfordern, können Sie parallele Abfragen verwenden.

Um die parallele Abfrage zu aktivieren (Enterprise Edition erforderlich), können Sie den Optimierungshinweis verwenden:

select /*+ PARALLEL(mytable, 12) */ count(*) from mytable;

Oder aktivieren Sie die parallele Abfrage für alle Abfragen in der Tabelle:

alter table mytable parallel 12;