Da ich ein junger Entwickler bin und nicht wirklich mit Datenbanken umgehen kann (PostgreSQL 9.3), bin ich auf einige Probleme mit einem Projekt gestoßen, bei dem ich wirklich Hilfe brauche.
In meinem Projekt geht es darum, Daten von Geräten (bis zu 1000 oder mehr Geräten) zu sammeln, wobei jedes Gerät pro Sekunde einen Datenblock sendet, was ungefähr 3 Millionen Zeilen pro Stunde ergibt.
Derzeit habe ich eine große Tabelle, in der ich die eingehenden Daten jedes Geräts speichere:
CREATE TABLE data_block(
id bigserial
timestamp timestamp
mac bigint
)Da es mehrere Arten von Daten gibt, die ein Datenblock enthalten kann (oder nicht), gibt es andere Tabellen, die auf die data_blockTabelle verweisen .
CREATE TABLE dataA(
data_block_id bigserial
data
CONSTRAINT fkey FOREIGN KEY (data_block_id) REFERENCES data_block(id);
);
CREATE TABLE dataB(...);
CREATE TABLE dataC(...);
CREATE INDEX index_dataA_block_id ON dataA (data_block_id DESC);
...Es ist möglich, dass in einem Datenblock 3x DatenA, 1x DatenB, aber keine DatenC vorhanden sind.
Die Daten werden einige Wochen lang aufbewahrt, daher werden in dieser Tabelle ca. 5 Milliarden Zeilen enthalten sein. Im Moment habe ich ~ 600 Millionen Zeilen in der Tabelle und meine Abfragen dauern sehr lange. Also habe ich beschlossen, einen Index über timestampund zu macerstellen, da meine select-Anweisungen immer über die Zeit und oft auch über die Zeit + mac abfragen.
CREATE INDEX index_ts_mac ON data_block (timestamp DESC, mac);... aber meine Fragen dauern noch ewig. Zum Beispiel habe ich Daten für einen Tag und einen Mac abgefragt:
SELECT * FROM data_block
WHERE timestamp>'2014-09-15'
AND timestamp<'2014-09-17'
AND mac=123456789Index Scan using index_ts_mac on data_block (cost=0.57..957307.24 rows=315409 width=32) (actual time=39.849..334534.972 rows=285857 loops=1)
Index Cond: ((timestamp > '2014-09-14 00:00:00'::timestamp without time zone) AND (timestamp < '2014-09-16 00:00:00'::timestamp without time zone) AND (mac = 123456789))
Total runtime: 334642.078 msIch habe vor dem Ausführen der Abfrage ein vollständiges Vakuum durchgeführt. Gibt es eine elegante Möglichkeit, ein solches Problem mit großen Tabellen zu lösen, um eine Abfrage <10 Sekunden durchzuführen?
Ich habe über Partitionierung gelesen, aber dies funktioniert nicht mit meinen dataA-, dataB- und dataC-Verweisen auf data_block_id, oder? Wenn es irgendwie funktionieren würde, sollte ich im Laufe der Zeit oder über den Mac Partitionen erstellen?
Ich habe meinen Index in die andere Richtung geändert. Erst MAC, dann Zeitstempel, und es gewinnt viel Leistung.
CREATE INDEX index_mac_ts ON data_block (mac, timestamp DESC);Abfragen dauern jedoch> 30 Sekunden. Besonders wenn ich LEFT JOINmit meinen Datentabellen ein mache . Hier ist eine EXPLAIN ANALYZEder Abfragen mit dem neuen Index:
EXPLAIN ANALYZE SELECT * FROM data_block WHERE mac = 123456789 AND timestamp < '2014-10-05 00:00:00' AND timestamp > '2014-10-04 00:00:00'Bitmap Heap Scan on data_block (cost=1514.57..89137.07 rows=58667 width=28) (actual time=2420.842..32353.678 rows=51342 loops=1)
Recheck Cond: ((mac = 123456789) AND (timestamp < '2014-10-05 00:00:00'::timestamp without time zone) AND (timestamp > '2014-10-04 00:00:00'::timestamp without time zone))
-> Bitmap Index Scan on index_mac_ts (cost=0.00..1499.90 rows=58667 width=0) (actual time=2399.291..2399.291 rows=51342 loops=1)
Index Cond: ((mac = 123456789) AND (timestamp < '2014-10-05 00:00:00'::timestamp without time zone) AND (timestamp > '2014-10-04 00:00:00'::timestamp without time zone))
Total runtime: 32360.620 ms Leider ist meine Hardware streng limitiert. Ich verwende einen Intel i3-2100 mit 3,10 GHz und 4 GB RAM. Meine aktuellen Einstellungen sind wie folgt:
default_statistics_target = 100
maintenance_work_mem = 512MB
constraint_exclusion = on
checkpoint_completion_target = 0.9
effective_cache_size = 4GB
work_mem = 512MB
wal_buffers = 16MB
checkpoint_segments = 32
shared_buffers = 2GB
max_connections = 20
random_page_cost = 2