So stellen Sie Speicherplatz wieder her, der von einem Index belegt wurde, der teilweise erstellt wurde und durch einen Stromausfall beendet wurde

Ich verwende postgres (postgis) 9.4.2 auf einem Mac (10.10.4).

Ich habe ein paar große Tische (mehrere TBs).

Während eines Indexaufbaus auf einem von ihnen, der ungefähr eine Woche dauert, habe ich beobachtet, wie der verfügbare HD-Speicherplatz fast bis zu dem Punkt gesunken ist, an dem der Index beendet wäre, wenn ein Stromausfall länger andauerte als die Batterieeinheit und das System ging runter. Ich hatte Puffer ausgeschaltet und fillfactor=100während des Builds, da es sich um eine statische Datenquelle handelt. Beim Neustart befindet sich der verfügbare Speicherplatz auf dem Laufwerk genau dort, wo er sich fast am Ende der Indexerstellung befand. Die Vakuumanalyse gibt keinen Platz frei.

Ich habe versucht, den Tisch fallen zu lassen und wieder aufzunehmen, und das hat den Platz nicht verloren. Jetzt bin ich an einem Ort, an dem ich nicht genug Platz habe, um den Index zu erstellen.

Befinden sich die während der Indexerstellung generierten Dateien in einer Schwebe, in der sie vom System nicht entfernt werden können, da der Computer während des Stromausfalls ausgefallen ist?

Wenn ich mir die Tabellengrößen + Indizes in der Datenbank ansehe (das sind die einzigen Daten auf diesem Laufwerk), summieren sie sich auf ungefähr 6 TB . Der Antrieb ist 8TB , und es gibt weniger als 500 GB auf dem Laufwerk links, so dass es dort die etwa die Größe ist ist etwa 1,5 TB verloren irgendwo scheint , dass Index gewesen wäre.

Irgendwelche Ideen?

Normalerweise würden wir erwarten, dass der Crash-Wiederherstellungsprozess beim Neustart von postgres Dateien, die sich auf einen Rollback-Index beziehen, aus dem Datenverzeichnis entfernt hat.

Nehmen wir an, dass es nicht funktioniert hat oder zumindest manuell überprüft werden muss.

Die Liste der Dateien, die sich im Datenverzeichnis befinden sollen, kann mit einer Abfrage wie der folgenden erstellt werden:

select pg_relation_filenode(oid)
   from pg_class
  where relkind in ('i','r','t','S','m')
    and reltablespace=0
  order by 1;

reltablespace=0ist für den Standardtabellenbereich. Wenn der problematische Index in einem nicht standardmäßigen Tabellenbereich erstellt wurde, 0muss dieser durch seine OID in ersetzt werden pg_tablespace.

i, r, t, S, m in relkindentsprechen jeweils Indizes, Tabellen, Toastraum, Sequenzen, materialisierten Ansichten. Alle diese Objekte haben ihre Daten in Dateien, deren Namen übereinstimmen pg_relation_filenode(oid).

Auf der Festplatte sind die Datendateien unter $PGDATA/base/oid/denen oiddie oidvon der Datenbank erhalten durch select oid,datname from pg_database. Wenn wir nicht über den Standardtabellenbereich sprechen, basewird er PG_version_somelabelstattdessen durch ersetzt .

Listen Sie die Dateien auf, die mit den relfilenodes in diesem Verzeichnis übereinstimmen, und sortieren Sie sie:

ls | grep -E '^[0-9]+$' | sort -n > /tmp/list-of-relations.txt

(Damit bleibt nur das erste Segment für Relationen erhalten, die größer als 1 GB sind. Wenn verbleibende Segmente an nichts gebunden sind, sollten sie separat betrachtet werden.)

und diff diese Datei mit dem Ergebnis der obigen Abfrage.

Wenn es verbleibende Datendateien gibt, die keinem Objekt entsprechen, über das die Datenbank Bescheid weiß, sollten sie in diesem Diff angezeigt werden.