Warum gibt Intersect ERROR 999999: Fehler beim Ausführen der Funktion Ungültige Topologie [Zu viele Lineseg-Endpunkte]?

Ich versuche, einen Intersect-Prozess in arcgis 10 sp 3 mit 2 Dateigruppen (Aspekt und Neigung) von bis zu 1 m DEM auf einer Fläche von 65.000 km² auszuführen. Der Aspekt hat 9.930.384 Datensätze und die Steigung hat 31.435.462 Datensätze (insgesamt ca. 12 GB in 2 Geodatenbanken).

Ich habe die Reparaturgeometrie ungefähr dreimal ausgeführt und jetzt melden die Datensätze keine Fehler (jedes Mal dauerte es mehr als 30 Stunden).

Jetzt verstehe ich

Ausführen (Überschneiden): Überschneiden Sie "D: \ SCRATCH \ Projects \ 106 \ data \ 7_asp_Merge.gdb \ asp_HghstRez_M_rep #" D: \ SCRATCH \ Projects \ 106 \ data \ working \ working.gdb \ AsSl_Int ALL # INPUT Startzeit: So. 23. Oktober 02:19:10 2011 Funktionen lesen ...

Fliesen verarbeiten ...

FEHLER 999999: Fehler beim Ausführen der Funktion.

Ungültige Topologie [Zu viele Lineseg-Endpunkte.]

Fehler beim Ausführen (Intersect).

Fehlgeschlagen am Sonntag, 23. Oktober, 04:09:12 Uhr 2011 (Verstrichene Zeit: 1 Stunde 50 Minuten 2 Sekunden)

Ist dies wirklich ein Topologieproblem oder ein Problem mit der Dateigröße?

Ich habe versucht, das ArcINFO SPLIT-Tool zu verwenden, aber es schlägt fehl, selbst wenn mehr als 1 TB freier Speicherplatz auf dem Laufwerk und bei kleineren Dateisätzen gezackte Kanten verursachen. Ich kann DICE nicht verwenden, da die Bereiche, in denen sich Asp und Hang schneiden, genau gleich sein müssen. Ich verstehe, dass bei großen Datensätzen ESRI die Datensätze knackt (automatisch kachelt) - kann dies zu Problemen führen? Gibt es weitere Informationen, die ich zur Problemlösung bereitstellen kann?

Die technischen Daten der Maschinen sind mehr als das ESRI-Minimum - wir haben 16 GB RAM, Intel Xeon, Windows 7, 64-Bit, 2 x 1 TB Festplatten und mehr als 1,2 TB frei auf den Laufwerken. Alle dabei verwendeten Dateien befinden sich auf den lokalen Laufwerken.

Ich habe gerade diese Erklärung (2. Juli 2012) gefunden, die viele hilfreiche Hinweise zur Lösung der Probleme gibt.

http://blogs.esri.com/esri/arcgis/2010/07/23/dicing-godzillas-features-with-too-many-vertices/

— GeorgeC
quelle

Die Dateigrößenbeschränkung für das Windows-Betriebssystem beträgt 2 GB. (3 GB mit / 3 GB unter XP). Versuchen Sie, die VERSCHÜTTETER Werkzeug in ArcGIS mit großen Daten - Sets ‚Tiling‘ resources.esri.com/help/9.3/arcgisdesktop/com/gp_toolref/...

— Mapperz

Eine wichtige Information aus dem Link, den Mapperz gesendet hat: "Unternehmens- und Datei-

— RyanKDalton

Haben Sie Steigungs- und Aspekt-Raster? Wenn ja, haben Sie einen Raumanalytiker?

— Kirk Kuykendall

@Mapperz, es kommt auf das Dateisystem an. FAT ist auf 2 GB begrenzt, FAT32 auf 4 GB und NTFS ist unbegrenzt gemäß: microsoft.com/resources/documentation/windows/xp/all/proddocs/…

— blah238

Für eine Rasterberechnung, George, können Sie entweder ein Resample auf eine gemeinsame Zellengröße (z. B. 1 m) durchführen oder die verschiedenen Patches separat verarbeiten. Es verdient einige Überlegungen, da eine Steigung oder ein Aspekt, die mit einer Auflösung von 30 m berechnet wurden, nicht genau mit einer Steigung oder einem Aspekt vergleichbar ist, die mit einer Auflösung von 1 m berechnet wurden. Es ist schwierig, allgemeine Ratschläge zu geben, wenn keine Informationen über den Zweck dieser Berechnung vorliegen.

— whuber

Antworten:

Sehr wenige zusammenhängende Zellen in einem detaillierten DEM haben identische Werte für Steigung und Aspekt. Wenn die Eingabemerkmale zusammenhängende Bereiche mit gemeinsamer Steigung und gemeinsamem Aspekt darstellen, sollten wir daher erwarten, dass das Ergebnis dieser Schnittprozedur im Durchschnitt fast ein Merkmal pro Zelle aufweist.

Es gab ursprünglich 65.000 * 1000 ^ 2 = 6,5 E10-Zellen im DEM. Um jedes dieser Elemente darzustellen, sind mindestens vier geordnete Paare von 4-Byte-Ganzzahlen oder 8-Byte-Gleitkoordinaten oder 32-64 Bytes erforderlich. Dies ist eine Anforderung von 1,3 E12 - 2,6 E12 Byte (1,3 - 2,5 TB). Wir haben noch nicht einmal damit begonnen, den Datei-Overhead (ein Feature wird als mehr als nur seine Koordinaten gespeichert), Indizes oder Attributwerte zu berücksichtigen, die selbst 0,6 TB (bei doppelter Genauigkeit) oder mehr (bei Speicherung als) benötigen könnten Text) plus Speicher für Bezeichner. Oh ja - ArcGIS behält gerne zwei Kopien jeder Kreuzung bei und verdoppelt so alles. Möglicherweise benötigen Sie 7-8 TB, um die Ausgabe zu speichern.

Selbst wenn Sie über den erforderlichen Speicher verfügen, können Sie (a) das Doppelte (oder mehr) verwenden, wenn ArcGIS Zwischendateien zwischenspeichert, und (b) es ist zweifelhaft, ob der Vorgang ohnehin in angemessener Zeit abgeschlossen wird.

Die Lösung besteht darin, Gitteroperationen unter Verwendung von Gitterdatenstrukturen und nicht von Vektordatenstrukturen durchzuführen. Wenn eine Vektorausgabe unbedingt erforderlich ist, führen Sie die Vektorisierung durch, nachdem alle Gitteroperationen abgeschlossen sind.

— whuber
quelle

Mit viel Traurigkeit angenommen. Anstatt die 30m-, 10m- und 1m-Datensätze zu kombinieren, führe ich stattdessen die asp + slp + veg-Schnittpunkte / Scoring für jeden Datensatz separat aus und füge sie dann zusammen.

— GeorgeC

Mit der räumlichen Aufteilungsstrategie konnten wir das Projekt abschließen. Ein Datensatz, dessen Verarbeitung 7 Stunden dauerte (und manchmal abstürzte), der in etwa 6 Minuten verarbeitet wurde, wenn er in 6 Teile aufgeteilt wurde, und dessen Zusammenführung dann 10 Minuten dauerte. Fügen Sie dazu ca. 40 Minuten hinzu, um die Modelle zu modifizieren und die mehreren Teile mit minimalen Eingaben (für jede Iteration) effizient zu verarbeiten. Dies spart im Grunde (zumindest) die Hälfte der Verarbeitungszeit. Ein Prozess, der ansonsten fast 200 Stunden dauerte, dauerte weniger als 50 Stunden und nur etwa 15 Stunden "echte" Arbeit (bei der Entscheidung, wie Daten aufgeteilt werden sollen, bei der Eingabe der Variablen in die Modelle usw.

— GeorgeC

Meine Erfahrung mit Split-Tool und Reparatur-Geomtrie. Es funktioniert für mich, weil ich an der Vektorebene gearbeitet habe, die ich von Raster zu Vektor konvertiert habe. Ich habe zuerst versucht, das Tool zu teilen und habe den Fehler erhalten. Also musste ich das Reparatur-Geomtry verwenden und es hängt davon ab, wie lange es läuft. Ich musste dies zweimal tun, da Sie immer dann, wenn Sie Änderungen oder Bearbeitungen vorgenommen haben, die Reparatur-Geomtrie erneut ausführen müssen, bevor Sie den Split durchführen. es hat bei mir funktioniert.

Übrigens habe ich Reparatur-Geomtrie auf beiden Ebenen ausgeführt: Shapefile und File-Geodatabase. Ich schlage vor, Sie führen über Nacht Reparatur-Geomtrie durch.

— PROBERT
quelle

Noch etwas habe ich vergessen. Darf ich vorschlagen, wann immer Sie so etwas tun, empfehle ich, eine neue ArcMap zu öffnen und diese Tools auszuführen? So löschen Sie die temporären Dateien, die Sie bereits geöffnet, geschlossen und ArcMap geöffnet haben. Es reinigt die Temperatur. Das ist mein ein Cent Vorschlag.

— PROBERT

Vielen Dank. Ich habe das Reparatur-Geom 3-4 Mal ausgeführt und jetzt melden die Datensätze keine Fehler mehr. Dies funktioniert normalerweise, aber ich denke, die Datensätze sind gemäß Whubers Erklärung einfach zu groß ...

— GeorgeC

George, ich bin froh, dass es für dich funktioniert. Ja, ich habe gelesen, was Whuber erklärt hat, aber meine Frage an Sie hat Steigung und Aspekt zusammengeführt? Wenn ja, welchen Feature-Layer haben Sie bei Verwendung des Teilungswerkzeugs verwendet, um diese zusammengeführten Ebenen zu teilen? Zum Beispiel musste ich 24 Quad (ungefähr 24 davon, die nicht so groß sind) verwenden, um mit meiner zusammengefügten Schicht aus Hang und Höhe zu teilen. Vielleicht könnten Sie versuchen, auf eine kleinere Ebene einzugrenzen, die sich mit Ihrer zusammengeführten Ebene teilen kann?

— PROBERT

Ich habe die Steigung und den Aspekt zusammengeführt und es hat funktioniert, aber es war nicht der richtige Prozess ... wir mussten uns kreuzen und das funktioniert nicht. Zum Teilen bekam ich eine Kopie des nationalen 100k-Topo-Kartenrasters und verwendete diese separat auf Asp und Hang. Die Zone wird von 30 Kartenblättern abgedeckt.

— GeorgeC

Haben Sie das 100.000-Topo-Kartenraster ausgeführt, um die Geomtrie zu bereinigen? Weil ich gefragt habe, habe ich einige Fehler entdeckt und musste eine saubere Reparatur durchführen. Also hat es bei mir funktioniert. Wenn Sie immer noch auf weitere Probleme stoßen, können Sie versuchen, die nationalen 100.000 in kleinere zu unterteilen? Wie sie auf drei teilen?

— PROBERT