Großer Tisch
Ein verteiltes Speichersystem für strukturierte Daten
Bigtable ist ein verteiltes Speichersystem (von Google entwickelt) zur Verwaltung strukturierter Daten, das auf eine sehr große Größe skaliert werden kann: Petabyte Daten auf Tausenden von Commodity-Servern.
Viele Projekte bei Google speichern Daten in Bigtable, einschließlich Webindizierung, Google Earth und Google Finance. Diese Anwendungen stellen sehr unterschiedliche Anforderungen an Bigtable, sowohl hinsichtlich der Datengröße (von URLs über Webseiten bis hin zu Satellitenbildern) als auch hinsichtlich der Latenzanforderungen (von der Backend-Massenverarbeitung bis zur Echtzeit-Datenbereitstellung).
Trotz dieser unterschiedlichen Anforderungen hat Bigtable erfolgreich eine flexible, leistungsstarke Lösung für alle diese Google-Produkte bereitgestellt.
Einige Eigenschaften
- schnelles und extrem umfangreiches DBMS
- Eine spärliche, verteilte mehrdimensionale sortierte Karte, die Merkmale sowohl zeilenorientierter als auch spaltenorientierter Datenbanken aufweist.
- Entwickelt, um in den Petabyte-Bereich zu skalieren
- Es funktioniert auf Hunderten oder Tausenden von Maschinen
- Es ist einfach, dem System weitere Maschinen hinzuzufügen und diese Ressourcen automatisch ohne Neukonfiguration zu nutzen
- Jede Tabelle hat mehrere Dimensionen (von denen eine ein Zeitfeld ist, das die Versionierung ermöglicht).
- Tabellen werden für GFS (Google File System) optimiert, indem sie in mehrere Tablets aufgeteilt werden - Segmente der Tabelle, die entlang einer Zeile aufgeteilt werden, die so ausgewählt ist, dass das Tablet eine Größe von ~ 200 Megabyte hat.
Die Architektur
BigTable ist keine relationale Datenbank. Es werden weder Joins noch umfangreiche SQL-ähnliche Abfragen unterstützt. Jede Tabelle ist eine mehrdimensionale Karte mit geringer Dichte. Tabellen bestehen aus Zeilen und Spalten, und jede Zelle hat einen Zeitstempel. Es kann mehrere Versionen einer Zelle mit unterschiedlichen Zeitstempeln geben. Der Zeitstempel ermöglicht Vorgänge wie "Wählen Sie 'n' Versionen dieser Webseite aus" oder "Zellen löschen, die älter als ein bestimmtes Datum / eine bestimmte Uhrzeit sind".
Um die riesigen Tabellen zu verwalten, teilt Bigtable Tabellen an Zeilengrenzen auf und speichert sie als Tablets. Ein Tablet ist ungefähr 200 MB groß, und jeder Computer spart ungefähr 100 Tablets. Mit diesem Setup können Tablets aus einer einzelnen Tabelle auf viele Server verteilt werden. Es ermöglicht auch einen feinkörnigen Lastausgleich. Wenn eine Tabelle viele Abfragen empfängt, kann sie andere Tablets ablegen oder die ausgelastete Tabelle auf einen anderen Computer verschieben, der nicht so ausgelastet ist. Wenn ein Computer ausfällt, kann ein Tablet auf viele andere Server verteilt sein, sodass die Auswirkungen auf die Leistung eines bestimmten Computers minimal sind.
Tabellen werden als unveränderliche SSTables und ein Ende von Protokollen gespeichert (ein Protokoll pro Maschine). Wenn einem Computer der Systemspeicher ausgeht, werden einige Tablets mithilfe von Google-eigenen Komprimierungstechniken (BMDiff und Zippy) komprimiert. Kleinere Komprimierungen betreffen nur wenige Tablets, während größere Komprimierungen das gesamte Tabellensystem betreffen und Festplattenspeicher wiederherstellen.
Die Positionen der Bigtable-Tabletten werden in Zellen gespeichert. Die Suche nach einem bestimmten Tablet wird von einem dreistufigen System durchgeführt. Die Clients erhalten einen Punkt auf eine META0-Tabelle, von der es nur eine gibt. In der META0-Tabelle werden viele META1-Tabletten erfasst, die die Positionen der nachgeschlagenen Tabletten enthalten. Sowohl META0 als auch META1 nutzen das Vorabrufen und Zwischenspeichern stark, um Engpässe im System zu minimieren.
Implementierung
BigTable basiert auf dem Google File System (GFS), das als Sicherungsspeicher für Protokoll- und Datendateien verwendet wird. GFS bietet zuverlässigen Speicher für SSTables, ein von Google entwickeltes Dateiformat zum Speichern von Tabellendaten.
Ein weiterer Dienst, den BigTable stark nutzt, ist Chubby , ein hochverfügbarer, zuverlässiger verteilter Sperrdienst. Mit Chubby können Clients eine Sperre aufheben und sie möglicherweise mit einigen Metadaten verknüpfen, die sie erneuern können, indem sie Keep-Alive-Nachrichten an Chubby zurücksenden. Die Sperren werden in einer dateisystemähnlichen hierarchischen Namensstruktur gespeichert.
Es gibt drei primäre Servertypen, die für das Bigtable-System von Interesse sind:
- Master-Server: Weisen Sie Tablet-Servern Tablets zu, verfolgen Sie, wo sich Tablets befinden, und verteilen Sie die Aufgaben nach Bedarf neu.
- Tablet-Server: Bearbeiten Sie Lese- / Schreibanforderungen für Tablets und Split-Tablets, wenn diese die Größenbeschränkungen überschreiten (normalerweise 100 MB - 200 MB). Wenn ein Tablet-Server ausfällt, nehmen 100 Tablet-Server jeweils 1 neues Tablet auf und das System wird wiederhergestellt.
- Sperrserver: Instanzen des verteilten Chubby-Sperrdienstes. Viele Aktionen in BigTable erfordern den Erwerb von Sperren, einschließlich des Öffnens von Tablets zum Schreiben, um sicherzustellen, dass nicht mehr als ein aktiver Master gleichzeitig vorhanden ist, und die Überprüfung der Zugriffskontrolle.
Beispiel aus Googles Forschungsbericht:
Ein Ausschnitt aus einer Beispieltabelle, in der Webseiten gespeichert sind. Der Zeilenname ist eine
umgekehrte URL . Die Inhaltsspaltenfamilie enthält den Seiteninhalt , und die Ankerspaltenfamilie enthält den
Text aller Anker , die auf die Seite verweisen. Die Startseite von CNN wird sowohl von der Sports Illustrated- als auch von der MY-Look-Startseite referenziert, sodass die Zeile Spalten mit den Namen anchor:cnnsi.comund
enthält
anchor:my.look.ca. Jede Ankerzelle hat eine Version ; der Inhalt Spalte hat drei Versionen , bei Zeitstempel
t3, t5und t6.
API
Typische Vorgänge für BigTable sind das Erstellen und Löschen von Tabellen und Spaltenfamilien, das Schreiben von Daten und das Löschen von Spalten aus einer Zeile. BigTable bietet diese Funktionen Anwendungsentwicklern in einer API. Transaktionen werden auf Zeilenebene unterstützt, jedoch nicht über mehrere Zeilenschlüssel hinweg.
Hier ist der Link zum PDF des Forschungspapiers .
Und hier finden Sie ein Video, das Jeff Dean von Google in einem Vortrag an der University of Washington zeigt , in dem das im Backend von Google verwendete Bigtable-Content-Storage-System erläutert wird.
