Gibt es eine Möglichkeit, das Schema einer BigQuery-Tabelle als JSON zu exportieren?

Eine BigQuery- Tabelle verfügt über ein Schema, das in der Web-Benutzeroberfläche angezeigt, aktualisiert oder zum Laden von Daten mit dem bqTool als JSON-Datei verwendet werden kann. Ich kann jedoch keine Möglichkeit finden, dieses Schema aus einer vorhandenen Tabelle in eine JSON-Datei (vorzugsweise über die Befehlszeile) zu sichern. Ist das möglich?

json google-bigquery

— Daniel Waechter
quelle

Antworten:

111

Eine Möglichkeit, das Schema aus einer vorhandenen Tabelle in eine JSON-Datei (vorzugsweise über die Befehlszeile) zu sichern. Ist das möglich?

versuchen Sie es unten

bq show bigquery-public-data:samples.wikipedia

Sie können das Flag –format verwenden, um die Ausgabe zu verschönern

Format für die Befehlsausgabe. Zu den Optionen gehören:

none:       ...
pretty:     formatted table output  
sparse:     simpler table output  
prettyjson: easy-to-read JSON format  
json:       maximally compact JSON  
csv:        csv format with header

Die ersten drei sollen für den Menschen lesbar sein, und die letzten drei sollen an ein anderes Programm übergeben werden. Wenn kein Format ausgewählt ist, wird eines basierend auf dem Befehlslauf ausgewählt.

Als mir klar wurde, dass ich eine teilweise Antwort gegeben habe: o)

Unten macht was PO wollte

bq show --format=prettyjson bigquery-public-data:samples.wikipedia | jq '.schema.fields'

— Mikhail Berlyant
quelle

Vielen Dank. Ich suchte weiter nach anderen Schlüsselwörtern wie "export" und "dump" sowie dem Wort "schema", und keines der Dokumente für "show" hatte das.

— Daniel Waechter

Ich würde empfehlen, den Befehl bq direkt in der Google Cloud SDK-Shell zu untersuchen. Beginnen Sie einfach mit bq --help und ...: o)

— Mikhail Berlyant

Für die Nachwelt macht dieser Befehl, was ich wollte: bq show --format=prettyjson bigquery-public-data:samples.wikipedia | jq '.schema.fields'

— Daniel Waechter

Fügen Sie einfach "> yourfile.json" am Ende ohne Anführungszeichen hinzu

— fpopic

Bei Fenstern stellte ich fest, dass das Anführungszeichen "anstelle des Apostrophs benötigt wird ', also wie folgt:bq show --format=prettyjson bigquery-public-data:samples.wikipedia | jq ".schema.fields"

— Philshem

Sie können das Flag --schema[1] hinzufügen , um Tabellendateninformationen zu vermeiden.

bq show --schema --format=prettyjson [PROJECT_ID]:[DATASET].[TABLE] > [SCHEMA_FILE]

bq show --schema --format=prettyjson mydataset.mytable > /tmp/myschema.json

[1] https://cloud.google.com/bigquery/docs/managing-table-schemas

— bsmarcosj
quelle

Ausgezeichnet! Es sieht so aus, als ob dies einige Monate, nachdem ich diese Frage gestellt habe, in Cloud SDK Version 165 hinzugefügt wurde. Viel besser als sich darauf zu verlassen jq.

— Daniel Waechter

Sie können den REST-API-Aufruf verwenden, um das BigQuery-Tabellenschema als JSON abzurufen. Dokumentationslink: https://cloud.google.com/bigquery/docs/reference/rest/v2/tables/get

curl 'https://bigquery.googleapis.com/bigquery/v2/projects/project-name/datasets/dataset-name/tables/table-name' \
     --header 'Authorization: Bearer [YOUR_ACCESS_TOKEN]' \
     --header 'Accept: application/json' \
     --compressed

— Soumendra Mishra
quelle

Vielen Dank dafür - ich habe nach der API-Version gesucht. Gibt es eine Möglichkeit, dies ohne einen HTTP-Aufruf zu tun? Ist eine Funktion wie diese genau das, wie alle "nativ" aussehenden Funktionen der API unter der Haube aussehen? (Ich meine, dass normale Funktionen keine HTTP-Aufrufe sind). Ich möchte nur nicht, dass es langsam ist und "Anrufe" scheinen langsam zu sein.

— Makmak

Wenn ich normalerweise Daten usw. lade, muss ich zum Beispiel nicht an Authentifizierung denken. @ Soumendra Mishra

— Makmak