3 Maggio 2019 - e-Service di Puzzo Davide

Caricare grandi set di dati su Google BigQueryUna delle sfide con BigQuery è caricare grandi set di dati in modo rapido ed efficiente da fonti esterne.Diamo un’occhiata ad alcune migliori prassi per caricare dati che possono aiutare con l’attività. BigQuery offre più opzioni per caricare i dati.Innanzitutto, esiste un caricamento in batch diretto, che può caricare un file nel file system su GCP – Google Cloud Platform – in BigQuery utilizzando il comando Cloud Shell.Inoltre, vengono caricati prima i dati nei bucket Cloud Storage, quindi viene eseguito un lavoro per spostarlo in BigQuery.È possibile eseguire lo streaming dei dati direttamente dal client tramite gli SDK, che verranno registrati per record in tempo reale.Infine, puoi anche utilizzare il servizio di trasferimento dati di GCP per copiare i dati da altre fonti GCP, come Google Ads o Google Analytics.Best Practice per Caricare Dati su BigQueryQuindi, come scegli l’opzione giusta per te?Pensa in quale tempo devi rendere disponibili i dati in BigQuery. Real Time vs late availability.Ne hai davvero bisogno in tempo reale? Oppure va bene fare il caricamento in batch?Il caricamento in lotti (caricamento in batch) costa meno.Tabelle temporanee vs tabelle permanenti.Scegli tra tabelle temporanee e permanenti in base al fatto che i dati siano a scopo di staging o per ulteriori elaborazioni, o che sia richiesto di essere permanente.Puoi creare tabelle esterne su origini dati GCP esistenti, come Cloud Storage, quindi provare a trasferire i dati in BigQuery.Considera sempre i costi di trasferimento dei dati, compresi i requisiti di larghezza di banda e costi del motore di calcolo.Prendi in considerazione la possibilità di controllare i lavori di caricamento attraverso le quote in GCP. Le quote controllano la quantità di energia del computer utilizzata per varie attività e incidono sul costo complessivo generato.Pensa anche ai requisiti dei dati in downstream per l’analisi.Entro quanto tempo hai bisogno di questi dati? Questi dati possono essere temporanei?La scelta dell’opzione di carico dei dati migliore è essenziale per garantire che i dati siano disponibili in tempo, oltre a ridurre al minimo i costi su GCP.

Daily Archives: 3 Maggio 2019

Google BigQuery: caricare grandi set di dati