Data Warehouse Best Practice Esaminiamo alcune best practice per la progettazione e l’utilizzo di data warehouse con BigQuery. A partire dal Table Design SQL. È importante dedicare abbastanza tempo alla progettazione delle tabelle nel modo giusto, poiché il design influisce sulle prestazioni del database e sui costi di utilizzo GCP – Google Cloud Platform. SQL…
Interfacce supportate da Google Cloud Platform – GCP C’è una cosa che GCP fa benissimo per i suoi prodotti: supporta più interfacce per lavorare con questi prodotti. Cerchiamo di esplorare ulteriori interfacce disponibili per lavorare con BigQuery. Tutto ciò che viene fatto attraverso la console dell’interfaccia utente da web può anche essere eseguito sulla riga…
Cloud Shell – Riga di comando basata su browser Tutte le operazioni eseguite tramite l’interfaccia utente – UI – in BigQuery possono essere eseguite anche tramite la riga di comando. Utilizzare Cloud Shell per eseguire query su BigQuery In questo caso, utilizzeremo Google Cloud Shell per eseguire una query denominata: bq –location=EU query –destination_table DatidelPaziente.dati_non_fumatori…
Etichette o labels su Google BigQuery Quando un repository BigQuery viene utilizzato da più persone e dai team e finiscono per creare troppi set di dati e tabelle, diventa difficile tenere traccia del motivo per cui sono stati creati e per quale scopo. A volte è importante raggruppare queste risorse per la fatturazione o per…
Creare una vista da una base di dati su Google BigQuery Analogamente ad altri prodotti di database RDBMS, BigQuery consente di creare viste su dati che semplificano le query. Cerchiamo, in questo articolo, di creare una query che unisce o che faccia un join tra i dettagli del paziente e la tabella dei risultati del test. Come…
Query di dati direttamente da altre origini dati Google BigQuery consente agli utenti di eseguire query di dati direttamente da altre origini dati di Google Cloud, ad esempio lo spazio di archiviazione su cloud o Bigtable. È possibile creare una tabella che fa riferimento a una fonte esterna. Nessun dato è memorizzato all’interno di BigQuery.…
Tabelle partizionate su Google BigQuery BigQuery consente alle tabelle di essere partizionate in base a date o colonne timestamp. Le singole partizioni vengono memorizzate separatamente e trattate come singole tabelle per scopi di archiviazione e interrogazione. BigQuery consente partizioni di dati in base al momento dell’ingestione o a una data o colonna timestamp esplicita. Quando…
Aggiornare i dati su Google BigQuery Come qualsiasi altro sistema di database, BigQuery consente anche agli utenti di aggiornare e cancellare i dati nelle loro tabelle. Le istruzioni standard di aggiornamento ed eliminazione SQL funzionano allo stesso modo in BigQuery come in qualsiasi altro sistema IBM. Update data SQL – Esempio Ad esempio, aggiorneremo il…
Join e subquery SQL di Google BigQuery Join e subquery consentono agli sviluppatori e agli analisti di estendere e sfruttare tutte le funzionalità di SQL. BigQuery supporta anche i join, tra cui: join interne – INNER -, join esterne – OUTER – e join CLAUSE. Esempio di join e subquery di Google BigQuery In questo…
Raggruppare e aggregare i dati con le query di Google BigQuery Diamo un’occhiata a come raggruppare e aggregare i dati con le query. BigQuery supporta le funzionalità di aggregazione delle query utilizzando group by, che può essere utilizzato anche per riepilogare e analizzare i dati. Raggruppare e aggregare i dati – Esempi In questo esempio,…
SQL espressioni regolari di Google BigQuery Le espressioni regolari, regular expressions (RegEx), offrono potenti funzionalità di ricerca e sostituzione. Incorporandole all’interno di SQL, è possibile risparmiare tantissimo codice per ottenere gli stessi risultati. Google BigQuery supporta funzionalità di espressioni regolari che possono essere utilizzate per cercare e sostituire stringhe. Come usare le espressioni regolari (SQL)…
Funzioni e operatori SQL di Google BigQuery BigQuery supporta un elenco esauriente di funzioni e operatori. Ecco un riferimento per tutte le funzioni e gli operatori disponibili in BigQuery. Le trovi su cloud.google.com/bigquery/docs/reference/standard-sql/functions-and-operators. Si può notare, con questo riferimento, che ci sono funzioni di conversione per la trasmissione e la conversione tra tipi di dati.…
Come filtrare i dati su Google BigQuery Google BigQuery supporta un ampio set di funzionalità SQL. Il riferimento per SQL standard è disponibile nel seguente sito Web, cloud.google.com/bigquery/docs/reference/standard-sql/query-syntax. Cerchiamo di esplorare alcune funzionalità chiave per l’esecuzione di query in questo, e nei seguenti, articolo. Esecuzione di query per filtrare i dati su Google BigQuery Inizierò…
Come creare ed eseguire query su Google BigQuery In questo articolo ti mostro come usare l’editor di query per creare ed eseguire query su BigQuery. Per iniziare a scrivere le query, vai alla dashboard di Google BigQuery. A sinistra, fai clic su componi query (compose query). Questo aprirà la nuova finestra di query. Google BigQuery:…
Caricare dati da Cloud Storage su Google BigQuery Carichiamo ora i dati da Google Cloud Storage tramite la shell della riga di comando. Questo è utile per lo scripting di carichi continui e automatici dallo storage nel cloud. In questo esempio si ha a disposizione un file chiamato intervalli normali.csv. Lo abbiamo già caricato in…
Creare una tabella da un file CSV – Google BigQuery Vediamo come possiamo creare una tabella direttamente da un file CSV e lasciare che BigQuery riconosca automaticamente lo schema. Per questo esempio userò un file csv chiamato risultati_test. Di seguito il contenuto del file risultati_test. Contiene test eseguiti su pazienti, inclusi: data del test, ID del…
Creare una tabella con schema – Google BigQuery Ora che abbiamo creato un set di dati chiamato dati del paziente, creiamo una tabella con schema e quindi carichiamo i dati in questa tabella da un file CSV. Per questo, torneremo alla dashboard di BigQuery. Nell’elenco dei set di dati mostrato nel riquadro di sinistra, fare…