22 Aprile 2019 - e-Service di Puzzo Davide

Tabelle partizionate su Google BigQueryBigQuery consente alle tabelle di essere partizionate in base a date o colonne timestamp.Le singole partizioni vengono memorizzate separatamente e trattate come singole tabelle per scopi di archiviazione e interrogazione. BigQuery consente partizioni di dati in base al momento dell’ingestione o a una data o colonna timestamp esplicita.Quando viene creata una partizione in base al tempo di ingestione, BigQuery crea due pseudo colonne chiamate _PARTITIONDATE e _PARTITIONTIME. Queste due colonne possono essere utilizzate come colonne regolari nelle query per la selezione e il filtraggio.L’altra opzione è creare una partizione esplicitamente basata su una colonna data o ora presente nella tabella. In questo caso, non vengono create pseudo colonne. Piuttosto, i dati della colonna vengono utilizzati per partizionare e archiviare fisicamente i dati.Vantaggi delle tabelle partizionateCi sono un paio di vantaggi delle tabelle di partizionamento.Quando una query viene effettuata in base al filtro utilizzando le colonne di partizione, BigQuery esamina solo i dati in quelle partizioni. Ciò migliora le prestazioni poiché BigQuery ha un numero minore di righe da ispezionare. Risparmia anche sui costi delle query e i costi di fatturazione GCP (Google Cloud Platform) dal momento che viene interrogato un numero minore di righe. Si consiglia di utilizzare il partizionamento durante l’archiviazione delle tabelle basate sulle transazioni che verranno frequentemente filtrate per data o data / ora.Creare una tabella partizionataOra, creiamo una tabella delle partizioni.A questo scopo, caricheremo nuovamente la tabella dei risultati del test, che verrà partizionata per data di test. Fare clic sul pulsante Crea nuova tabella e seleziona il file dei risultati del test da caricare. Dare un nome alla tabella come risultati dei test partizionati.Per lo schema, specificheremo esplicitamente, perché è necessario specificare la data del test. Una volta inseriti tutti i campi, procederemo e imposteremo le opzioni. La prima cosa che farai è saltare le righe di intestazione perché contiene il titolo. Poi arriviamo all’opzione del tipo di partizionamento, e poi diciamo che il partizionamento è per giorno. Nel campo del partizionamento, scegliamo la data del test, che abbiamo configurato come campo della data. Quando si sceglie di richiedere il filtro della partizione, impone a tutte le query di utilizzare la data della partizione come parte della sua query. Lo sceglieremo per ora. Fare clic su crea tabella per creare effettivamente la tabella. La tua tabella è stata creata correttamente e i dati sono stati caricati.Se si guarda nella tabella partizionata della data del test, l’anteprima mostra tutti i record e, se si guardano i dettagli, contiene le informazioni sul partizionamento che si verificano.Eseguire, ora, una query sulla partizione. Basta selezionare i record in cui la data del test è uguale al 2018/06/18. Ancora una volta, è necessario disabilitare Legacy SQL per questo.SELECT * FROM DatidelPaziente.risultati_test_partizionati WHERE DATA_TEST = ‘2018-06-18’Ora la query è stata eseguita e puoi vedere i risultati ora mostrati per questa data di test.

Daily Archives: 22 Aprile 2019

Google BigQuery: partizionamento di tabelle