Data Warehouse Best Practice

Esaminiamo alcune best practice per la progettazione e l’utilizzo di data warehouse con BigQuery. A partire dal Table Design SQL.

È importante dedicare abbastanza tempo alla progettazione delle tabelle nel modo giusto, poiché il design influisce sulle prestazioni del database e sui costi di utilizzo GCP – Google Cloud Platform.

SQL table design su Google BigQuery

La prima cosa da considerare è la denormalizzazione o denormalization.

La denormalizzazione rende le query più veloci, poiché evitano i join, ma hanno anche un impatto sulle prestazioni degli INSERTs e degli UPDATEs, dato che i dati duplicati vengono inseriti nelle tabelle a causa della denormalizzazione.

BigQuery è un motore di data warehouse, che dovrebbe essere utilizzato principalmente come scrittura una volta e lettura di molti database (write once, read many). Quindi, la denormalizzazione dovrebbe essere usata il più possibile, per evitare problemi di prestazioni.

Denormalizzare i dati – Best Practice

È possibile denormalizzare i dati per includere i dati dimensionali nelle fact table.

Una fact table è la tabella centrale in uno schema a stella di un data warehouse.

Una fact table memorizza informazioni quantitative per l’analisi ed è spesso denormalizzata.

Una fact table funziona con le tabelle dimensionali.

È anche possibile denormalizzare per includere record figlio nelle tabelle padre. Ciò è particolarmente utile se i record padre e figlio vengono interrogati frequentemente insieme.

Best Practice Partizionamento delle tabelle su Google BigQuery

Il prossimo elemento da considerare durante la progettazione della tabella è il partizionamento.

Le fact table devono essere partizionate per data di transazione o data di caricamento dei dati. Questo crea singole partizioni per data e memorizza i dati ottimizzati per essere interrogati insieme. Le partizioni migliorano le query mentre lavorano su una minore quantità di dati e riducono anche il costo complessivo del GCP.

Il design della tabella è un aspetto chiave, per garantire controllo e costi di interrogazione ottimali.

About
Latest Posts

Social

Davide Puzzo

Marketing Manager at e-Service

Business owner, ecommerce manager at e-Service Store.
Founder e business developer di Report Not Provided.
Disponibile per offrirti Consulenza Marketing, Consulenza informatica, Consulenza SEO & SEM, Sviluppo siti internet e Software gestionali, Progettazione di reti LAN WLAN, Videosorveglianza, Web Agency Ragusa & Parma.

Social