Data Warehouse

I moderni data warehouse SaaS utilizzano un'architettura ELT (Extract, Load, Transform) cloud-native. I dati grezzi vengono estratti dai sistemi sorgente (Salesforce, Zendesk, Stripe, Amplitude, database applicativo PostgreSQL) tramite connettori dedicati (Fivetran, Airbyte, Stitch), caricati nel warehouse in forma grezza (Snowflake, BigQuery o Redshift forniscono il cloud warehouse), quindi trasformati in modelli analitici strutturati utilizzando un livello di trasformazione (dbt — data build tool — è dominante). I dati puliti e modellati risultanti vengono forniti agli strumenti di BI (Looker, Metabase, Tableau) per l'analisi self-service. I team di Product Ops e Support Ops vi accedono tramite dashboard predefinite, mentre gli analisti interrogano direttamente in SQL. Il warehouse consente di rispondere a domande a cui nessun singolo sistema operativo può rispondere: "Qual è il punteggio CSAT per i clienti che hanno più di 5 ticket nei primi 30 giorni, suddiviso per livello di piano?"

Il data warehouse sblocca casi d'uso analitici cross-sistema che gli strumenti operativi non possono supportare. I principali casi d'uso per Support Ops: previsione del volume dei ticket (combinando dati storici dell'helpdesk con il calendario di rilascio del prodotto e i modelli stagionali), andamento delle prestazioni degli agenti (CSAT e AHT nel tempo con significatività statistica) e modellazione della deflessione (correlazione delle letture degli articoli del centro assistenza con la successiva prevenzione dei ticket). I principali casi d'uso per Product Ops: analisi della retention delle coorti (combinando i dati degli eventi del prodotto con i dati di fatturazione per studiare come l'adozione delle funzionalità influisce sui tassi di rinnovo), analisi del funnel di attivazione (funnel completo dal clic sull'email all'attivazione alla conversione) e misurazione dell'impatto delle funzionalità (confrontando le metriche comportamentali prima e dopo un esperimento). Il tema unificante: queste analisi richiedono la combinazione di dati da 3 o più sistemi sorgente, il che è possibile solo tramite un warehouse centralizzato.

La data governance assicura che il warehouse fornisca metriche affidabili e coerenti, piuttosto che numeri contrastanti da team diversi che utilizzano definizioni diverse. Le pratiche di governance principali: un registro delle definizioni delle metriche (una definizione documentata e concordata per ogni metrica chiave — "CSAT" significa esattamente questo campo da questa tabella, calcolato in questo modo); un catalogo dati (indice ricercabile di tutte le tabelle e il loro scopo, con descrizioni a livello di campo mantenute dai proprietari delle tabelle); monitoraggio della qualità dei dati (avvisi automatici quando i valori delle metriche chiave deviano anormalmente dai modelli storici); controlli di accesso (sicurezza a livello di riga e colonna per i dati sensibili); e un processo di data contract (i team che consumano dati da un sistema sorgente vengono notificati prima di modifiche allo schema che potrebbero compromettere i loro modelli). Product Ops di solito co-gestisce la data governance con il team di Data Engineering.