Data Warehouse

Data warehouses SaaS modernos utilizam uma arquitetura ELT (Extract, Load, Transform) nativa da nuvem. Dados brutos são extraídos de sistemas de origem (Salesforce, Zendesk, Stripe, Amplitude, banco de dados de aplicação PostgreSQL) via conectores dedicados (Fivetran, Airbyte, Stitch), carregados no warehouse em sua forma bruta (Snowflake, BigQuery ou Redshift fornecem o warehouse na nuvem), e então transformados em modelos analíticos estruturados usando uma camada de transformação (dbt — data build tool — é dominante). Os dados limpos e modelados resultantes são servidos a ferramentas de BI (Looker, Metabase, Tableau) para análise self-service. Product Ops e Support Ops acessam isso através de dashboards pré-construídos, enquanto analistas consultam diretamente em SQL. O warehouse permite responder a perguntas que nenhum sistema operacional isolado pode responder: "Qual é a pontuação CSAT para clientes que têm mais de 5 tickets nos primeiros 30 dias, discriminada por nível de plano?"

O data warehouse desbloqueia casos de uso analíticos entre sistemas que as ferramentas operacionais não conseguem suportar. Principais casos de uso para Support Ops: previsão de volume de tickets (combinando dados históricos de helpdesk com calendário de lançamento de produtos e padrões sazonais), tendências de desempenho de agentes (CSAT e AHT ao longo do tempo com significância estatística) e modelagem de deflexão (correlacionando leituras de artigos da central de ajuda com a subsequente prevenção de tickets). Principais casos de uso para Product Ops: análise de retenção de coortes (combinando dados de eventos de produto com dados de faturamento para estudar como a adoção de recursos afeta as taxas de renovação), análise de funil de ativação (funil completo do clique no e-mail à ativação e conversão) e medição de impacto de recursos (comparando métricas comportamentais antes e depois de um experimento). O tema unificador: essas análises exigem a combinação de dados de 3 ou mais sistemas de origem, o que só é possível através de um warehouse centralizado.

A governança de dados garante que o warehouse forneça métricas confiáveis e consistentes, em vez de números conflitantes de diferentes equipes usando definições distintas. Práticas essenciais de governança: um registro de definições de métricas (uma definição documentada e acordada para cada Métrica Chave — "CSAT" significa exatamente este campo desta tabela, calculado desta forma); um catálogo de dados (índice pesquisável de todas as tabelas e seus propósitos, com descrições em nível de campo mantidas pelos proprietários das tabelas); monitoramento da qualidade dos dados (alertas automatizados quando os valores das métricas chave se desviam anormalmente dos padrões históricos); controles de acesso (segurança em nível de linha e coluna para dados sensíveis); e um processo de contrato de dados (equipes que consomem dados de um sistema de origem são notificadas antes de alterações de esquema que quebrariam seus modelos). O Product Ops geralmente compartilha a governança de dados com a equipe de Data Engineering.