Transformação OWOX BI: normalize, prepare e orquestre seus dados de marketing digital com facilidade

Quanto mais dados uma empresa coleta de várias fontes, mais complexo todo o sistema de análise se torna. Assim, fica mais difícil gerenciar o sistema de análise e encontrar insights nos quais você possa confiar. Os analistas precisam gastar mais tempo processando e preparando dados para relatórios em vez de procurar pontos de crescimento de dados e áreas de risco.

Aqui na OWOX, estamos envolvidos em análise há mais de 20 anos e estamos cientes das dificuldades que os analistas enfrentam em cada etapa do trabalho com dados. Como resultado, criamos um software com uma interface de usuário amigável para analistas que ajuda os analistas a simplificar os relatórios e o gerenciamento de dados e a obter dados prontos para os negócios com mais rapidez e facilidade.

Os dados prontos para negócios são o conjunto de dados final limpo em uma estrutura que corresponde ao seu modelo de negócios. Os dados de negócios realmente descrevem o modelo de negócios. Por exemplo, o que exatamente significa em uma determinada empresa os termos usuários, usuários B2B, transações, leads, etc? Essas definições descrevem o negócio em sua essência. O modelo de dados de negócios permite que todos os funcionários tenham um entendimento comum de como os dados são usados ​​e compreendidos.

Em outras palavras, os dados prontos para os negócios estão prontos para serem usados ​​em relatórios de marketing e produtos e podem ser enviados para qualquer serviço de visualização (Power BI, Tableau, Google Data Studio).

Se você criar relatórios sobre dados brutos e não modelados, poderá encontrar muitos problemas recorrentes: pesquisar erros e as causas das discrepâncias leva muito tempo e a lógica de negócios precisa ser constantemente duplicada em todas as consultas SQL.

Portanto, converter dados brutos em dados prontos para os negócios é uma etapa importante que não deve ser ignorada.

Os analistas coletam dados de serviços e sistemas diferentes. Naturalmente, a estrutura e o formato dos dados nessas fontes variam. Para criar relatórios, os dados de diferentes fontes devem ser mesclados corretamente. Por si só, os dados carregados por meio de conectores ou vários serviços ETL são imprecisos (contendo erros, duplicatas e discrepâncias) e carecem de uma lógica e estrutura unificadas. Dados imprecisos e fragmentados precisam ser limpos e normalizados em um formato pronto para análise.

Converter dados de fontes diferentes em um único formato é difícil. Por exemplo, você pode coletar dados de custo de diferentes plataformas de publicidade (Google Ads, Twitter Ads, Facebook Ads) e cada sistema pode ter sua própria moeda e seu próprio rótulo para este campo.

Outro objetivo da normalização de dados é resolver problemas de redundância de dados (quando os mesmos dados são armazenados no banco de dados em vários locais). A redundância de dados contribui para várias anomalias, reduz o desempenho e torna o gerenciamento de dados inconveniente.

Normalizar todos os dados manualmente é um grande desafio. Ao trabalhar com uma grande quantidade de dados, muitos erros e inconsistências podem aparecer, principalmente relacionados a infinitas consultas e scripts SQL. Se algo der errado ou mudar (por exemplo, uma API de serviço for atualizada), tudo entrará em colapso.

A normalização de dados é uma tarefa que distrai os analistas de realizar tarefas mais interessantes e buscar insights. Sem contar que geralmente leva até 50% do tempo de trabalho de um analista.

OWOX coleta dados automaticamente para análise em um formato conveniente de todas as suas fontes de marketing:

1. Google Analytics 4, Firebase e AppsFlyer
2. Dados brutos do site com total conformidade com GDPR
3. Plataformas de publicidade
4. Sistemas de CRM
5. Outras fontes de marketing

Com o OWOX BI, você não precisa limpar, estruturar e processar dados manualmente. O serviço normalizará automaticamente os dados brutos em um formato pronto para análise:

• Reconhecendo parâmetros dinâmicos em tags UTM para obter dados completos sobre campanhas publicitárias
• Converter custos de anúncios em uma única moeda para que você possa combiná-los e compará-los
• Determinar a geolocalização dos usuários para que você possa criar relatórios por país e região
• Detectando atividades de bot para limpar seus relatórios de dados desatualizados
• Eliminando inconsistências e imprecisões de dados
• Converter todos os dados em um único formato (datas, moedas, etc.)
• Formatando dados em tabelas de acordo com o esquema do armazenamento de dados de destino
• Conduzindo a desduplicação para eliminar dados redundantes
• Removendo dados não utilizados e sinalizando anomalias
• Se necessário, mesclar dados de dois valores em um ou, inversamente, dividir dados de um valor em dois
• Realização de auditorias de qualidade de dados e verificações de conformidade

Como resultado dessas manipulações de dados, você obtém dados estruturados precisos como saída: formatos de tag unificados, uma moeda única, dados desduplicados etc.

Como dissemos acima, para criar relatórios, os dados de diferentes fontes devem ser mesclados corretamente. Por exemplo, as ações do usuário precisam ser combinadas em sessões para conectar as conversões às campanhas publicitárias. Os custos de diferentes fontes devem ser combinados em uma única estrutura para que a eficácia dessas fontes possa ser comparada.

Estudar a compatibilidade de dados de diferentes fontes leva muito tempo. Além disso, a mesclagem de dados deve ocorrer regularmente à medida que os dados de origem são atualizados, e um analista deve ser capaz de gerenciar com flexibilidade a lógica de negócios de acordo com os requisitos de negócios.

Para preparar um sistema de relatórios, um analista precisa criar e manter toda uma cascata de transformações de dados SQL interconectadas. Com o tempo, em qualquer projeto, isso se transforma em um emaranhado de consultas e scripts SQL, cuja depuração leva muito tempo e não agrega valor novo.

A preparação de dados é um processo. Não basta preparar um relatório (ou mesmo muitos relatórios). Os dados devem ser atualizados regularmente e as alterações nos relatórios são feitas permanentemente. Tudo isso agora é feito manualmente pelos analistas, o que leva muito tempo, bem como com a ajuda de consultas e scripts SQL.

Se você criar relatórios sobre dados brutos e não prontos para os negócios, poderá encontrar muitos problemas recorrentes: pesquisar erros e causas de discrepâncias leva muito tempo e a lógica de negócios precisa ser constantemente duplicada em todas as consultas SQL.

Como é o processo de criação de relatórios para dados brutos?

Primeiro, um profissional de marketing diz a um analista o que deve ser feito. Em seguida, o analista escreve consultas SQL e cria um painel com base em seus resultados. Como de costume, algumas discrepâncias são encontradas, algumas novas condições são adicionadas às solicitações, algumas iterações são feitas, o feedback é recebido. Mas todas as decisões são tomadas no contexto deste relatório. Quando você precisar de outro relatório com dados de outras fontes, novas colunas ou várias fatias de dados, o processo de verificação de convergência e validação de dados precisará ser repetido. Ou um analista pode construir 10 relatórios, nos quais o número de clientes, por exemplo, difere porque foi aplicada lógica de cálculo diferente. Com a transformação e modelagem de dados, essa tarefa é resolvida antes da construção do relatório.

OWOX BI Transformation aplica automaticamente as transformações básicas de que todos precisam, como sessionization e mesclagem de dados de custo. Além disso, você pode facilmente fazer e aplicar suas próprias transformações (personalizadas).

OWOX BI fornece dados prontos para análise, economizando horas na preparação de dados.

1. Mesclar automaticamente os hits da sessão

O algoritmo OWOX BI mescla automaticamente os hits nas sessões sem recorrer à lógica de formação de sessões do Google Analytics. Você obterá tabelas de sessão atualizadas automaticamente prontas para uso em uma estrutura conveniente sem a necessidade de escrever transformações de dados complexas.

2. Combinação de dados de custo entre canais

Para converter os custos de anúncios, os analistas precisam fazer upload de dados da conta de anúncios para arquivos separados e, em seguida, fazer upload manualmente por meio da interface do BigQuery. As desvantagens desse método são óbvias – muito trabalho desnecessário e nenhuma automação.

Você também pode escrever seus próprios scripts que farão o download das informações necessárias do serviço de marketing. Mas o trabalho desta solução deve ser constantemente monitorado e mantido. Nesse caso, você gastará recursos do desenvolvedor para mesclar dados de contas diferentes e para datas diferentes, verificar sua qualidade e responder rapidamente a possíveis alterações nas APIs do serviço de publicidade. Se isso não for feito, dados de baixa qualidade podem levar a decisões ruins que custam caro para os negócios.

OWOX BI funciona sem problemas com grandes contas de anúncios e carrega todos os dados, independentemente do número de campanhas. Ele coleta todos os dados de custo em uma tabela automaticamente atualizada, unificada e fácil de usar, sem campos desnecessários.

Além de importar dados de custo automaticamente, o OWOX BI reconhece parâmetros dinâmicos em tags UTM, converte custos em uma moeda, atualiza dados no Google BigQuery retroativamente se houver alterações no serviço de publicidade e monitora a relevância dos dados.

3. Perfis de usuário único em vários dispositivos

Todos os dados sobre o comportamento do usuário do seu site, bem como de vários dispositivos e aplicativos, são mesclados em um único perfil. Você terá uma visão completa do comportamento de cada usuário para analisar a qualidade das campanhas publicitárias.

4. Tipo de usuário (novo ou recorrente)

OWOX BI define o tipo de usuário (novo ou recorrente) para que você possa criar relatórios em diferentes coortes de usuários.

5. Custos de anúncios atribuídos a cada sessão

OWOX BI atribui dados de custo no nível da sessão. Você não está mais limitado a avaliar a eficácia do marketing no escopo de uma campanha publicitária e pode calcular corretamente a economia da unidade. Avalie a eficácia da publicidade para diferentes coortes, regiões, páginas de destino e grupos de produtos.

6. Modelagem de atribuição

No OWOX BI, você pode conectar qualquer modelo de atribuição padrão aos seus relatórios, configurar um modelo de atribuição baseado em dados com base na previsão de conversão OWOX ou configurar um modelo personalizado para atender às suas regras e ao seu funil de vendas. Tudo isso pode ser feito facilmente na interface do produto sem a ajuda de engenheiros de dados.

Com as transformações de dados OWOX BI, você tem amplas oportunidades para medir o impacto das campanhas nas conversões:

• Escolha qualquer modelo de atribuição reconhecido pelo setor (último clique, primeiro clique, formato em U) a partir de modelos predefinidos
• Use o modelo de atribuição algorítmico baseado em funil
• Crie seus próprios modelos personalizados
• Crie relatórios com base em diferentes modelos de atribuição para comparar resultados

7. Conversão Modelada

Use a conversão modelada para medições sem cookies e previsões de conversão.

Para cumprir os requisitos do GDPR, o proprietário do site deve se recusar a identificar os usuários que não desejam compartilhar seus cookies e não clicar no botão mágico “Aceitar cookies”. Como resultado, o modo de consentimento reduz em 30% o número de conversões para as quais uma origem de tráfego pode ser determinada.

A modelagem de conversão ajuda a resolver esse problema. Primeiro, os sistemas de aprendizado de máquina processam os dados disponíveis e as estatísticas históricas. Em seguida, sabendo qual porcentagem de usuários permitiu que cookies fossem definidos e como esses usuários converteram, eles determinam o caminho de atribuição mais provável para aqueles que não o fizeram. Isso permite que você corresponda com mais precisão os resultados da campanha aos custos da campanha e, ao mesmo tempo, cumpra as decisões do usuário em relação aos cookies.

Para determinar a origem dessas transações inconsistentes, usamos um modelo de aprendizado de máquina treinado em dados consistentes, bem como parâmetros adicionais (User-Agent, Geo, Device e outros). Simplificando, o modelo analisa as conversões correspondentes com origens conhecidas e distribui proporcionalmente as conversões inconsistentes restantes para as origens e mídias que estão nos dados.

Não importa como você prepara os dados para relatórios, você sempre precisará:

• Controlar a lógica de transformação de dados
• Tenha uma imagem clara de como os dados estão inter-relacionados
• Identifique rapidamente causas de falha e atrasos na atualização de dados

Quanto mais ramificado for o armazenamento de dados interno, mais difícil será escrever qualquer lógica que colete dados prontos para os negócios — e mais difícil será para o analista gerenciar os dados. Sem uma ferramenta de orquestração conveniente, os analistas correm entre uma grande quantidade de dados, vários conectores e várias transformações e relatórios sem ter uma visão clara de como todos estão conectados. Como resultado, procurar e eliminar erros e discrepâncias leva muito tempo.

O OWOX BI Workspace permite que você gerencie o fluxo de dados em uma interface de usuário amigável para análise. Simplificamos todo o processo para oferecer aos analistas uma maneira completamente nova de trabalhar com dados. Os analistas podem ir desde obter dados brutos até visualizá-los por conta própria dentro do mesmo produto.

• Acompanhe como os dados são movidos e alterados de conectores para painéis
• Defina e controle a lógica de cálculo de métricas e transformação de dados em cada relatório
• Gerencie transformações SQL em poucos cliques
• Agende atualizações de dados para manter os dados atualizados
• Veja imediatamente qualquer erro ou atraso na atualização dos dados

Nosso produto não é uma caixa fechada que produz resultados incompreensíveis. Você obtém um gráfico claro de transformações que mostra claramente como seus dados estão se movendo, para onde e por quê. É fácil ver e influenciar a lógica de cálculo. Você não verá apenas o resultado: você entenderá como isso aconteceu.

Há certas coisas que os analistas não podem fazer sozinhos, como definir o modelo de atribuição, conectar novas fontes de dados e fazer transformações de dados difíceis. Para essas tarefas, é necessário um engenheiro de dados.

Personalizar e manter ferramentas de orquestração de transformação personalizadas, como Airflow ou dbt, requer engenheiros de dados — um recurso escasso. O uso de tais ferramentas é conveniente para desenvolvedores, mas não para analistas. Você pode ler mais sobre isso no artigo benn.substack.

É por isso que os analistas geralmente precisam esperar por ajuda, e os engenheiros de dados geralmente se distraem de suas tarefas principais. Tudo isso diminui o tempo de insights, impedindo que os usuários de negócios tomem decisões baseadas em dados a tempo.

OWOX oferece uma maneira completamente nova e mais eficiente de trabalhar com dados, na qual o analista se torna uma unidade de negócios autossuficiente e altamente eficaz. O analista obtém controle sobre todo o fluxo de trabalho com dados e pode realizar seus talentos em análise, em vez de ficar atolado em tarefas rotineiras.

Com o OWOX, você obtém dados precisos e prontos para os negócios em um formato pronto para SQL para explorar facilmente os insights, economizando tempo crítico para engenheiros e analistas. Você não precisa de um engenheiro de dados, pois o OWOX faz tudo automaticamente.

No caminho para um formato pronto para os negócios, há muito trabalho a ser feito com os dados. Além disso, os dados para relatórios devem ser atualizados regularmente. Para não desperdiçar o tempo dos analistas nessas tarefas rotineiras, é melhor automatizar todo o processo de trabalho com dados com a ajuda do OWOX BI e liberar o tempo de seus analistas para analisar dados e buscar insights.