Santander
Investigação e correção de dados em dashboard
Um dashboard da área de Recuperação de Crédito passou a apresentar valores inflados após uma mudança na origem dos dados. Para identificar a causa do problema, foi necessário investigar o caminho percorrido pelos dados desde suas fontes até os indicadores apresentados no Power BI.
A investigação envolveu análise das tabelas no Databricks, consultas SQL e entendimento da granularidade das diferentes bases utilizadas na construção dos indicadores.
Santander
Investigação e correção de dados em dashboard
Um dashboard da área de Recuperação de Crédito passou a apresentar valores inflados após uma mudança na origem dos dados. Para identificar a causa do problema, foi necessário investigar o caminho percorrido pelos dados desde suas fontes até os indicadores apresentados no Power BI.
A investigação envolveu análise das tabelas no Databricks, consultas SQL e entendimento da granularidade das diferentes bases utilizadas na construção dos indicadores.
Objetivo
Identificar a origem das inconsistências, entender como os relacionamentos entre as bases estavam impactando os resultados e garantir que os indicadores apresentados no dashboard refletissem corretamente as regras de negócio.
Solução
A investigação foi conduzida de forma retroativa, partindo do indicador apresentado no Power BI até chegar às tabelas de origem.
Foram analisadas as estruturas das bases Silver e Gold no Databricks, seus relacionamentos e diferentes níveis de granularidade. Durante o processo, foram identificadas três bases com comportamentos distintos, incluindo relações 1:1 e 1:N.
A partir da análise dos dados e da validação com as regras de negócio, foi identificada uma condição de filtragem que estava permitindo a multiplicação indevida de registros.
A consulta foi ajustada e os resultados foram novamente validados antes da atualização do dashboard.
Objetivo
Identificar a origem das inconsistências, entender como os relacionamentos entre as bases estavam impactando os resultados e garantir que os indicadores apresentados no dashboard refletissem corretamente as regras de negócio.
Solução
A investigação foi conduzida de forma retroativa, partindo do indicador apresentado no Power BI até chegar às tabelas de origem.
Foram analisadas as estruturas das bases Silver e Gold no Databricks, seus relacionamentos e diferentes níveis de granularidade. Durante o processo, foram identificadas três bases com comportamentos distintos, incluindo relações 1:1 e 1:N.
A partir da análise dos dados e da validação com as regras de negócio, foi identificada uma condição de filtragem que estava permitindo a multiplicação indevida de registros.
A consulta foi ajustada e os resultados foram novamente validados antes da atualização do dashboard.
Resultados
A correção eliminou mais de 4 milhões de registros duplicados, normalizando os indicadores apresentados no dashboard.
Além da correção do problema, o processo permitiu compreender melhor a estrutura das bases e os impactos que diferentes granularidades e relacionamentos podem gerar nos indicadores de negócio.
*Dados e informações sensíveis foram anonimizados ou substituídos nesta apresentação para preservar a confidencialidade do projeto.
Resultados
A correção eliminou mais de 4 milhões de registros duplicados, normalizando os indicadores apresentados no dashboard.
Além da correção do problema, o processo permitiu compreender melhor a estrutura das bases e os impactos que diferentes granularidades e relacionamentos podem gerar nos indicadores de negócio.
*Dados e informações sensíveis foram anonimizados ou substituídos nesta apresentação para preservar a confidencialidade do projeto.