Data mesh cria um novo paradigma de gestão de dados

Os investimentos globais em big data e análise de dados devem chegar em US$ 215 bilhões em 2021, segundo projeção da International Data Corporation (IDC). Se for confirmado, o valor representa uma alta de 10,1% na comparação com 2020 – e ajuda a entender por que as empresas nunca acessaram tantos dados como hoje.

Entretanto, a evolução do setor esconde um problema: nunca foi tão difícil utilizar o poder computacional para tomar decisões em tempo real. Com um mundo de informações em mãos, o desafio é utilizá-las para gerar insights relevantes para o negócio. Isso depende, por exemplo, da diminuição da latência – o tempo para que as unidades interessadas tenham acesso aos dados dentro da corporação. Além do mais, é preciso comprovar e avaliar o retorno sobre os investimentos em infraestrutura e arquitetura de dados, o que nem sempre é tarefa fácil.

É nesse contexto que nasce o data mesh (malha de dados), conceito criado pela diretora de tecnologia da Thoughtworks, Zhamak Dehghani. As diferenças em relação às abordagens anteriores aparecem no nome. Por oposição ao foco acumulativo do data warehouse (armazém de dados) e do data lake (lago de dados), o data mesh funciona como os fios da indústria têxtil, que se entrelaçam para formar um tecido flexível e elástico.

O título do artigo que apresenta a ideia traz mais indicativos da sua proposta: "How to move beyond a monolithic data lake to a distributed data mesh" (“Como ir além do lago de dados monolítico para uma malha de dados distribuída”, em tradução livre). Como escreve Dehghani, os paradigmas vigentes funcionam para domínios simples. Os obstáculos surgem quando há um grande número de fontes e consumidores, por exemplo. É nessa frente que o data mesh ataca ao apresentar uma nova perspectiva organizacional da arquitetura de dados, descentralizando sua gestão.

Onde o data mesh ataca

Dehghani identifica uma série de lacunas nos modelos em voga até então. A maioria delas está ligada à centralização das informações nas equipes de tecnologia da informação (TI). Sem conexão com as áreas de negócio onde os dados são relevantes, os engenheiros trabalham isolados em silos. Assim, a velocidade e a qualidade das entregas diminuem.

Portanto, o problema não é a tecnologia, que segue evoluindo. Na verdade, trata-se de uma mudança de comportamento. “Mais de 92% dos executivos que fazem investimentos em data dizem que o desafio deles está em pessoas, processos e adoção de uma cultura data-driven”, relata Wigor Correia, diretor de dados e inteligência artificial da Thoughtworks.

O data mesh age sobre a cultura necessária para tornar uma empresa data-driven. O objetivo é democratizar a arquitetura de dados e, dessa maneira, fornecer insights mais ágeis para a tomada de decisões.

O paradigma parte de quatro princípios: propriedade de dados por domínios; dados como produto; plataforma de dados self-service; e governança computacional federada. Em linhas gerais, os princípios dão autonomia para as áreas operacionais, geram indicadores de monetização, distribuem a responsabilidade entre a organização e colocam o usuário mais perto dos dados.

“Para descentralizar as plataformas de dados monolíticas, precisamos reverter a forma como pensamos sobre os dados, sua localidade e propriedade”, escreve Dehghani. “Em vez de fluir os dados dos domínios para um data lake ou uma plataforma de propriedade central, os domínios devem hospedar e servir seu conjunto de dados de maneira facilmente consumível”.

A adoção do data mesh e a transformação digital do Grupo Globo

Em acelerada transformação digital, o Grupo Globo quer que conteúdo, negócios e tecnologia andem lado a lado em uma jornada apoiada por dados. A intenção é escalar os produtos digitais e o uso de dados e inteligência artificial em todas as frentes, como explicou o head da plataforma de dados e machine learning da Globo.com, Bruno Melo, em episódio do podcast “O futuro vem do futuro”, da MIT Sloan Review Brasil.

Antes, a empresa seguia uma lógica de silos. Os dados do jornalismo não eram acessíveis aos times de entretenimento, por exemplo. Havia muros entre as áreas de negócios e produtos. Conforme cresciam os investimentos, as equipes e as demandas por dados, percebeu-se que não adiantava aumentar o time centralizado de TI. Não havia como escalar a disponibilização de dados sem conhecer os domínios e a melhor linguagem para utilizar as informações.

“O data mesh cai como uma luva ao propor a descentralização desse trabalho. Parte do esforço vai para as pontas, para os donos dos domínios de dados. Eles naturalmente têm mais conhecimento sobre os dados e sabem como melhor modelá-los”, afirma Melo.

A adoção do novo paradigma aconteceu por etapas, iniciando por setores estratégicos. Analistas e cientistas de dados foram para as unidades de negócios para adquirir conhecimento do domínio. Em seguida, a engenharia de dados foi descentralizada, com profissionais como engenheiros de software e de machine learning trabalhando nas pontas. Pouco a pouco, criou-se uma governança federada e uma plataforma self-service.

“A democratização do acesso aos dados é mandatória. E o data mesh endereça três pontos: escala, ownership e qualidade de dados”, explica Melo. “Estamos colhendo os primeiros resultados desse paradigma em termos de qualidade de dados com o avanço da cultura data-driven.”

Para aprofundar seu conhecimento sobre os principais benefícios para as organizações na adoção deste paradigma de arquitetura de software, que permite a descentralização de dados, ouça o episódio Data mesh e a democratização dos dados nas organizações da trilogia de podcasts A democratização da tecnologia para modelos de negócio “future-ready”, co-produzido pela MIT Sloan Review Brasil e pela Thoughtworks.

Neste episódio Pedro Nascimento, membro do conselho editorial da MIT Sloan Review Brasil recebe Wigor Correia, diretor de dados e inteligência artificial da Thoughtworks, e Bruno Melo e Souza, head de plataforma de dados e machine learning da Globo.com para uma conversa sobre o data mesh e a criação de um novo paradigma para a gestão de dados. Para ouvir o episódio, clique aqui.

Gostou do artigo sobre data mesh? Confira como o uso da tecnologia vem moldando os modelos de negócios assinando gratuitamente nossas newsletters e ouvindo nossos podcasts na sua plataforma de streaming favorita.