fbData mesh cria um novo paradigma de gestão de dados MIT Sloan Review Brasil

Business content

5 min de leitura

Data mesh cria um novo paradigma de gestão de dados

Proposta democratiza a arquitetura de dados, aumentando a agilidade e o impacto nos negócios

Luiz Eduardo Kochhann

09 de Fevereiro

Compartilhar:
Artigo Data mesh cria um novo paradigma de gestão de dados

Os investimentos globais em big data e análise de dados devem chegar em US$ 215 bilhões em 2021, segundo projeção da International Data Corporation (IDC). Se for confirmado, o valor representa uma alta de 10,1% na comparação com 2020 – e ajuda a entender por que as empresas nunca acessaram tantos dados como hoje.

Entretanto, a evolução do setor esconde um problema: nunca foi tão difícil utilizar o poder computacional para tomar decisões em tempo real. Com um mundo de informações em mãos, o desafio é utilizá-las para gerar insights relevantes para o negócio. Isso depende, por exemplo, da diminuição da latência – o tempo para que as unidades interessadas tenham acesso aos dados dentro da corporação. Além do mais, é preciso comprovar e avaliar o retorno sobre os investimentos em infraestrutura e arquitetura de dados, o que nem sempre é tarefa fácil.

É nesse contexto que nasce o data mesh (malha de dados), conceito criado pela diretora de tecnologia da Thoughtworks, Zhamak Dehghani. As diferenças em relação às abordagens anteriores aparecem no nome. Por oposição ao foco acumulativo do data warehouse (armazém de dados) e do data lake (lago de dados), o data mesh funciona como os fios da indústria têxtil, que se entrelaçam para formar um tecido flexível e elástico.

O título do artigo que apresenta a ideia traz mais indicativos da sua proposta: "How to move beyond a monolithic data lake to a distributed data mesh" (“Como ir além do lago de dados monolítico para uma malha de dados distribuída”, em tradução livre). Como escreve Dehghani, os paradigmas vigentes funcionam para domínios simples. Os obstáculos surgem quando há um grande número de fontes e consumidores, por exemplo. É nessa frente que o data mesh ataca ao apresentar uma nova perspectiva organizacional da arquitetura de dados, descentralizando sua gestão.

Onde o data mesh ataca

Dehghani identifica uma série de lacunas nos modelos em voga até então. A maioria delas está ligada à centralização das informações nas equipes de tecnologia da informação (TI). Sem conexão com as áreas de negócio onde os dados são relevantes, os engenheiros trabalham isolados em silos. Assim, a velocidade e a qualidade das entregas diminuem.

Portanto, o problema não é a tecnologia, que segue evoluindo. Na verdade, trata-se de uma mudança de comportamento. “Mais de 92% dos executivos que fazem investimentos em data dizem que o desafio deles está em pessoas, processos e adoção de uma cultura data-driven”, relata Wigor Correia, diretor de dados e inteligência artificial da Thoughtworks.

O data mesh age sobre a cultura necessária para tornar uma empresa data-driven. O objetivo é democratizar a arquitetura de dados e, dessa maneira, fornecer insights mais ágeis para a tomada de decisões.

O paradigma parte de quatro princípios: propriedade de dados por domínios; dados como produto; plataforma de dados self-service; e governança computacional federada. Em linhas gerais, os princípios dão autonomia para as áreas operacionais, geram indicadores de monetização, distribuem a responsabilidade entre a organização e colocam o usuário mais perto dos dados.

“Para descentralizar as plataformas de dados monolíticas, precisamos reverter a forma como pensamos sobre os dados, sua localidade e propriedade”, escreve Dehghani. “Em vez de fluir os dados dos domínios para um data lake ou uma plataforma de propriedade central, os domínios devem hospedar e servir seu conjunto de dados de maneira facilmente consumível”.

A adoção do data mesh e a transformação digital do Grupo Globo

Em acelerada transformação digital, o Grupo Globo quer que conteúdo, negócios e tecnologia andem lado a lado em uma jornada apoiada por dados. A intenção é escalar os produtos digitais e o uso de dados e inteligência artificial em todas as frentes, como explicou o head da plataforma de dados e machine learning da Globo.com, Bruno Melo, em episódio do podcast “O futuro vem do futuro”, da MIT Sloan Review Brasil.

Antes, a empresa seguia uma lógica de silos. Os dados do jornalismo não eram acessíveis aos times de entretenimento, por exemplo. Havia muros entre as áreas de negócios e produtos. Conforme cresciam os investimentos, as equipes e as demandas por dados, percebeu-se que não adiantava aumentar o time centralizado de TI. Não havia como escalar a disponibilização de dados sem conhecer os domínios e a melhor linguagem para utilizar as informações.

“O data mesh cai como uma luva ao propor a descentralização desse trabalho. Parte do esforço vai para as pontas, para os donos dos domínios de dados. Eles naturalmente têm mais conhecimento sobre os dados e sabem como melhor modelá-los”, afirma Melo.

A adoção do novo paradigma aconteceu por etapas, iniciando por setores estratégicos. Analistas e cientistas de dados foram para as unidades de negócios para adquirir conhecimento do domínio. Em seguida, a engenharia de dados foi descentralizada, com profissionais como engenheiros de software e de machine learning trabalhando nas pontas. Pouco a pouco, criou-se uma governança federada e uma plataforma self-service.

“A democratização do acesso aos dados é mandatória. E o data mesh endereça três pontos: escala, ownership e qualidade de dados”, explica Melo. “Estamos colhendo os primeiros resultados desse paradigma em termos de qualidade de dados com o avanço da cultura data-driven.”

Para aprofundar seu conhecimento sobre os principais benefícios para as organizações na adoção deste paradigma de arquitetura de software, que permite a descentralização de dados, ouça o episódio Data mesh e a democratização dos dados nas organizações da trilogia de podcasts A democratização da tecnologia para modelos de negócio “future-ready”, co-produzido pela MIT Sloan Review Brasil e pela Thoughtworks.

Neste episódio Pedro Nascimento, membro do conselho editorial da MIT Sloan Review Brasil recebe Wigor Correia, diretor de dados e inteligência artificial da Thoughtworks, e Bruno Melo e Souza, head de plataforma de dados e machine learning da Globo.com para uma conversa sobre o data mesh e a criação de um novo paradigma para a gestão de dados. Para ouvir o episódio, clique aqui.

Gostou do artigo sobre data mesh? Confira como o uso da tecnologia vem moldando os modelos de negócios assinando gratuitamente nossas newsletters e ouvindo nossos podcasts na sua plataforma de streaming favorita.

Compartilhar:

Autoria

Luiz Eduardo Kochhann

É colaborador da MIT Sloan Review Brasil.

Artigos relacionados

Imagem de capa Menos é mais na migração de dados

Dados e analytics

16 Maio | 2022

Menos é mais na migração de dados

Apenas três princípios são necessários para agilizar a transferência de dados e, com isso, acelerar a inovação

Konstantinos Varsos, Neil McConachie, Salena Hess e Ethan Murray

4 min de leitura

Imagem de capa “No metaverso, governança é tão importante quanto inovação”

Governança

11 Abril | 2022

“No metaverso, governança é tão importante quanto inovação”

CEO e fundador da Bravo GRC explica como a atualização de protocolos eletrônicos de segurança acelera o progresso das interfaces de realidade virtual

Rodrigo Oliveira

7 min de leitura

Imagem de capa Modernização de aplicações: como acelerar a transformação digital?

Business content

31 Março | 2022

Modernização de aplicações: como acelerar a transformação digital?

O modelo de negócio deve ser repensado para se obter o melhor de um programa de modernização, que deve ser realizado de forma progressiva, balanceada e orientada

Renata Proença

3 min de leitura

Imagem de capa Atendimento cognitivo: de onde viemos e para onde vamos

Business content

18 Março | 2022

Atendimento cognitivo: de onde viemos e para onde vamos

Em nome das experiências sem ruído, os negócios incorporam chatbots em seus atendimentos. Mas eles precisam de equipes preparadas para lidar com modelos estatísticos, algoritmos de IA, NLP e ciência de dados

Claudia Nolla Kirszberg

7 min de leitura

Imagem de capa Novas versões para os velhos modelos de negócio high touch

Business content

11 Março | 2022

Novas versões para os velhos modelos de negócio high touch

Não se sabe ainda se esta era será marcada pelo distanciamento social, mas essa possibilidade faz com que acrescentar tecnologias a serviços de alto contato tradicionais seja um negócio promissor

Matt Josefy

4 min de leitura