Data Mesh vs. Data Fabric: o que é certo para sua organização?

Ter acesso em tempo real a dados relevantes ajuda as organizações a otimizar a sua produtividade e a fortalecer o seu posicionamento competitivo. O fácil acesso aos dados impulsiona esses resultados, promovendo a colaboração e permitindo que as equipes usem de forma eficaz as informações que coletam. A compilação de quantidades tão grandes de informações cria desafios de gerenciamento de dados que as organizações precisam encontrar uma maneira de contornar.

Data fabrics e data mesh são duas soluções comuns para esse problema. Qual é a diferença entre as duas abordagens? E o que é certo para sua organização? Vamos cavar.

Mais em Ciência de DadosMonte Carlo Tree Search: um guia

A arquitetura de malha de dados é uma estratégia de descentralização, ou seja, os dados são organizados por um domínio de negócio específico, com o objetivo de alcançar coerência entre múltiplas áreas de negócio. Este é principalmente um processo dirigido por humanos que envolve especialistas no assunto em dados que marcam informações, criam regras e identificam quem são os contribuidores. Estas são as pessoas que trabalham na equipe de dados e usam seus conhecimentos para criar os campos certos que se conectam aos processos de negócios. O objetivo é tentar melhorar a compreensão de todos sobre como consumir dados no nível empresarial ou como descobrir o que está acontecendo dentro dos seus dados e que pode estar afetando seus negócios.

Numa abordagem de malha de dados, em vez de depender de uma plataforma centralizada, uma empresa tem acesso a vários repositórios. Cada um deles é dedicado a um domínio ou departamento comercial específico, como compras. As malhas de dados também ajudam na mudança para ambientes nativos da nuvem. Isso porque, quando você controla melhor os dados que administram seus negócios, você pode entender o contexto do que precisa ser migrado ou do que pode precisar ser consolidado em uma mudança para a nuvem. A estrutura de malha de dados também pode ser facilmente ampliada pelas empresas à medida que seus requisitos de gerenciamento de dados mudam.

Uma estrutura de malha de dados funciona com data lakes, data warehouses e outros métodos convencionais de armazenamento de dados. As vantagens das arquiteturas de malha de dados incluem melhor controle de acesso e governança de informações (isto se aplica diretamente a áreas como conformidade e regulamentação). Eles também eliminam muitos gargalos de informação, típicos quando as empresas gerenciam seus dados com métodos centralizados e desatualizados.

As vantagens dos designs de malha de dados são atraentes para grandes empresas que lidam com conjuntos de dados extremamente complexos. Uma razão para isso é que as grandes empresas normalmente têm pessoas em funções e responsabilidades que são responsáveis ​​pelos principais objetos de dados mestres. Para essas empresas, seus processos de negócios dependem muito da correção dos dados. Uma malha de dados funciona bem aqui.

No entanto, para as empresas mais pequenas que processam dados menos complicados, poderá haver escolhas mais práticas fora da abordagem da malha de dados.

Uma abordagem de malha de dados é mais automatizada do que a malha de dados. Ela usa inteligência artificial e aprendizado de máquina em vez de depender de especialistas em dados.

Ao contrário da malha de dados, a malha de dados destina-se a suportar a integração ponta a ponta de diversos pipelines de dados. Esses pipelines são um método no qual os dados brutos são ingeridos de várias fontes de dados e depois movidos para um armazenamento de dados, como um data warehouse. Esse tipo de arquitetura permite integrações por meio do uso de sistemas automatizados e tecnologias de inteligência de ponta, como qualidade de dados, gerenciamento de dados mestres, gerenciamento de metadados e ferramentas de IA/ML.

Os administradores de dados podem unificar muitos aplicativos e sistemas usando uma abordagem de malha de dados. A integração de diferentes fontes de dados melhora a acessibilidade à informação, promove maior segurança e permite que as empresas protejam melhor os consumidores.

Uma abordagem de data fabric também tem a vantagem de permitir a análise do acesso e uso de dados em toda a empresa. Sugestões baseadas em padrões de uso, implementações de regras e disponibilidade de conjuntos de dados selecionados podem reduzir o tempo necessário para a descoberta dos dados específicos que um membro da equipe está procurando. A inteligência por trás de uma malha de dados pode destacar áreas fracas nos metadados, solicitando contribuições dos usuários corporativos ou sugerindo outros ativos de dados que podem ser relevantes para um usuário.