Produzir análises estratégicas a partir de bases de dados transacionais sempre foi um desafio. Tradicionalmente, a resolução envolve a estruturação de bases de dados dedicada, apartadas da “pressão” da operação e processos estruturados de ETL (Extração-Transformação-Carga) para alimentá-las.
Uma solução da Microsoft, para essa demanda, é o Azure Synapse Analytics. Trata-se de uma ferramenta que lida com a orquestração de dados, desde a ingestão até a disponibilização dos resultados de análises, de maneira integrada e surpreendentemente fácil.
No serviço, a integração com bases de dados pode ser realizada utilizando um dos mais de 90 conectores integrados. A etapa de análise pode ser realizada de maneira extremamente eficiente, sendo até 14 vezes mais rápida e com o custo 94% menor do que competidores, de acordo com a Microsoft, por meio do uso otimizado de queries SQL e do .NET para o Apache Spark.
A disponibilização dos resultados pode ser realizada por meio de painéis do PowerBI ou em serviços, como o AzureML, para aplicação de técnicas de aprendizado automático. Há, ainda, o Synapse Studio, uma plataforma web para a construção de soluções analíticas completas de forma end-to-end, contemplando todas etapas do processo de análise em um único lugar.
No BUILD 2020, a Microsoft anunciou o primeiro HTAP de cloud do mercado: Azure Synapse Link. O serviço facilita ainda mais a integração entre bases de dados e o Synapse Analytics, possibilitando a realização de análises praticamente em tempo real, sem os custos de desenvolvimento, manutenção ou operação de uma estrutura ETL.
HTAP - Hybrid transaction/analytical processing
O termo, cunhado pela Gartner, é definido da seguinte forma: “O processamento analítico/de transações híbrido (HTAP) é uma arquitetura de aplicativo emergente que “quebra barreiras” entre o processamento e a análise de transações. Permite decisões mais informadas e “em tempo real nos negócios”.
O Synapse Link integra de maneira transparente a base de dados e disponibiliza capacidades de análise sem que o ambiente produtivo seja impactado em termos de utilização de recursos ou performance, trazendo insights em, praticamente, tempo real. Isso é realizado por meio da sincronização nativa dos dados do ambiente produtivo com uma base otimizada para a realização de queries e análises. Com isso, os insights obtidos são ainda mais precisos quando comparados a análise realizada em uma estrutura ETL convencional.
No momento, o Synapse Link está em preview e suporta o banco Cosmos DB, do Azure. Para utilizar o serviço, basta um clique.
O uso do Azure Synapse Analytics para a construção fluxos de análise de dados, de maneira fácil, potencializa a criação de painéis analíticos, integração dos dados com serviços de machine learning ou para a obtenção de métricas, de forma eficiente, é uma ótima escolha, não apenas para ambientes Azure mas para todas aplicações que lidam com grandes volumes de dados.
ETLs podem resultar em um acréscimo de complexidade nos sistemas, tanto no desenvolvimento quanto em sua operação. Além disso, há também os custos do provisionamento de infraestrutura. O Azure Synapse Link, com uma solução inédita no mercado, reduz os custos e a complexidade de manter estruturas de ETL, ao mesmo tempo que traz dados de maneira contínua, melhorando a qualidade dos insights gerados pela análise dos dados.
