Otimize o “ROI” com Data Science usando ferramentas como o Azure Data Explorer

Thiago Candido

Para obter resultados com análise de dados, além de gente dedicada, é importante que ferramentas e técnicas certas sejam empregadas, reduzindo investimentos e acelerando a geração de resultados. Uma excelente ferramenta, que destaca-se por sua facilidade e rapidez, é o Azure Data Explorer: serviço que viabiliza a realização de análises em dados estruturados, semiestruturados e não estruturados.

O serviço da Microsoft integra com outras soluções de storage do Azure, como o Azure Data Lake Gen2, de maneira ágil, já no setup inicial. Sua configuração pode ser feita usando o portal do Azure, começando com a criação de um cluster onde serão vinculadas bases de dados de outros serviços ou pelo upload de arquivos locais.

Combinando velocidade, eficiência e a expressividade da linguagem KQL, que conta com várias funcionalidades integradas para realizar operações da área de data science, é possível consultar TBs de dados em instantes, via browser. Também é possível realizar consultas usando o SDK disponível para a linguagem Python.

KQL (Kusto Query Language)

Uma consulta Kusto é uma requisição somente leitura para processamento de dados e retorno de resultados. A consulta é feita em texto puro, usando um modelo de fluxo de dados projetado para fazer a sintaxe fácil de ler, produzir e automatizar. A consulta utiliza entidades do esquema que estão organizadas em uma hierarquia semelhante a SQL, com bancos de dados, tabelas e colunas.

Nos exemplos que seguem, exploramos dados de uma base de dados de repositórios do Github, contendo registros dos eventos que ocorrem em repositórios e seu detalhamento – como pull requests, a abertura de issues e comentários em pull requests, tipo de evento, payload, etc. Essa base de dados contém por volta de um bilhão de registros, totalizando 3 TBs.

Mesmo consultas complexas são completadas em pouco tempo (a consulta do exemplo tomou menos de dois segundos para ser concluída). Esta boa performance, em grande parte, é dada pela organização – compressão e indexação – dos dados que o serviço realiza em seu cluster de processamento.

O serviço também facilita a geração de visualizações gráficas. É possível criar o gráficos complexos, envovlendo agrupamentos e intervalos de tempo (muito comuns em bases contendo informações provenientes de dispositivos IoT).

Na próxima figura, uma consulta simples para detectar anomalias na base de dados.

O processo de exploração de dados para obtenção de valor pode custar caro se não for realizado de forma adequada. Com o Azure Data Explorer é possível analisar dados de maneira rápida, eficiente e com baixo custo, além integrar facilmente com o ecossistema de Big Data do Azure.

Em resumo

O fato
O processo de análise dos dados é essencial para qualquer organização que deseja extrair valor e insights das informações, revelando oportunidades de otimização do negócio ao mesmo tempo em que oferece maior compreensão sobre os dados.
O insight
A utilização de uma tecnologia ou serviço que não é adequado pode prejudicar o negócio, tanto em termos de custo quanto de prazos para a extração das informações. O Azure Data Explorer possibilita que o processo seja feito de maneira ágil, eficiente e com baixo custo.
Os benefícios
Por meio da utilização do serviço, é possível analisar em poucos segundos grandes conjuntos de dados estruturados, semi-estruturados e não estruturados com a linguagem KQL, por meio do browser, ou utilizando Python. Sua infraestrutura é gerenciada pelo Azure e integra facilmente com outros serviços de storage da nuvem da Microsoft.

Compartilhe este insight:

Comentários

Participe deixando seu comentário sobre este artigo a seguir:

Subscribe
Notify of
guest
0 Comentários
Inline Feedbacks
View all comments

AUTOR

Thiago Candido
Especialista em inteligência artificial e engenharia de dados com experiência profissional na indústria e setor financeiro

NOVOS HORIZONTES PARA O SEU NEGÓCIO

Nosso time está preparado para superar junto com você grandes desafios tecnológicos.

Entre em contato e vamos juntos utilizar a tecnologia do jeito certo para gerar mais resultados.

Insights EximiaCo

Confira os conteúdos de negócios e tecnologia desenvolvidos pelos nossos consultores:

Arquitetura de Dados

Insights de um DBA na análise de um plano de execução

Especialista em performance de Bancos de Dados de larga escala
Arquitetura de Software

Estratégias para modernização do legado

Desenvolvedor .NET/NodeJs e especialista em Kafka com experiência em startups e grandes empresas
Infraestrutura e Nuvem

Migração para a nuvem, mais do que mudança tecnológica, implica em mudança da cultura organizacional

Engenheiro de nuvem, arquiteto de software e especialista em Containers e Devops

Acesse nossos canais

Simplificamos, potencializamos e aceleramos resultados usando a tecnologia do jeito certo

EximiaCo 2022 – Todos os direitos reservados

0
Queremos saber a sua opinião, deixe seu comentáriox
()
x

Otimize o “ROI” com Data Science usando ferramentas como o Azure Data Explorer

Para se candidatar nesta turma aberta, preencha o formulário a seguir:

Condição especial de pré-venda: R$ 14.000,00 - contratando a mentoria até até 31/01/2023 e R$ 15.000,00 - contratando a mentoria a partir de 01/02/2023, em até 12x com taxas.

Tenho interesse nessa capacitação

Para solicitar mais informações sobre essa capacitação para a sua empresa, preencha o formulário a seguir:

Tenho interesse em conversar

Se você está querendo gerar resultados através da tecnologia, preencha este formulário que um de nossos consultores entrará em contato com você:

O seu insight foi excluído com sucesso!

O seu insight foi excluído e não está mais disponível.

O seu insight foi salvo com sucesso!

Ele está na fila de espera, aguardando ser revisado para ter sua publicação programada.

Tenho interesse em conversar

Se você está querendo gerar resultados através da tecnologia, preencha este formulário que um de nossos consultores entrará em contato com você:

Tenho interesse nessa solução

Se você está procurando este tipo de solução para o seu negócio, preencha este formulário que um de nossos consultores entrará em contato com você:

Tenho interesse neste serviço

Se você está procurando este tipo de solução para o seu negócio, preencha este formulário que um de nossos consultores entrará em contato com você:

× Precisa de ajuda?