Otimize apenas uma métrica de avaliação e satisfaça todas as outras

Thiago Candido

Cenário comum

Uma técnica específica é aplicada para alcançar os objetivos esperados em um projeto, porém nenhum resultado satisfatório é obtido. O time técnico, ao receber determinada demanda, realiza a análise e chega à seguinte conclusão: trata-se de um caso propício para um projeto de aprendizado de máquina. 

Após o projeto ser aprovado, levando em conta o tempo e o investimento necessários, são levantados os requisitos. E é aí que um cenário muito comum, mas de maneira alguma positivo, pode acontecer. Esse levantamento constitui uma lista semelhante a esta:

  • o modelo deve ter a maior precisão possível
  • o modelo deve ter o menor tempo de execução de inferência possível
  • o modelo deve ter o menor memory footprint possível

Alguns valores são utilizados para substituir os termos em negrito e normalmente são próximos do melhor resultado possível para determinada métrica. 

Tendo essas definições, o time começa o trabalho. Pergunto ao leitor: qual é o resultado que você acredita ser alcançado ao trabalhar em um projeto com tais requisitos, por mais experiente que o grupo de trabalho seja?

Resultado comum

Iteração atrás de iteração, e os requisitos não parecem ser atingidos. O modelo é preciso, mas não respeita o tempo de execução. Ao ser otimizado para atingir o tempo máximo permitido, acaba consumindo mais memória do que o ideal, ou tem uma precisão significativamente menor. No caso raro de todos os requisitos possuírem uma performance “ok”, a equipe se dividirá para otimizar as várias métricas e, com isso, as situações acima citadas podem acontecer repetidas vezes.

Atenção: um passo por vez!

Ao definirmos nossas métricas de avaliação, temos que trabalhar com dois conceitos importantes: métricas de otimização e métricas satisfatórias. 

A  métrica de otimização deve ser única no projeto, e as iterações de desenvolvimento para a melhoria do modelo devem possuí-la exclusivamente como foco principal de melhoria.

Já as métricas satisfatórias são tresholds que devemos utilizar como guias, mas não trabalhamos continuamente para otimizá-las. Utilizamos essas métricas como limites que não devem ser ultrapassados.

Na concepção do projeto e ao início de cada ciclo iterativo, defina qual a métrica de otimização e quais as satisfatórias

É muito importante que, ao começar o projeto ou uma nova iteração do mesmo para obter melhores resultados, o time possua uma visão clara, podendo distinguir facilmente entre os diferentes tipos de métricas. O trabalho de definição das métricas é diretamente relacionado aos resultados esperados de um novo projeto ou analogamente aos problemas levantados na análise dos resultados de um modelo gerado anteriormente.

Ao ter essa definição em mãos, a equipe será mais ágil, alcançará um resultado mais alinhado às expectativas e também possuirá um caminho claro para evoluir o modelo e, consequentemente, aumentar a assertividade em relação aos objetivos estabelecidos.

 

Compartilhe este insight:

Comentários

Participe deixando seu comentário sobre este artigo a seguir:

Subscribe
Notify of
guest
0 Comentários
Inline Feedbacks
View all comments

AUTOR

Thiago Candido
Especialista em inteligência artificial e engenharia de dados com experiência profissional na indústria e setor financeiro

NOVOS HORIZONTES PARA O SEU NEGÓCIO

Nosso time está preparado para superar junto com você grandes desafios tecnológicos.

Entre em contato e vamos juntos utilizar a tecnologia do jeito certo para gerar mais resultados.

Insights EximiaCo

Confira os conteúdos de negócios e tecnologia desenvolvidos pelos nossos consultores:

Engenharia de Software

Três vantagens reais de utilizar orquestradores BPM para serviços

Arquiteto de software e solução com larga experiência corporativa
Desenvolvimento de Software

Os principais desafios ao adotar testes

Especialista em Testes e Arquitetura de Software
Arquitetura de Dados

Insights de um DBA na análise de um plano de execução

Especialista em performance de Bancos de Dados de larga escala

Acesse nossos canais

Simplificamos, potencializamos e aceleramos resultados usando a tecnologia do jeito certo

EximiaCo 2022 – Todos os direitos reservados

0
Queremos saber a sua opinião, deixe seu comentáriox
()
x

Otimize apenas uma métrica de avaliação e satisfaça todas as outras

Para se candidatar nesta turma aberta, preencha o formulário a seguir:

Condição especial de pré-venda: R$ 14.000,00 - contratando a mentoria até até 31/01/2023 e R$ 15.000,00 - contratando a mentoria a partir de 01/02/2023, em até 12x com taxas.

Tenho interesse nessa capacitação

Para solicitar mais informações sobre essa capacitação para a sua empresa, preencha o formulário a seguir:

Tenho interesse em conversar

Se você está querendo gerar resultados através da tecnologia, preencha este formulário que um de nossos consultores entrará em contato com você:

O seu insight foi excluído com sucesso!

O seu insight foi excluído e não está mais disponível.

O seu insight foi salvo com sucesso!

Ele está na fila de espera, aguardando ser revisado para ter sua publicação programada.

Tenho interesse em conversar

Se você está querendo gerar resultados através da tecnologia, preencha este formulário que um de nossos consultores entrará em contato com você:

Tenho interesse nessa solução

Se você está procurando este tipo de solução para o seu negócio, preencha este formulário que um de nossos consultores entrará em contato com você:

Tenho interesse neste serviço

Se você está procurando este tipo de solução para o seu negócio, preencha este formulário que um de nossos consultores entrará em contato com você:

× Precisa de ajuda?