Otimize apenas uma métrica de avaliação e satisfaça todas as outras

Cenário comum

Uma técnica específica é aplicada para alcançar os objetivos esperados em um projeto, porém nenhum resultado satisfatório é obtido. O time técnico, ao receber determinada demanda, realiza a análise e chega à seguinte conclusão: trata-se de um caso propício para um projeto de aprendizado de máquina. 

Após o projeto ser aprovado, levando em conta o tempo e o investimento necessários, são levantados os requisitos. E é aí que um cenário muito comum, mas de maneira alguma positivo, pode acontecer. Esse levantamento constitui uma lista semelhante a esta:

  • o modelo deve ter a maior precisão possível
  • o modelo deve ter o menor tempo de execução de inferência possível
  • o modelo deve ter o menor memory footprint possível

Alguns valores são utilizados para substituir os termos em negrito e normalmente são próximos do melhor resultado possível para determinada métrica. 

Tendo essas definições, o time começa o trabalho. Pergunto ao leitor: qual é o resultado que você acredita ser alcançado ao trabalhar em um projeto com tais requisitos, por mais experiente que o grupo de trabalho seja?

Resultado comum

Iteração atrás de iteração, e os requisitos não parecem ser atingidos. O modelo é preciso, mas não respeita o tempo de execução. Ao ser otimizado para atingir o tempo máximo permitido, acaba consumindo mais memória do que o ideal, ou tem uma precisão significativamente menor. No caso raro de todos os requisitos possuírem uma performance “ok”, a equipe se dividirá para otimizar as várias métricas e, com isso, as situações acima citadas podem acontecer repetidas vezes.

Atenção: um passo por vez!

Ao definirmos nossas métricas de avaliação, temos que trabalhar com dois conceitos importantes: métricas de otimização e métricas satisfatórias. 

A  métrica de otimização deve ser única no projeto, e as iterações de desenvolvimento para a melhoria do modelo devem possuí-la exclusivamente como foco principal de melhoria.

Já as métricas satisfatórias são tresholds que devemos utilizar como guias, mas não trabalhamos continuamente para otimizá-las. Utilizamos essas métricas como limites que não devem ser ultrapassados.

Na concepção do projeto e ao início de cada ciclo iterativo, defina qual a métrica de otimização e quais as satisfatórias

É muito importante que, ao começar o projeto ou uma nova iteração do mesmo para obter melhores resultados, o time possua uma visão clara, podendo distinguir facilmente entre os diferentes tipos de métricas. O trabalho de definição das métricas é diretamente relacionado aos resultados esperados de um novo projeto ou analogamente aos problemas levantados na análise dos resultados de um modelo gerado anteriormente.

Ao ter essa definição em mãos, a equipe será mais ágil, alcançará um resultado mais alinhado às expectativas e também possuirá um caminho claro para evoluir o modelo e, consequentemente, aumentar a assertividade em relação aos objetivos estabelecidos.

 

Compartilhe este insight:

Comentários

Participe deixando seu comentário sobre este artigo a seguir:

Subscribe
Notify of
guest
0 Comentários
Inline Feedbacks
View all comments

AUTOR

Thiago Candido
Especialista em inteligência artificial e engenharia de dados com experiência profissional na indústria e setor financeiro

NOVOS HORIZONTES PARA O SEU NEGÓCIO

Nosso time está preparado para superar junto com você grandes desafios tecnológicos.

Entre em contato e vamos juntos utilizar a tecnologia do jeito certo para gerar mais resultados.

Insights EximiaCo

Confira os conteúdos de negócios e tecnologia desenvolvidos pelos nossos consultores:

Arquivo

Pós-pandemia, trabalho remoto e a retenção dos profissionais de TI

CTO Consulting e Especialista em Execução em TI
EximiaCo 2024 - Todos os direitos reservados
0
Queremos saber a sua opinião, deixe seu comentáriox
()
x
Oferta de pré-venda!

Mentoria em
Arquitetura de Software

Práticas, padrões & técnicas para Arquitetura de Software, de maneira efetiva, com base em cenários reais para profissionais envolvidos no projeto e implantação de software.

Muito obrigado!

Deu tudo certo com seu envio!
Logo entraremos em contato

Otimize apenas uma métrica de avaliação e satisfaça todas as outras

Para se candidatar nesta turma aberta, preencha o formulário a seguir:

Otimize apenas uma métrica de avaliação e satisfaça todas as outras

Para se candidatar nesta turma aberta, preencha o formulário a seguir:

Condição especial de pré-venda: R$ 14.000,00 - contratando a mentoria até até 31/01/2023 e R$ 15.000,00 - contratando a mentoria a partir de 01/02/2023, em até 12x com taxas.

Tenho interesse nessa capacitação

Para solicitar mais informações sobre essa capacitação para a sua empresa, preencha o formulário a seguir:

Tenho interesse em conversar

Se você está querendo gerar resultados através da tecnologia, preencha este formulário que um de nossos consultores entrará em contato com você:

O seu insight foi excluído com sucesso!

O seu insight foi excluído e não está mais disponível.

O seu insight foi salvo com sucesso!

Ele está na fila de espera, aguardando ser revisado para ter sua publicação programada.

Tenho interesse em conversar

Se você está querendo gerar resultados através da tecnologia, preencha este formulário que um de nossos consultores entrará em contato com você:

Tenho interesse nessa solução

Se você está procurando este tipo de solução para o seu negócio, preencha este formulário que um de nossos consultores entrará em contato com você:

Tenho interesse neste serviço

Se você está procurando este tipo de solução para o seu negócio, preencha este formulário que um de nossos consultores entrará em contato com você:

× Precisa de ajuda?