Como o gestor deve avaliar a IA

No setor de inteligência artificial, em rápida evolução e altamente competitivo – o ChatGPT que o diga –, os desenvolvedores precisam defender o grau de precisão de suas ferramentas de IA. Pode ser assustador para quem não é especialista avaliar essas ferramentas, então os líderes ficam tentados a confiar nas métricas de desempenho de alto nível publicadas em materiais de vendas. O problema é que isso geralmente leva a implementações decepcionantes e/ou arriscadas.

Ao longo de uma investigação de 11 meses, observamos gestores de uma importante organização de saúde enquanto conduziam estudos-piloto internos de cinco ferramentas de IA. Elas chegaram com promessas de resultados de desempenho impressionantes, mas alguns resultados foram péssimos. Analisando o processo de avaliação, descobrimos que um modo eficaz de determinar a qualidade de uma ferramenta de IA é examinar sua verdade básica.

ExclusivoEste conteúdo faz parte da edição #14 do MIT SMR Brasil.Já tem acesso? Fazer loginAssinarComprar edição