Nota: Este artigo é apenas uma das 60+ seções do nosso relatório completo intitulado: The 2024 Legal AI Retrospective - Key Lessons from the Past Year. Faça o download do relatório completo para verificar as citações.
Desafio: Definir Precisão
Digamos que você quisesse "Investigar se anexar o contrato inteiro ao prompt é a melhor prática em termos de precisão e da relação custo-benefício de fazer isso."
Para responder ao ponto sobre a relação custo-benefício aqui, seria necessário primeiro definir o custo da imprecisão. Maior risco de disputas, reclamações e honorários advocatícios associados, ou simplesmente as horas perdidas na verificação do trabalho para que esses outros resultados não ocorram?
Mas isso é mais fácil falar do que fazer.
"Precisão é uma métrica enganosa. Isso levou a uma busca por métricas diferentes que medem aspectos distintos do desempenho de Legal AI. Essa é uma tarefa complexa e há muitas métricas de classificação para medir diferentes nuances de desempenho (Akosa 2017; Holzmann and Klar 2024). Infelizmente, não existe uma métrica que funcione para todos os casos. No entanto, as seguintes estão entre as métricas de classificação mais comuns. Precisão é a razão entre as observações positivas previstas corretamente e o total de positivos previstos. É calculada como: Recall é a razão entre as observações positivas previstas corretamente e todas as observações da classe real. O F1 Score é a média harmônica entre Precisão e Recall.
Métricas como precisão, recall e F1 fornecem resultados diferentes dependendo de qual classe é tratada como positiva e qual é tratada como negativa"
Elifsu Parlan, AI Scientist, Reino Unido
