Nota: Este artigo é apenas uma das 60+ seções do nosso relatório completo intitulado: The 2024 Legal AI Retrospective - Key Lessons from the Past Year. Faça o download do relatório completo para verificar as citações.
Desafio: Definir Precisão
Digamos que você quisesse "Investigar se anexar o contrato inteiro ao prompt é a melhor prática em termos de precisão e da relação custo-benefício de fazer isso."
Para responder ao ponto sobre a relação custo-benefício aqui, seria necessário primeiro definir o custo da imprecisão. Maior risco de disputas, reclamações e honorários advocatícios associados, ou simplesmente as horas perdidas na verificação do trabalho para que esses outros resultados não ocorram?
Mas isso é mais fácil falar do que fazer.
"Precisão é uma métrica enganosa. Isso levou a uma busca por métricas diferentes que medem aspectos distintos do desempenho de Legal AI. Essa é uma tarefa complexa e há muitas métricas de classificação para medir diferentes nuances de desempenho (Akosa 2017; Holzmann and Klar 2024). Infelizmente, não existe uma métrica que funcione para todos os casos. No entanto, as seguintes estão entre as métricas de classificação mais comuns. Precisão é a razão entre as observações positivas previstas corretamente e o total de positivos previstos. É calculada como: Recall é a razão entre as observações positivas previstas corretamente e todas as observações da classe real. O F1 Score é a média harmônica entre Precisão e Recall.
Métricas como precisão, recall e F1 fornecem resultados diferentes dependendo de qual classe é tratada como positiva e qual é tratada como negativa"
Elifsu Parlan, AI Scientist, Reino Unido
Alex Denne, Head of Growth (Open Source Law) at GenieAI, is a legal tech leader and serial founder with over a decade of experience driving innovation and making legal services more accessible. Since joining in 2021, he has scaled the platform from 200 to over 120,000 users, combining deep contract law expertise with a data-driven, open-source approach. He is passionate about democratizing legal knowledge through AI, backed by strong academic credentials and experience leading major product and innovation initiatives.
