Note : Cet article n'est qu'une des 60+ sections de notre rapport complet intitulé : The 2024 Legal AI Retrospective - Key Lessons from the Past Year. Veuillez télécharger le rapport complet pour vérifier les citations.
Défi : Définir la précision
Supposons que vous souhaitiez « Déterminer si l'ajout de l'intégralité du contrat dans le prompt constitue la meilleure pratique en termes de précision et du compromis coût-performance associé. »
Pour répondre à la question du compromis coût-performance, vous devriez d'abord définir le coût de l'imprécision. S'agit-il d'un risque accru de litiges, de réclamations et de frais juridiques associés, ou simplement des heures perdues à vérifier le travail pour éviter que ces autres situations ne surviennent ?
Mais c'est plus facile à dire qu'à faire.
« La précision est une métrique trompeuse. Cela a conduit à la recherche de différentes métriques mesurant différents aspects de la performance de la Legal AI. Il s'agit d'une tâche complexe et il existe de nombreuses métriques de classification pour mesurer différentes nuances de performance (Akosa 2017 ; Holzmann and Klar 2024). Il n'existe malheureusement pas de métrique universelle. Cependant, les métriques de classification suivantes sont parmi les plus courantes. La précision est le ratio des observations positives correctement prédites par rapport au total des positifs prédits. Le rappel est le ratio des observations positives correctement prédites par rapport à l'ensemble des observations de la classe réelle. Le score F1 est la moyenne harmonique de la précision et du rappel.
Des métriques telles que la précision, le rappel et le F1 donnent des résultats différents selon la classe traitée comme positive et celle traitée comme négative. »
Elifsu Parlan, AI Scientist, Royaume-Uni
