Nota: Questo articolo è solo una delle 60+ sezioni del nostro report completo intitolato: The 2024 Legal AI Retrospective - Key Lessons from the Past Year. Si prega di scaricare il report completo per verificare le citazioni.
Sfida: Definire l'Accuratezza
Supponiamo che tu voglia "Verificare se aggiungere l'intero contratto al prompt sia la best practice in termini di accuratezza e del compromesso costo-prestazioni nel farlo."
Per rispondere al punto sul compromesso costo-prestazioni, occorrerebbe prima definire il costo dell'imprecisione. Un rischio più elevato di controversie, rivendicazioni e relative spese legali, o semplicemente le ore perse nel verificare il lavoro per evitare che questi altri scenari si verifichino?
Ma è più facile a dirsi che a farsi.
"L'accuratezza è una metrica fuorviante. Ciò ha portato alla ricerca di metriche diverse che misurano aspetti differenti delle prestazioni della Legal AI. Si tratta di un compito complesso e vi sono molte metriche di classificazione per misurare le diverse sfumature delle prestazioni (Akosa 2017; Holzmann and Klar 2024). Purtroppo non esiste una metrica universalmente valida. Tuttavia, le seguenti sono alcune delle metriche di classificazione più comuni. La Precision è il rapporto tra le osservazioni positive correttamente previste e il totale delle previsioni positive. La Recall è il rapporto tra le osservazioni positive correttamente previste e tutte le osservazioni della classe effettiva. L'F1 Score è la media armonica di Precision e Recall.
Metriche come precision, recall e F1 forniscono risultati diversi a seconda di quale classe viene trattata come positiva e quale come negativa"
Elifsu Parlan, AI Scientist, UK
Alex Denne, Head of Growth (Open Source Law) at GenieAI, is a legal tech leader and serial founder with over a decade of experience driving innovation and making legal services more accessible. Since joining in 2021, he has scaled the platform from 200 to over 120,000 users, combining deep contract law expertise with a data-driven, open-source approach. He is passionate about democratizing legal knowledge through AI, backed by strong academic credentials and experience leading major product and innovation initiatives.
