Note : Cet article n'est qu'une des 60+ sections de notre rapport complet intitulé : The 2024 Legal AI Retrospective - Key Lessons from the Past Year. Veuillez télécharger le rapport complet pour vérifier les citations.
Dominance de l'architecture Transformer
77 % des entreprises utilisant le NLP prévoient d'augmenter leurs investissements dans le NLP.[64] L'architecture Transformer continue d'être la base de la plupart des modèles NLP de pointe :
• Mécanismes d'attention améliorés : les chercheurs ont développé des mécanismes d'attention plus efficaces, permettant le traitement de séquences plus longues et une meilleure gestion des informations contextuelles.[65]
• Sparse Transformers : ces modèles ont gagné en popularité, offrant des performances comparables aux transformers denses tout en nécessitant moins de ressources informatiques.[66]
Alex Denne, Head of Growth (Open Source Law) at GenieAI, is a legal tech leader and serial founder with over a decade of experience driving innovation and making legal services more accessible. Since joining in 2021, he has scaled the platform from 200 to over 120,000 users, combining deep contract law expertise with a data-driven, open-source approach. He is passionate about democratizing legal knowledge through AI, backed by strong academic credentials and experience leading major product and innovation initiatives.
