Note : Cet article n'est qu'une des 60+ sections de notre rapport complet intitulé : The 2024 Legal AI Retrospective - Key Lessons from the Past Year. Veuillez télécharger le rapport complet pour vérifier les citations.
Dominance de l'architecture Transformer
77 % des entreprises utilisant le NLP prévoient d'augmenter leurs investissements dans le NLP.[64] L'architecture Transformer continue d'être la base de la plupart des modèles NLP de pointe :
• Mécanismes d'attention améliorés : les chercheurs ont développé des mécanismes d'attention plus efficaces, permettant le traitement de séquences plus longues et une meilleure gestion des informations contextuelles.[65]
• Sparse Transformers : ces modèles ont gagné en popularité, offrant des performances comparables aux transformers denses tout en nécessitant moins de ressources informatiques.[66]
