Nota: Este artículo es solo una de las más de 60 secciones de nuestro informe completo titulado: The 2024 Legal AI Retrospective - Key Lessons from the Past Year. Por favor, descargue el informe completo para consultar las referencias.
Dominio de la Arquitectura Transformer
El 77% de las empresas que utilizan NLP esperan aumentar su inversión en NLP.[64] La arquitectura transformer ha seguido siendo la base de la mayoría de los modelos NLP más avanzados:
• Mecanismos de Atención Mejorados: Los investigadores han desarrollado mecanismos de atención más eficientes, que permiten procesar secuencias más largas y gestionar mejor la información contextual.[65]
• Sparse Transformers: Estos modelos han ganado terreno, ofreciendo un rendimiento comparable al de los transformers densos con menos recursos computacionales.[66]
Alex Denne, Head of Growth (Open Source Law) at GenieAI, is a legal tech leader and serial founder with over a decade of experience driving innovation and making legal services more accessible. Since joining in 2021, he has scaled the platform from 200 to over 120,000 users, combining deep contract law expertise with a data-driven, open-source approach. He is passionate about democratizing legal knowledge through AI, backed by strong academic credentials and experience leading major product and innovation initiatives.
