Nota: Este artigo é apenas uma das mais de 60 seções do nosso relatório completo intitulado: The 2024 Legal AI Retrospective - Key Lessons from the Past Year. Faça o download do relatório completo para verificar as citações.
Dominância da Arquitetura Transformer
77% das empresas que utilizam NLP esperam aumentar seus investimentos em NLP.[64] A arquitetura transformer continua sendo a base da maioria dos modelos de NLP de última geração:
• Mecanismos de Atenção Aprimorados: Pesquisadores desenvolveram mecanismos de atenção mais eficientes, permitindo o processamento de sequências mais longas e um melhor tratamento das informações contextuais.[65]
• Sparse Transformers: Esses modelos ganharam espaço, oferecendo desempenho comparável ao dos transformers densos com menor exigência de recursos computacionais.[66]
Alex Denne, Head of Growth (Open Source Law) at GenieAI, is a legal tech leader and serial founder with over a decade of experience driving innovation and making legal services more accessible. Since joining in 2021, he has scaled the platform from 200 to over 120,000 users, combining deep contract law expertise with a data-driven, open-source approach. He is passionate about democratizing legal knowledge through AI, backed by strong academic credentials and experience leading major product and innovation initiatives.
