Yann LeCun, renomado cientista-chefe de IA da Meta, revelou que a empresa “maquiou um pouco” os testes de benchmark de seu modelo Llama 4. A declaração, feita em entrevista ao Financial Times e repercutida pela Fast Company, aponta que diferentes versões do modelo foram usadas em benchmarks distintos para otimizar os resultados, gerando frustração interna e questionamentos sobre a liderança da Meta em inteligência artificial.
A controvérsia surge em um momento de intensa pressão para a Meta, que buscava reafirmar a proeminência de sua linha Llama frente a concorrentes como Anthropic, OpenAI e Google. A manipulação dos resultados, segundo LeCun, contribuiu para uma perda de confiança na liderança da Meta, incluindo o CEO Mark Zuckerberg, e resultou em uma reestruturação significativa da organização de IA da empresa.
Após o lançamento dos modelos Llama 4 em abril de 2025, pesquisadores independentes e testadores externos tentaram verificar as alegações de benchmark da Meta. Muitos encontraram resultados que não se alinhavam com os da empresa, levantando dúvidas se os modelos utilizados nos testes eram os mesmos disponibilizados ao público. Ahmad Al-Dahle, vice-presidente de IA generativa da Meta, negou a acusação, atribuindo as discrepâncias a diferenças nas implementações de nuvem dos modelos.
A reestruturação da Meta e o papel de Alexandr Wang
A insatisfação de Zuckerberg com o desempenho do Llama 4 levou a uma reformulação da área de IA da Meta em junho de 2025, com a criação da divisão Meta Superintelligence Labs (MSL). A Meta também investiu entre US$ 14,3 bilhões e US$ 15 bilhões para adquirir 49% da Scale AI, uma empresa de dados para treinamento de IA, e nomeou seu CEO, Alexandr Wang, de 28 anos, para liderar a MSL. LeCun, ganhador do Prêmio Turing por seu trabalho pioneiro em redes neurais, se viu reportando a Wang, o que gerou críticas do cientista sobre a inexperiência de Wang em pesquisa de ponta em IA.
Wang, que se tornou um bilionário aos 24 anos com a Scale AI, é visto por LeCun como “jovem” e “inexperiente” para liderar uma equipe de pesquisa de IA de elite. Esta mudança de liderança e a saída de LeCun da Meta para fundar sua própria startup, Advanced Machine Intelligence Labs, sublinham uma divergência filosófica sobre o futuro da IA. LeCun tem argumentado que grandes modelos de linguagem (LLMs) são um “beco sem saída” para a superinteligência, enquanto a nova direção da Meta, sob Wang, parece estar “completamente focada em LLMs”.
Implicações e o futuro dos benchmarks de IA
A admissão de LeCun sobre a manipulação dos benchmarks do Llama 4 levanta questões importantes sobre a transparência e a confiabilidade das avaliações de modelos de IA na indústria. Em um mercado onde o valor das ações pode ser influenciado pelo desempenho em benchmarks, a pressão para mostrar resultados superiores é imensa. Contudo, especialistas da indústria, como Dave Schubmehl, vice-presidente de pesquisa para IA e automação na IDC, alertam que as organizações precisam realizar sua própria diligência e avaliar as alegações de desempenho de IA, pois os ambientes operacionais e os dados podem alterar significativamente os resultados.
A controvérsia do Llama 4 e as críticas de LeCun a Alexandr Wang refletem tensões crescentes dentro da Meta e no cenário mais amplo da pesquisa em IA. A saída de talentos e as divergências sobre a estratégia de desenvolvimento de superinteligência indicam um período de transição para a Meta, que aposta em uma nova liderança e em aquisições bilionárias para impulsionar seus avanços em inteligência artificial.
A revelação de Yann LeCun sobre os benchmarks do Llama 4 destaca a complexidade e os desafios éticos na corrida pela supremacia em IA. Enquanto a Meta busca redefinir sua estratégia e liderança com a criação do Meta Superintelligence Labs e a nomeação de Alexandr Wang, o debate sobre a integridade dos testes de modelos e a direção futura da pesquisa em inteligência artificial permanece aberto, com implicações significativas para a inovação e a confiança no setor.
