Meta trabalhando em IA que processa fala e texto com a mesma eficiência das pessoas

Em colaboração com o centro de neuroimagem Neurospin (CEA) e o Inria, Meta disse que está comparando como os modelos de linguagem de IA e o cérebro respondem às mesmas frases faladas ou escritas.

Nos últimos dois anos, a Meta aplicou técnicas de aprendizado profundo a conjuntos de dados públicos de neuroimagem para analisar como o cérebro processa palavras e frases.

As crianças aprendem que “laranja” pode se referir tanto a uma fruta quanto a uma cor em alguns exemplos, mas os sistemas modernos de IA não podem fazer isso com a mesma eficiência das pessoas.

A meta pesquisa descobriu que os modelos de linguagem que mais se assemelham à atividade cerebral são aqueles que melhor predizem a próxima palavra do contexto (como era uma vez).

“Enquanto o cérebro antecipa palavras e ideias muito à frente no tempo, a maioria dos modelos de linguagem é treinada para prever apenas a próxima palavra”, disse a empresa.

Desbloquear esse recurso de previsão de longo prazo pode ajudar a melhorar os modelos modernos de linguagem de IA.

Meta revelou recentemente evidências de previsões de longo alcance no cérebro, uma habilidade que ainda desafia os modelos de linguagem de hoje.

Para a frase “Era uma vez…”, a maioria dos modelos de linguagem hoje normalmente prevê a próxima palavra, “tempo”, mas eles ainda são limitados em sua capacidade de antecipar ideias, tramas e narrativas complexas, como as pessoas fazem.

Em colaboração com o Inria, a equipe de pesquisa da Meta comparou uma variedade de modelos de linguagem com as respostas cerebrais de 345 voluntários que ouviram narrativas complexas enquanto eram gravados com fMRI.

“Nossos resultados mostraram que regiões específicas do cérebro são melhor explicadas por modelos de linguagem aprimorados com palavras distantes no futuro”, disse a equipe.

FacebookTwitterLinkedin