Facebook a développé une méthode pour qu'un réseau de neurones puisse oublier des informations inutiles

Facebook AI (FAIR), la division de recherche en intelligence artificielle de Facebook, a créé une nouvelle méthode pour permettre à un réseau de neurones d'oublier les détails inutiles pour ne conserver que les informations essentielles, ce qui permet d'augmenter la taille de sa mémoire et de réduire la quantité de calcul nécessaire pour effectuer une tâche donné.

Les chercheurs viennent de publier leurs travaux dans un article scientifique intitulé "Not All Memories are Created Equal : Learning to Forget by Expiring".

S'inspirer de la mémoire humaine
Contrairement à la mémoire humaine, la plupart des réseaux de neurones traitent l'information indifféremment c'est-à-dire sans distinguer l'information capitale des détails inutiles qui utilisent de la mémoire pour rien. C'est la raison pour laquelle les chercheurs de Facebook se sont penchés sur cette problématique et ont créé le modèle "Expire Span". 

Des chercheurs ont déjà travaillé sur ce sujet en créant des méthodes pour trier puis supprimer l'information considérée comme accessoire. L'une d'elle, baptisée "Compressive Transformer", permet de compresser les informations les plus éloignées qui, en d'autres termes, ne vont plus servir. Mais cette méthode altère l'ensemble de l'information. C'est la force d'Expire Span qui est capable de supprimer les détails non pertinents du réseau de neurones de façon progressive et continue. 

Les scientifiques de Facebook prennent l'exemple d'un modèle dont la tâche serait de trouver la porte de couleur jaune. Sans Expire Span, il trouverait cette porte en se reposant sur une série d'informations relatives aux autres portes de couleurs, qui sont en réalité des données complètement inutiles pour accomplir la tâche finale. Avec Expire Span, le modèle n'aura besoin que de se souvenir de la porte jaune pour y accéder. 
 

Fixer une date d'expiration des informations
Cette méthode fonctionne en fixant une date d'expiration en prédisant les informations les plus pertinentes nécessaire pour accomplir la tâche. Ainsi, appliqué à une tâche de prédiction des mots, il est possible d'apprendre à un système d'apprentissage automatique de ne se souvenir que des mots rares, tels que les noms, tout en oubliant les mots courants, tels que les déterminants. Grâce au contenu précédent, il sera capable de prédire si tel ou tel mot peut être progressivement oublié ou non. 
 

 

Facebook AI a comparé Expire Span aux méthodes existantes permettant à un modèle d'oublier certaines données. La conclusion est la suivante : cette nouvelle méthode permet de conserver moins d'information tout en offrant de meilleurs performances. 
 

Expire Span offre des perspectives intéressantes pour ce que l'on appelle le traitement automatique du langage (TAL), une branche de l'intelligence artificielle dont l'objectif est de modéliser le langage qu'il soit écrit ou parlé. Il est particulièrement pertinent pour la compréhension de longues conversations et la lecture de livres.