Les réseaux de neurones artificiels (ANN) sont très largement utilisés aujourd’hui, mais la question de leur structure optimale reste ouverte¹. Les méthodes classiques d’apprentissage machine utilisent des structures figées, formées de couches avec pas ou peu de boucles, souvent massivement parallèles afin de simplifier et d’accélérer la propagation dans le réseau. Ce sont alors les poids des liens qui s’adaptent lors d’une étape préliminaire d'entraînement du réseau.

D’autres méthodes, inspirées de l’évolution Darwinienne, utilisent des algorithmes génétiques pour générer à la fois la connectivité et les poids du réseau². Il n’y a alors pas d’ensemble d'entraînement, mais une fonction qui estime la performance du réseau (fitness) et le fait converger vers des solutions qui s’améliorent au fil des générations. Les réseaux obtenus ont généralement peu de nœuds et une structure assez complexe, sujette aux problèmes de convergence précoce et de bloat (complexification croissante de la structure sans gain réel de performance).

Dans ce stage une nouvelle approche de génération d’ANN sera explorée, dans laquelle un génome artificiel encodant un réseau cible sera utilisé pour générer des réseaux avec des variations probabilistes déterminées par un paramètre similaire à une température. Une fois ces réseaux évalués, il est possible de coupler les variations des poids de chaque lien à la variation globale de fitness et d’actualiser le génome par un processus de maximisation de la vraisemblance (maximum likelihood). Au fil des générations, et en abaissant progressivement la température afin d’éviter une convergence trop rapide, les ANN devraient évoluer vers des solutions à la fois compactes et localement optimales.

1.    Yegnanarayana, B. ARTIFICIAL NEURAL NETWORKS. (PHI Learning Pvt. Ltd., 2009).

2.    Stanley, K. O., Clune, J., Lehman, J. & Miikkulainen, R. Designing neural networks through neuroevolution. Nat Mach Intell 1, 24–35 (2019).