Auteur : Eldar Sido, spécialiste du marketing produit, Renesas Electronics
Les réseaux de neurones (NN) ont été inspirés par le cerveau et l'utilisation des terminologies des neurosciences (neurones et synapses) pour expliquer les réseaux de neurones a toujours été une source de plainte pour les neuroscientifiques, car la génération actuelle de réseaux de neurones est aux antipodes. le cerveau fonctionne. Malgré l'inspiration, la structure générale, les calculs neuronaux et les techniques d'apprentissage entre la deuxième génération actuelle de réseaux neuronaux et le cerveau différaient grandement. Cette comparaison a tellement bouleversé les neuroscientifiques qu'ils ont commencé à travailler sur la troisième génération de réseaux qui ressemblaient davantage au cerveau, appelés Spike Neural Networks (SNN) avec du matériel capable de les faire fonctionner, à savoir l'architecture neuromorphique.
Spiking des réseaux de neurones
Les SNN sont un type de réseau de neurones artificiels (ANN) qui s'inspirent plus étroitement du cerveau que leur homologue de deuxième génération avec une différence clé, en ce que les SNN sont des NN spatio-temporels, c'est-à-dire qu'ils tiennent compte du temps dans leur fonctionnement. Les SNN fonctionnent sur des pics discrets déterminés par une équation différentielle représentant divers processus biologiques. Le seuil critique se déclenche après que le potentiel membranaire du neurone est atteint (seuil de « déclenchement »), ce qui se produit lorsque des pointes sont déclenchées dans ce neurone à des séquences de temps spécifiques. De manière analogue, le cerveau se compose de 86 milliards d'unités de calcul appelées neurones, qui reçoivent des informations d'autres neurones via des dendrites, une fois que les entrées dépassent un certain seuil, le neurone se déclenche et envoie une impulsion électrique à travers une synapse, et le poids synaptique contrôle la propagation de l'impulsion envoyée au neurone suivant. Contrairement à d'autres réseaux de neurones artificiels, les neurones SNN se déclenchent de manière asynchrone sur différentes couches du réseau et arrivent à des moments différents où les informations se propagent traditionnellement à travers les couches dictées par l'horloge système. La propriété spatio-temporelle des SNN, ainsi que la nature discontinue des pointes, signifie que les modèles peuvent être distribués de manière plus clairsemée avec des neurones qui ne se connectent qu'aux neurones pertinents et utilisent le temps comme variable, permettant aux informations d'être codées de manière plus dense par rapport au binaire traditionnel d'ANN. codage. Ce qui rend les SNN plus puissants et plus efficaces en termes de calcul.
Le comportement asynchrone des SNN ainsi que la nécessité d'exécuter des équations différentielles sont exigeants en calcul sur le matériel traditionnel et une nouvelle architecture a dû être développée. C'est là qu'intervient l'architecture neuromorphique.
architecture neuromorphique
L'architecture neuromorphique est une architecture non Von Neuman inspirée du cerveau, composée de neurones et de synapses. Dans les ordinateurs neuromorphes, le traitement et le stockage des données se produisent dans la même région, atténuant le goulot d'étranglement de von Neuman qui ralentit les performances maximales que les architectures traditionnelles peuvent atteindre en raison de la nécessité de déplacer les données de la mémoire vers les unités de traitement à des vitesses relativement lentes. De plus, l'architecture neuromorphique prend en charge nativement les SNN et accepte les pics comme entrées, permettant aux informations d'être codées dans le temps d'arrivée, l'ampleur et la forme des pics. Ainsi, les principales caractéristiques des dispositifs neuromorphiques comprennent leur évolutivité inhérente, leur calcul basé sur les événements et leur stochasticité, car les neurones qui déclenchent peuvent avoir une impression d'aléatoire, ce qui rend l'architecture neuromorphique attrayante en raison de son fonctionnement à très faible puissance, qui fonctionne généralement à des amplitudes inférieures à systèmes informatiques traditionnels.
Prévisions du marché neuromorphique
Sur le plan technologique, les dispositifs neuromorphiques ont le potentiel de jouer un rôle important dans l'ère à venir de l'intelligence artificielle de périphérie et de point final. Pour comprendre la demande attendue de l'industrie, il est nécessaire d'examiner les prévisions de la recherche. Selon un rapport de Sheer Analytics & Insights, le marché mondial de l'informatique neuromorphique devrait atteindre 780 millions de dollars avec un TCAC de 50,3 % d'ici 2028 [1]. Mordor Intelligence, d'autre part, s'attend à ce que le marché atteigne 366 millions de dollars d'ici 2026 à un TCAC de 47,4% [2] et beaucoup plus d'études de marché peuvent être trouvées en ligne indiquant une augmentation similaire. Bien que les chiffres prévisionnels ne soient pas cohérents les uns avec les autres, une chose est cohérente, la demande de dispositifs neuromorphiques devrait augmenter considérablement dans les années à venir et les sociétés d'études de marché s'attendent à ce que diverses industries telles que l'industrie, l'automobile, le mobile et le médical adoptent des dispositifs neuromorphiques pour une variété d'applications.
TinyML neuromorphique
Étant donné que TinyML (Tiny Machine Learning) concerne l'exécution de ML et NN sur des appareils soumis à des contraintes strictes de mémoire/processeur, tels que les microcontrôleurs (MCU), il est naturel d'incorporer un noyau neuromorphique pour les cas d'utilisation de TinyML, car il en existe plusieurs. avantages distincts.
Les dispositifs neuromorphiques sont des processeurs basés sur des événements qui fonctionnent sur des événements non nuls. La convolution basée sur les événements et les produits scalaires sont beaucoup moins coûteux en termes de calcul, car les zéros ne sont pas traités. Les performances de convolution basées sur les événements sont encore améliorées avec plus de zéros dans les canaux de filtrage ou les noyaux. Ceci, ainsi que des fonctionnalités de déclenchement telles que Relu étant centré autour de zéro, fournit la propriété inhérente de rareté de déclenchement des processeurs basés sur les événements, réduisant ainsi les exigences MAC effectives.
De plus, à mesure que le traitement des dispositifs neuromorphiques augmente, une quantification plus restreinte, telle que la quantification à 1, 2 et 4 bits, peut être utilisée par rapport à la quantification conventionnelle à 8 bits dans ANN. De plus, comme les SNN sont intégrés dans le matériel, les dispositifs neuromorphiques (tels que l'Akida de Brainchip) ont la capacité d'apprentissage On-Edge unique. Ce n'est pas possible avec les appareils conventionnels, car ils ne simulent qu'un réseau neuronal d'architecture Von Neumann, ce qui rend l'apprentissage On-Edge coûteux en termes de calcul avec des surcharges de mémoire importantes, en dehors du budget des systèmes TinyML. De plus, pour former un modèle NN, les nombres entiers ne fourniraient pas une plage suffisante pour former un modèle avec précision, il n'est donc actuellement pas possible de former avec 8 bits sur des architectures traditionnelles. Pour les architectures traditionnelles, actuellement, certaines implémentations d'apprentissage en périphérie avec des algorithmes d'apprentissage automatique (auto-encodeurs, arbres de décision) ont atteint un stade de production pour des cas d'utilisation simples d'analyse en temps réel, tandis que les NN sont toujours à l'étude.
En résumé, les avantages de l'utilisation d'appareils neuromorphiques et de SNN On-Edge :
– Consommation d'énergie ultra faible (milli à microjoules par inférence)
– Exigences MAC inférieures par rapport aux NN conventionnels
- Moins d'utilisation de la mémoire des paramètres par rapport aux NN conventionnels
- Capacités d'apprentissage à la pointe
Cas d'utilisation de TinyML neuromorphique
En fin de compte, les microcontrôleurs dotés de cœurs neuromorphiques peuvent exceller dans des cas d'utilisation à l'échelle de l'industrie grâce à leurs fonctionnalités d'apprentissage de pointe distinctives, telles que :
- Dans les applications de détection d'anomalies pour les équipements industriels existants, où l'utilisation du cloud pour former un modèle est inefficace, l'ajout d'un dispositif d'IA de point de terminaison dans le moteur et la formation à la périphérie permettraient une évolutivité facile, car le vieillissement des équipements a tendance à différer d'une machine à l'autre. Même s'il s'agit du même modèle.
- En robotique, au fil du temps, les articulations des bras robotiques ont tendance à s'user, à se désaligner et à cesser de fonctionner au besoin. Réajuster le conducteur à la périphérie sans intervention humaine réduit la nécessité d'appeler un professionnel, réduit les temps d'arrêt et permet d'économiser du temps et de l'argent.
- Dans les applications de reconnaissance faciale, un utilisateur devrait ajouter son visage à l'ensemble de données et recycler le modèle dans le cloud. Avec seulement quelques instantanés du visage d'une personne, l'appareil neuromorphique peut identifier l'utilisateur final grâce à l'apprentissage On-Edge, permettant aux données des utilisateurs d'être sécurisées sur l'appareil avec une expérience plus fluide. Cela peut être utilisé dans les voitures, où différents utilisateurs ont des préférences différentes pour la position du siège, la climatisation, etc.
- Dans les applications de détection de mots clés, ajouter des mots supplémentaires que votre appareil doit reconnaître à la périphérie. Il peut être utilisé dans des applications biométriques, où une personne ajouterait un "mot secret" qu'elle aimerait garder en sécurité sur l'appareil.
L'équilibre entre la puissance ultra-faible des dispositifs d'extrémité neuromorphiques et les performances améliorées le rend adapté aux applications alimentées par batterie étendues, exécutant des algorithmes qui ne sont pas possibles sur d'autres dispositifs à faible puissance en raison de leur capacité de calcul limitée. Ou vice versa, avec des appareils haut de gamme capables d'une puissance de traitement similaire consommant trop d'énergie. Les cas d'utilisation incluent :
- Des montres intelligentes qui surveillent et traitent les données au point de terminaison, en envoyant uniquement les informations pertinentes au cloud.
- Capteurs de caméra intelligents pour la détection de personnes pour exécuter une commande logique. Par exemple, l'ouverture automatique des portes à l'approche d'une personne, puisque la technologie actuelle est basée sur des capteurs de proximité.
- Zone sans connectivité ni capacités de charge, comme dans les forêts pour le suivi intelligent des animaux ou la surveillance sous les pipelines océaniques pour détecter d'éventuelles fissures à l'aide de données sonores, visuelles et vibratoires en temps réel.
- Pour les cas d'utilisation de surveillance d'infrastructure, où un microcontrôleur neuromorphique peut être utilisé pour surveiller en continu le mouvement, les vibrations et les changements structurels dans les ponts (via l'imagerie) afin d'identifier les défaillances potentielles.
Conclusions
Renesas, en tant que leader des semi-conducteurs, a reconnu le grand potentiel des dispositifs neuromorphiques et des SNN, nous avons donc obtenu une licence pour un noyau neuromorphique de Brainchip [3], le premier producteur commercial au monde d'IP neuromorphique, comme l'a noté Sailesh Chittipeddi, notre vice-président exécutif président d'EEnews Europe, « En bas de gamme, nous avons ajouté un microcontrôleur ARM M33 et un réseau de neurones à pointes avec un cœur BrainChip sous licence pour certaines applications ; nous avons obtenu sous licence ce dont nous avons besoin pour autoriser BrainChip, y compris le logiciel pour lancer le bal. [4]
Par conséquent, alors que nous essayons d'innover et de développer les meilleurs appareils possibles sur le marché, nous sommes ravis de voir comment cette innovation contribuera à nous faciliter la vie.
