Une façon pour les concepteurs d'augmenter rapidement leurs ressources informatiques de périphérie sans dépendre du cloud consiste à utiliser les capacités de traitement parallèle inhérentes aux FPGA pour améliorer les performances du réseau neuronal. De plus, en utilisant des FPGA à faible densité optimisés pour une faible puissance et livrés dans des boîtiers compacts, les concepteurs peuvent s'adapter aux contraintes de puissance et d'espace associées aux nouvelles applications grand public et industrielles. Par exemple, les familles de produits iCE40 UltraPlus™ et ECP5™ de Lattice permettent le développement de solutions de pointe qui consomment entre 1 mW et 1 W sur des plates-formes matérielles compactes allant de 5,5 mm2 à 100 mm2.
Caractérisés par leur très faible consommation, leurs hautes performances et leur précision, ainsi que leur large compatibilité avec les interfaces plus anciennes, ces FPGA offrent aux développeurs de dispositifs de pointe la flexibilité dont ils ont besoin pour modifier les exigences de conception. Pour répondre à ce besoin et accélérer le développement, Lattice a intégré sensAI™, la première solution sur le marché qui donne aux concepteurs tous les outils dont ils ont besoin pour développer des appareils de périphérie basse consommation et hautes performances pour les maisons, les usines et les voitures intelligentes.
Conçu pour répondre au besoin croissant d'appareils de pointe avec prise en charge de l'IA (intelligence artificielle), sensAI offre une solution matérielle et logicielle complète pour mettre en œuvre des fonctionnalités toujours actives et à faible consommation d'énergie dans les appareils intelligents fonctionnant à la périphérie du réseau. Introduite en 2018, la solution a été conçue pour créer une nouvelle conception ou mettre à jour une conception existante avec une inférence d'IA à faible consommation optimisée pour ces nouvelles exigences d'application. En quoi consiste cet écosystème de design complet ? Premièrement, les plates-formes matérielles modulaires de Lattice telles que l'iCE40 UPduino 2.0 avec HM01B0 Shield et le kit de développement de vision embarquée (EVDK) basé sur ECP5 fournissent une base solide pour le développement d'applications.
L'UPduino peut être utilisé dans les conceptions d'IA qui consomment aussi peu que quelques milliwatts, tandis que l'EVDK cible les applications avec une consommation plus élevée mais généralement inférieure à 1 W. L'IP logicielle peut être reproduite facilement sur un FPGA pour accélérer le développement du réseau de neurones. En ce sens, le package de développement sensAI inclut l'IP d'un accélérateur compact de réseau neuronal convolutif (CNN) qui permet aux concepteurs de mettre en œuvre des applications d'apprentissage en profondeur sur le FPGA iCE40 UltraPlus. sensAI propose également un cœur IP d'accélérateur configurable RNC qui peut être implémenté sur les FPGA Lattice ECP5. Ces adresses IP permettent une quantification variable qui, à son tour, donne aux concepteurs la possibilité de trouver un compromis entre la précision et la consommation des données. La solution sensAI de Lattice offre aux concepteurs la possibilité d'explorer les options de conception et de trouver la meilleure combinaison avec un flux d'outils facile à utiliser. Les concepteurs peuvent former le réseau à l'aide de frameworks standard tels que Caffe, TensorFlow et Keras.
L'environnement de développement propose également un compilateur de réseau neuronal qui reproduit le modèle du réseau formé en virgule fixe qui prend en charge la quantification variable des évaluations et des activations. Les concepteurs peuvent utiliser le compilateur pour aider à analyser, simuler et compiler différents types de réseaux pour une implémentation dans les cœurs IP Lattice Accelerator sans expérience RTL préalable. Les concepteurs peuvent ensuite se tourner vers leurs outils de conception FPGA traditionnels, tels que Radiant et Diamond de Lattice, pour appliquer la conception au FPGA dans son ensemble. Pour accélérer la mise en œuvre de la conception, sensAI propose une gamme croissante de conceptions de référence et de démonstrations. La liste se compose de conceptions et de démonstrations pour la reconnaissance faciale, la détection des gestes de la main, la détection de mots clés, la détection de présence humaine, le suivi du visage, le comptage d'objets et la détection des panneaux de vitesse. Enfin, les équipes de conception ont souvent besoin de connaissances spécialisées pour réaliser une conception. Pour répondre à ce besoin, Lattice a conclu des accords avec un certain nombre de prestataires de services de conception dans diverses zones géographiques pour offrir une assistance locale aux clients s'ils ne disposent pas des connaissances nécessaires en IA et en apprentissage automatique.
améliorations importantes
Dans le but de répondre à ces exigences de performances croissantes pour l'IA à la périphérie, Lattice a annoncé des améliorations significatives des performances et du flux de conception de sensAI en 2019. Cette version révisée décuple les performances par rapport à la version initiale grâce à de multiples facteurs, tels que optimisation de l'accès à la mémoire avec une IP RNC mise à jour et un compilateur de réseau neuronal avec des fonctionnalités telles que la quantification 8 bits, la fusion intelligente des couches et les moteurs DSP doubles. Dans la dernière version, la séquence d'accès à la mémoire a été considérablement améliorée après la mise à jour du compilateur de réseau neuronal pour prendre en charge les données d'entrée 8 bits. Cela réduit non seulement de moitié l'accès à la mémoire externe, mais permet également d'utiliser des images à plus haute résolution comme données d'entrée, ce qui augmente la précision dans l'application finale.
Lattice a optimisé la couche de convolution dans le réseau neuronal sensAI pour augmenter encore les performances en réduisant le temps total nécessaire pour calculer les convolutions. Lattice a doublé le nombre de moteurs de convolution dans ses appareils, ce qui peut réduire le temps de convolution d'environ 50 % selon les estimations. Étant donné que Lattice a amélioré les performances sans augmenter la puissance, les concepteurs ont désormais la possibilité d'adopter un dispositif moins fermé de la famille de FPGA ECP5 de Lattice sans pénaliser la puissance. Des démos optimisées aident à refléter cette performance accrue.
Une démo de détection de présence humaine, optimisée pour minimiser la consommation d'énergie et intégrant un capteur d'image CMOS, offre une résolution de 64 x 64 x 3 en utilisant un réseau VGG8. Le système fonctionne à cinq images par seconde et ne dissipe que 7 mW à l'aide d'un FPGA iCE40 UltraPlus. Une deuxième démo aux performances optimisées cible les applications de comptage de personnes, intégrant également un capteur d'image CMOS et offrant une résolution de 128 x 128 x 3 à l'aide d'un réseau VGG8. Cette démo tourne à 30 images par seconde et dissipe 850 mW avec un FPGA ECP5-85K. L'expérience utilisateur transparente de sensAI permet de nouveaux modèles de réseaux neuronaux, des environnements d'apprentissage automatique et des cycles de conception plus rapides.
De nouvelles conceptions de référence personnalisables simplifient le développement de solutions de pointe communes telles que le comptage d'objets et la détection de présence, tandis qu'un nombre croissant de fournisseurs de conception fournissent des services de conception importants. Avec ces mises en page, Lattice fournit désormais aux développeurs tous les composants clés dont ils ont besoin pour reproduire ou modifier facilement leur mise en page. À titre d'exemple, le schéma fonctionnel suivant montre l'offre complète de composants Lattice, comprenant des modèles de formation, des ensembles de données de formation, des scripts de formation, une adresse IP de réseau neuronal mise à jour et un compilateur de réseau neuronal mis à jour.
Dans le cadre de son engagement à fournir une expérience utilisateur irréprochable, Lattice a amélioré sa prise en charge des environnements d'apprentissage automatique. Initialement, sensAI prenait en charge Caffe et TensorFlow, tandis que son successeur ajoute la prise en charge de Keras, un réseau de neurones open source écrit en Python et conçu pour s'exécuter sur TensorFlow, Microsoft Cognition Toolkit ou Theano. Essayant d'aider les ingénieurs à tester rapidement avec des réseaux de neurones profonds, Keras simplifie le prototypage rapide en offrant un environnement très facile à utiliser, modulaire et extensible. Conçu à l'origine comme une interface plutôt qu'un environnement autonome pour l'apprentissage automatique, il offre aux développeurs un haut niveau d'abstraction qui accélère le développement de modèles d'apprentissage en profondeur. Pour le rendre encore plus facile à utiliser, Lattice a mis à jour le compilateur de réseau neuronal sensAI pour sélectionner automatiquement les bits de fraction les plus précis lors de la conversion d'un modèle d'apprentissage automatique dans le fichier du micrologiciel.
Les mises à jour de sensAI sont également fournies avec un outil de débogage matériel permettant aux utilisateurs de lire et d'écrire chaque couche du réseau. Après la simulation logicielle, les ingénieurs veulent également savoir comment leur réseau fonctionnera sur du matériel réel. Grâce à cet outil, les ingénieurs peuvent voir les résultats sur du matériel réel en quelques minutes. De plus, la dernière version de sensAI est prise en charge par un nombre croissant d'entreprises qui fournissent des services de conception et des compétences en développement de produits optimisés pour les appareils de périphérie à faible consommation d'énergie. Ces entreprises peuvent aider les clients à amener les dispositifs d'IA à la pointe, soit en mettant à jour les conceptions existantes, soit en développant des solutions entièrement nouvelles pour certaines applications.
Conclusion
Il est évident que les prochaines années seront cruciales pour le développement du marché des appareils intelligents et toujours actifs à la périphérie. À mesure que les applications deviennent plus complexes, les concepteurs auront besoin d'outils capables d'atteindre des niveaux de performance plus élevés avec une faible consommation d'énergie. La dernière version de la technologie sensAI de Lattice, ainsi que les FPGA ECP5 et iCE40 UltraPlus, fournissent aux concepteurs les plates-formes matérielles, IP, outils logiciels, conceptions de référence et services de conception dont ils auront besoin pour exceller vos concurrents et développer rapidement des solutions performantes.
