Dans les applications de test et de mesure, les ingénieurs et les scientifiques peuvent collecter de grandes quantités de données chaque seconde de chaque jour. Pour chaque seconde pendant laquelle le Grand collisionneur de hadrons du CERN exécute une expérience, l'instrument peut générer 40 téraoctets de données. Pour toutes les 30 minutes de fonctionnement d'un moteur à réaction Boeing, le système crée 10 téraoctets de données d'exploitation. Pour un seul voyage à travers l'océan Atlantique, un gros porteur quadrimoteur peut créer 640 téraoctets de données. Multipliez cela par plus de 25,000 2011 vols chaque jour et comprenez l'énorme quantité de données qui existe (Gantz, XNUMX). C'est "Big Data".
Tirer des conclusions précises et significatives à partir de telles quantités de données est un problème croissant, et le terme Big Data décrit le phénomène. Le Big Data apporte de nouveaux défis à l'analyse des données, à la recherche, au reporting et à la maintenance du système qui doivent être relevés pour suivre le rythme de la croissance exponentielle des données. La société de recherche technologique IDC a récemment mené une étude sur les données numériques, qui comprenait des fichiers de mesure, des vidéos, de la musique, etc. Cette étude estime que la quantité de données disponibles double tous les deux ans. Rien qu'en 2011, 1.8 zettaoctets (1E21 octets) de données ont été créés (Hadhazy, 2010). Pour avoir une idée de la taille de ce nombre, considérez ceci : si les 7 milliards de personnes sur Terre rejoignaient Twitter et envoyaient des messages en continu pendant un siècle, elles généreraient un zettabye de données. Près du double de ce montant a été généré en 2011 (Rogers, 2011).
Le fait que les données doublent tous les deux ans imite l'une des lois les plus célèbres de l'électronique : la loi de Moore. En 1965, Gordon Moore a déclaré que le nombre de transistors sur un circuit intégré doublerait environ tous les deux ans, et il s'attendait à ce que la tendance se poursuive "pendant au moins 10 ans". Quarante-cinq ans plus tard, la loi de Moore influence toujours de nombreux aspects de l'informatique et de l'électronique. Grâce à la loi de Moore, la technologie est plus accessible et les dernières innovations aident les ingénieurs et les scientifiques à capturer, analyser et stocker des données à des taux plus élevés que jamais. Considérez qu'en 1995, 20 pétaoctets d'espace total sur le disque dur ont été fabriqués. Aujourd'hui, Google traite plus de 25 pétaoctets d'informations chaque jour. De même, le coût de l'espace de stockage pour toutes ces données a chuté de façon exponentielle, passant de 228 $/Go en 1998 à 06 $/Go en 2010. De tels changements, combinés aux avancées technologiques résultant de la loi de Moore, stimulent certainement le phénomène du Big Data et augmentent la question « Comment extraire du sens d'une si grande quantité de données ?
Quelle est la valeur du Big Data ?
Une valeur intuitive de plus en plus de données est simplement que la signification statistique augmente. Les petits ensembles de données limitent souvent l'exactitude des conclusions et des prévisions. Considérez une mine d'or où seulement 20 % de l'or est visible. Les 80% restants sont dans la terre où vous ne pouvez pas le voir. L'exploitation minière est nécessaire pour réaliser la pleine valeur du contenu de la mine. Cela conduit au terme "saleté numérique" où les données numérisées peuvent avoir une valeur cachée. Par conséquent, l'exploration et l'analyse de données sont nécessaires pour obtenir de nouvelles informations qui n'ont jamais été vues auparavant.
Que signifient les mégadonnées pour les ingénieurs et les scientifiques ?
Les sources de grands volumes de données sont nombreuses. Cependant, le plus intéressant est le monde physique. Il s'agit de données analogiques capturées et numérisées par les produits NI. Par conséquent, vous pouvez les appeler « gros volumes de données analogiques » - dérivés de mesures de vibrations, de signaux RF, de température, de pression, de son, d'image, de lumière, de magnétisme, de tension, etc. Les ingénieurs et les scientifiques publient ce type de données en grande quantité, sous une grande variété de formes et souvent à grande vitesse.
NI aide les clients à acquérir des données à des débits pouvant atteindre des téraoctets par jour. Les grands volumes de données analogiques constituent un défi idéal pour les produits d'acquisition de données NI tels que le matériel NI CompactDAQ, CompactRIO et PXI, et les outils tels que les logiciels de conception de systèmes NI LabVIEW et NI DIAdem pour organiser, gérer, analyser et visualiser les données. Un avantage clé de ces produits est la capacité de traiter les données à la source de capture, souvent en temps réel.
Vous pouvez modifier dynamiquement ce traitement selon vos besoins pour répondre à différents besoins analytiques. Le matériel embarqué programmable tel que les FPGA offre un traitement reconfigurable haute performance littéralement sur les bornes matérielles de l'appareil de mesure. Cela permet aux résultats des données analytiques des systèmes informatiques d'entraîner un changement dans le type de traitement qui se produit dans les produits NI à la source de la capture des données.
Les solutions Big Data analogiques dépendent fortement des équipements informatiques tels que les serveurs, le stockage et les réseaux pour déplacer les données, les analyser et les archiver. Vous faites face à de grands défis pour créer des solutions de bout en bout qui nécessitent une relation plus étroite entre DAQ et IT.
En tant que leader de l'industrie, NI est positionné pour vous aider à relever vos défis Big Data en fournissant des solutions conviviales pour l'informatique et en publiant des données « prêtes pour le Big Data » pour une analyse dynamique ou au repos. Une chose est certaine, NI étend continuellement ses capacités en matière de gestion de données, d'administration de systèmes et de collaborations avec des fournisseurs informatiques pour relever le défi du Big Data.
Faites-nous part de vos besoins en Big Data sur ni.com/newsletter/nsi2402.
