Da sich KI-Endpunkte (oder TinyML) noch in einem frühen Stadium befinden und nur langsam von der Industrie übernommen werden, integrieren immer mehr Unternehmen KI in ihre Systeme, beispielsweise für die vorausschauende Wartung in Fabriken oder die Schlüsselworterkennung in der Unterhaltungselektronik. Aber mit dem Hinzufügen einer KI-Komponente zu Ihrem IoT-System müssen neue Sicherheitsmaßnahmen in Betracht gezogen werden. Das IoT ist so weit gereift, dass Sie unbesorgt zuverlässig Produkte auf den Markt bringen können, wobei Zertifizierungen wie PSA Certified™ die Gewissheit geben, dass Ihr geistiges Eigentum durch eine Vielzahl von Techniken wie isolierte Sicherheits-Engines und kryptografische Schlüsselspeicherung geschützt werden kann und Nutzung der Arm® TrustZone®. Solche Garantien finden sich in sicherheitsorientierten Mikrocontrollern (MCUs) mit skalierbaren hardwarebasierten Sicherheitsfunktionen, wie z. B. der RA-Familie von Renesas. Das Hinzufügen von KI führt jedoch zur Einführung neuer Bedrohungen, die sichere Bereiche befallen, insbesondere in Form von gegnerischen Angriffen.
Gegnerische Angriffe zielen auf die Komplexität von Deep-Learning-Modellen und die zugrunde liegende statistische Mathematik ab, um Schwachstellen zu schaffen und diese im Feld auszunutzen, was dazu führt, dass Teile des Modells, Trainingsdaten oder unerwartete Ergebnisse preisgegeben werden. Dies liegt an der Black-Box-Natur von Deep Neural Networks (DNNs), bei denen die Entscheidungsfindung in DNNs nicht transparent ist, d. h. „versteckte Schichten“ und Kunden nicht bereit sind, ihre Systeme durch Hinzufügen einer KI-Funktion zu riskieren, was die Verbreitung verlangsamt von Endpunkten. Adversarial-Angriffe unterscheiden sich von herkömmlichen Cyber-Angriffen dadurch, dass bei herkömmlichen Cyber-Sicherheitsbedrohungen Sicherheitsanalysten den Fehler im Quellcode beheben und umfassend dokumentieren können. Da es in DNNs keine spezifische Codezeile gibt, die Sie ansprechen können, wird es verständlicherweise schwierig.
Gegnerische Angriffe in der Popkultur sind in Star Wars zu sehen. Während der Klonkriege kann Order 66 als gegnerischer Angriff angesehen werden, bei dem sich die Klone während des Krieges wie erwartet verhielten, aber sobald der Befehl erteilt wurde, änderten sie sich und verursachten eine Flut im Krieg. .
Bemerkenswerte Beispiele finden sich in vielen Anwendungen, wie z. B. ein Forscherteam, das Aufkleber auf Stoppschilder klebt, wodurch die KI es als Geschwindigkeitsschild vorhersagt [1]. Eine solche Fehlklassifizierung kann zu Verkehrsunfällen und erhöhtem Misstrauen der Öffentlichkeit gegenüber dem Einsatz von KI in Systemen führen. Die Forscher konnten 100 % Fehlklassifizierung in einer Laborumgebung und 84,8 % in Feldtests erzielen, was zeigt, dass die Aufkleber ziemlich effektiv waren. Die ausgetricksten Algorithmen basierten auf Convolutional Neural Networks (CNNs), sodass sie auf andere Anwendungsfälle erweitert werden können, die CNN als Basis verwenden, wie z. B. Objekterkennung und Schlüsselworterkennung.
Ein weiteres Beispiel von Forschern der University of California, Berkley, zeigte, dass das Hinzufügen von Geräuschen oder Störungen zu Musik oder Sprache dazu führen würde, dass das KI-Modell sie als etwas anderes als die gespielte Musik falsch interpretiert oder etwas ganz anderes transkribiert, aber diese Störung ist für das menschliche Ohr unhörbar [2]. Dies kann böswillig in intelligenten Assistenten oder KI-Transkriptionsdiensten verwendet werden. Die Forscher haben die Audio-Wellenform reproduziert, die der ursprünglichen Audiodatei zu mehr als 99,9 % ähnlich ist, können aber mithilfe des DeepSpeech-Algorithmus von Mozilla jede Audiodatei ihrer Wahl mit einer Erfolgsquote von 100 % transkribieren.
Arten von gegnerischen Angriffen
Um die vielen Arten von gegnerischen Angriffen zu verstehen, sollte man sich die konventionelle TinyML-Entwicklungspipeline ansehen, wie in Abbildung 3 gezeigt, wo das Training zunächst offline durchgeführt wird, typischerweise in der Cloud, gefolgt von der ausgefeilten ausführbaren Binärdatei, die schließlich auf der MCU angezeigt wird und über API-Aufrufe verwendet. Der Workflow erfordert einen Machine Learning Engineer und einen Embedded Engineer. Da diese Ingenieure in der Regel in getrennten Teams arbeiten, kann die neue Sicherheitslandschaft zu Verwirrung hinsichtlich der Aufteilung der Verantwortlichkeiten zwischen den verschiedenen Beteiligten führen.
Gegnerische Angriffe können in der Trainings- oder Inferenzphase auftreten. Während des Trainings könnte ein böswilliger Angreifer eine „Modellvergiftung“ versuchen, die gezielt oder ungezielt sein kann. Bei der gezielten Modellvergiftung würde ein Angreifer das KI-Basismodell/den Trainingsdatensatz verunreinigen, was zu einer „Hintertür“ führt, die durch beliebige Eingaben ausgelöst werden kann, um eine bestimmte Ausgabe zu erhalten, aber mit den erwarteten Eingaben einwandfrei funktioniert. Eine Verschmutzung könnte eine kleine Störung sein, die den erwarteten Betrieb (z. B. Modellgenauigkeit, Inferenzraten usw.) des Modells nicht beeinträchtigt und den Eindruck erwecken würde, dass keine Probleme vorliegen. Dies erfordert auch nicht, dass der Angreifer einen Klon des Trainingssystems nimmt und bereitstellt, um den Vorgang zu überprüfen, da das System selbst kontaminiert wurde und jedes System, das das vergiftete Modell/den vergifteten Datensatz verwendet, durchdringend beeinträchtigen würde. Dies war der Angriff gegen die Klone in Star Wars.
Ziellose Modellvergiftung oder byzantinische Angriffe treten auf, wenn der Angreifer beabsichtigt, die Leistung (Genauigkeit) des Modells zu verringern und das Training zu blockieren. Dies würde erfordern, zu einem Punkt zurückzukehren, bevor das Modell/der Datensatz kompromittiert wurde (möglicherweise von Anfang an).
Zusätzlich zum Offline-Training ist föderiertes Lernen, eine Technik, bei der von Endpunkten gesammelte Daten verwendet werden, um das Cloud-Modell neu zu trainieren/verbessern, aufgrund seiner dezentralen Verarbeitung von Natur aus anfällig, was es Angreifern ermöglicht, sich mit kompromittierten Endpunktgeräten zu beschäftigen, die in die Cloud führen . Das Modell ist kompromittiert. Dies könnte große Auswirkungen haben, da dasselbe Cloud-Modell auf Millionen von Geräten verwendet werden könnte.
Während der Inferenzphase kann sich ein Hacker für die Technik der „Modellumgehung“ entscheiden, bei der er das Modell (z. B. ein Bild) interaktiv abfragt und der Eingabe etwas Rauschen hinzufügt, um zu verstehen, wie sich das Modell verhält. Auf diese Weise könnte der Hacker möglicherweise ein bestimmtes/erforderliches Ergebnis erhalten, d. h. eine logische Entscheidung, nachdem er seine Eingaben oft genug angepasst hat, ohne die erwartete Eingabe zu verwenden. Eine solche Abfrage könnte auch für die "Modellinversion" verwendet werden, bei der auf ähnliche Weise Informationen über das Modell oder Trainingsdaten extrahiert werden.
Risikoanalyse während der Entwicklung AI TinyML
Für die Inferenzphase sind gegnerische Angriffe auf KI-Modelle ein aktives Forschungsfeld, in dem sich Wissenschaft und Industrie zusammengeschlossen haben, um an diesen Themen zu arbeiten, und „ATLAS – Adversarial Threat Landscape for Artificial-Intelligence Systems!“ entwickelt haben, eine Matrix, die dies ermöglicht Cybersicherheitsanalysten, um das Risiko ihrer Modelle einzuschätzen. Es besteht auch aus Anwendungsfällen in der gesamten Branche, einschließlich Edge-KI. Das Lernen aus den bereitgestellten Fallstudien vermittelt Entwicklern/Produkteigentümern ein Verständnis dafür, wie sich dies auf ihren Anwendungsfall auswirken würde, bewertet Risiken und ergreift zusätzliche vorsorgliche Sicherheitsmaßnahmen, um Kundenbedenken auszuräumen. KI-Modelle müssen als anfällig für solche Angriffe angesehen werden und eine sorgfältige Risikobewertung muss von verschiedenen Interessengruppen durchgeführt werden.
In der Trainingsphase würde die Sicherstellung, dass Datensätze und Modelle aus vertrauenswürdigen Quellen stammen, das Risiko einer Daten-/Modellvergiftung mindern. Solche Modelle/Daten sollten im Allgemeinen von seriösen Softwareanbietern bereitgestellt werden. Ein ML-Modell kann auch unter Berücksichtigung der Sicherheit trainiert werden, wodurch das Modell robuster wird, ähnlich wie bei einem Brute-Force-Ansatz für das gegnerische Training, bei dem das Modell an vielen gegnerischen Beispielen trainiert wird und lernt, sich gegen sie zu verteidigen. Cleverhans, eine Open-Source-Schulungsbibliothek, die zum Erstellen solcher Beispiele zum Angriff, zur Verteidigung und zum Benchmarking eines Modells für gegnerische Angriffe verwendet wird, wurde entwickelt und in der Wissenschaft eingesetzt. Verteidigungsdestillation ist eine weitere Methode, bei der ein Modell aus einem größeren Modell trainiert wird, um Wahrscheinlichkeiten verschiedener Klassen zu generieren, anstatt harte Entscheidungen zu treffen, die es dem Gegner erschweren, das Modell auszunutzen. Beide Methoden können jedoch mit genügend Rechenleistung aufgeschlüsselt werden.
Schützen Sie Ihr geistiges Eigentum an KI
Manchmal sind Unternehmen besorgt über die böswilligen Absichten von Wettbewerbern, die Funktions-/Modell-IP zu stehlen, die in einem Gerät gespeichert ist, für das das Unternehmen F&E-Budget ausgegeben hat. Sobald das Modell trainiert und poliert ist, wird es in eine binäre ausführbare Datei umgewandelt, die auf der MCU gespeichert ist und mit herkömmlichen IoT-Sicherheitsmaßnahmen geschützt werden kann, wie z. B. dem Schutz der physischen Schnittstellen des Chips, der Softwareverschlüsselung und der Verwendung von TrustZone. Eine wichtige Sache ist jedoch zu beachten: Selbst wenn die ausführbare Binärdatei gestohlen werden sollte, ist es nur das endgültig polierte Modell, das für einen bestimmten Anwendungsfall entwickelt wurde, der leicht als Urheberrechtsverletzung identifiziert werden kann, und Reverse Engineering würde mehr Aufwand erfordern als mit einem Basismodell von Grund auf neu zu beginnen.
Auch in der TinyML-Entwicklung sind KI-Modelle in der Regel bekannte Open Source-Modelle wie MobileNet, die dann über eine Vielzahl von Hyperparametern optimiert werden können. Datensätze hingegen werden sicher aufbewahrt, da sie wertvolle Schätze sind, für deren Erwerb Unternehmen Ressourcen aufwenden und die für einen bestimmten Anwendungsfall spezifisch sind. Beispielsweise das Hinzufügen von Begrenzungsrahmen zu interessierenden Bereichen in Bildern. Generalisierte Datensätze sind auch als Open Source verfügbar, z. B. CIFAR, ImageNet usw. Sie eignen sich gut zum Vergleichen verschiedener Modelle, aber benutzerdefinierte Datensätze sollten für die Entwicklung spezifischer Anwendungsfälle verwendet werden. Beispielsweise würde für ein visuelles Aktivierungswort in einer Büroumgebung ein isolierter Datensatz in einer Büroumgebung das optimale Ergebnis liefern.
Zusammenfassung
Da TinyML weiter wächst, ist es gut, sich der verschiedenen Angriffe bewusst zu sein, die auf KI-Modelle auftreten können, wie sie sich auf Ihre TinyML-Entwicklung und spezifische Anwendungsfälle auswirken können. ML-Modelle haben inzwischen eine hohe Genauigkeit erreicht, aber für die Implementierung ist es wichtig sicherzustellen, dass Ihre Modelle auch robust sind. Während der Entwicklung teilen sich beide Parteien (ML-Ingenieure und Embedded-Ingenieure) die Verantwortung für Cybersicherheitsfragen, einschließlich KI. Wo sich ML-Ingenieure während des Trainings auf Angriffe konzentrieren würden und Embedded-Ingenieure den Schutz vor Inferenzangriffen gewährleisten würden.
Für das Modell des geistigen Eigentums (IP) ist es ein entscheidendes Element sicherzustellen, dass Trainingsdatensätze sicher aufbewahrt werden, um zu verhindern, dass Konkurrenten ähnliche Modelle für ähnliche Anwendungsfälle entwickeln können. Die ausführbare Binärdatei, d. h. das IP-Modell auf dem Gerät, kann mit den branchenführenden IoT-Sicherheitsmaßnahmen geschützt werden, für die die Renesas RA-Familie bekannt ist, wodurch der Zugriff auf Informationen in böswilligen Absichten sehr erschwert wird Weg.
