Raspberry Pi AI Kit – Ein NPU Prozessor zum aufrüsten

Was ist eine NPU:

Eine NPU, oder Neural Processing Unit, ist eine Art von Prozessor, der speziell für Künstliche Intelligenz (KI) und Maschine-Learning-Prozesse entwickelt wurde. Sie ist darauf spezialisiert, kleinere, sich wiederholende Aufgaben durch gleichzeitige Rechenvorgänge effizient abzuarbeiten.

Ein einfaches Beispiel wäre, den Hintergrund in einem Videoanruf unscharf zu machen, jemanden per Gesichtserkennung zu identifizieren, auch wenn dieser eine Brille trägt, oder einen KI-Chatbot auf Fragen und Eingaben des Nutzers antworten zu lassen.

Während der Hauptprozessor (CPU) weiterhin die allgemeinen und alle übrigen Aufgaben verrichtet, und die GPU sich um speziell um aufwendige Grafikberechnungen kümmert, übernimmt die NPU also KI- und Maschine-Learning-Prozesse.

Für Raspberry Pi 5 wird jetzt ein AI Kit angeboten, das solch eine NPU in der Einstiegsklasse zum aufrüsten anbietet.

Das Hailo-8L M.2-Modul ist ein KI-Beschleunigungsmodul, das mit den M.2-Formfaktoren Key B+M und Key A+E kompatibel ist.
Das KI-Modul basiert auf dem 13 Tera-Operationen pro Sekunde (TOPS) schnellen Hailo-8L™ KI-Prozessor mit hoher Leistungs- und Kosteneffizienz.
Der M.2 KI-Beschleuniger verfügt über eine PCIe Gen-3.0 2-Lane-Schnittstelle und bietet eine beispiellose KI-Leistung für Edge-Geräte, die eine begrenzte KI-Leistung benötigen.
Das M.2-Modul kann in ein vorhandenes Edge-Gerät mit M.2-Sockel eingesteckt werden, um Deep Neural Network Inferenz in Echtzeit und mit geringem Stromverbrauch für eine breite Palette von Marktsegmenten auszuführen.
Dadurch wird der Raspberry Pi zu einem Edge-Gerät mit diesen Merkmalen:

Lokale Datenverarbeitung:
Reduziert die Latenz, da die Daten direkt vor Ort verarbeitet werden, anstatt sie über das Netzwerk zu einem zentralen Server zu senden.

Echtzeit-Datenanalyse:
Ermöglicht schnellere Reaktionen und Entscheidungen durch sofortige Datenanalyse.

Reduzierte Bandbreitenanforderungen:
Da nicht alle Rohdaten ins zentrale Rechenzentrum übertragen werden müssen, sinkt die benötigte Netzwerkbandbreite.

Datensicherheit:
Sensible Daten können lokal verarbeitet werden, wodurch das Risiko von Datenverlusten oder -Diebstählen während der Übertragung minimiert wird.

Ein besonderer Vorteil dieser Lösung: Ihre Daten bleiben lokal. Das hilft bei der Latenz, und natürlich beim Datenschutz!

Hardware:

Lieferumfang des Raspberry Pi AI Kit:

ein Hailo AI-Modul mit einer Neural Processing Unit (NPU)
ein Raspberry Pi M.2 HAT+, um das AI-Modul mit Ihrem Raspberry Pi 5 zu verbinden
ein Wärmeleitpad, das zwischen dem Modul und dem M.2 HAT+ angebracht ist
ein Hardware-Kit für die Montage
eine 16-mm-Stapel-GPIO-Steckleiste

Datenblatt und Herstellerbeschreibung:

https://hailo.ai/de/products/ai-accelerators/hailo-8l-ai-accelerator-for-ai-light-applications

raspberry-pi-ai-kit-product-brief.pdf (raspberrypi.com)

AI Kit – Raspberry Pi Documentation

Schrittabfolge der Vorbereitung:

Mit RPi-Imager neues Betriebssystem 64-bit Bookworm mit Desktop auf SD-Karte gespielt
Kühler aufgesetzt
Probestart ins neue Betriebssystem
OS Update und upgrade
Firmware update wenn älter als 6.12.2023
AI Kit montiert
Kamera angeschlossen und getestet
PCIe Gen 3 aktiviert
Hailo inclusive Abhängigkeiten installiert
Hailo getestet, ob NPU gefunden und angesprochen wird
Erster erfolgreicher Test mit Kamera mit yolov6
Hersteller Video als Test
Eigenes 720px Video mit Objekt-Erkennung
Eigenes 720px Video mit Schätzung der Pose

Mit dem Befehl „HTOP“ im Terminal, wird gezeigt wie sehr die CPU entlastet wird. In der linken oberen Ecke sieht man die Anzeige der Systemressourcen, welche die niedrige Auslastung der verschiedenen Prozessorkerne zeigt, darunter die Belegung des Arbeitsspeichers und dem genutzten Swap.

Hersteller RPI examples:
Github – Hailo

Video:

Gehäuse aus dem 3D Drucker:

Passend für den Raspberry Pi 5 mit den AI Kit, hier ein Gehäuse zum drucken bei Makerworld

Der Hailo-8 verwendet eine neuartige, strukturierte Datenflussarchitektur, die die Eigenschaften neuronaler Netzwerke optimal nutzt. Dadurch können Edge-Geräte Deep Learning-Anwendungen effizienter und kostengünstiger ausführen.

Deep Learning Anwendungsbeispiele:

Bild- und Objekterkennung:
Systeme wie Gesichtserkennung, automatisierte Überwachung und medizinische Bildanalyse verwenden Deep Learning, um Bilder zu analysieren und Muster zu erkennen.

Spracherkennung und -verarbeitung:
Sprachassistenten wie Siri, Alexa und Google Assistant sowie Übersetzungsdienste und Chatbots nutzen Deep Learning, um gesprochene Sprache zu verstehen und zu verarbeiten.

Autonomes Fahren:
Selbstfahrende Autos verwenden Deep Learning-Algorithmen, um ihre Umgebung zu verstehen, Hindernisse zu erkennen und Entscheidungen in Echtzeit zu treffen.

Empfehlungssysteme:
Plattformen wie Netflix, Amazon und Spotify nutzen Deep Learning, um Benutzern personalisierte Empfehlungen zu geben, basierend auf ihrem Verhalten und ihren Vorlieben.

Finanzanalyse und Betrugserkennung:
Banken und Finanzinstitute verwenden Deep Learning, um Anomalien in Transaktionen zu erkennen und Finanzmarktdaten zu analysieren.

Gesundheitswesen:
Deep Learning wird zur Diagnose von Krankheiten, zur Entdeckung neuer Medikamente und zur Analyse großer Mengen medizinischer Daten eingesetzt.

Kreative Anwendungen:
Von der Erstellung von Kunstwerken und Musik bis hin zur Generierung von Texten und Geschichten – Deep Learning kann auch kreative Prozesse unterstützen.

Large Language Model:
Das Nutzen eines destillierten Sprachmodells (LLM) ist ebenfalls eine Deep Learning Anwendung.
Die Destillation eines Sprachmodells bezieht sich auf den Prozess, bei dem ein großes, komplexes Modell (Lehrermodell) verwendet wird, um ein kleineres, effizienteres Modell (Schülermodell) zu trainieren. Dabei bleibt die Leistung des kleineren Modells möglichst nahe an der des größeren Modells, während es weniger Rechenressourcen und Speicher benötigt.