Raspberry Pi AI Kit – Ein NPU Prozessor zum aufrüsten

Was ist eine NPU:

Eine NPU, oder Neural Processing Unit, ist eine Art von Prozessor, der speziell für Künstliche Intelligenz (KI) und Maschine-Learning-Prozesse entwickelt wurde. Sie ist darauf spezialisiert, kleinere, sich wiederholende Aufgaben durch gleichzeitige Rechenvorgänge effizient abzuarbeiten.

Ein einfaches Beispiel wäre, den Hintergrund in einem Videoanruf unscharf zu machen, jemanden per Gesichtserkennung zu identifizieren, auch wenn dieser eine Brille trägt, oder einen KI-Chatbot auf Fragen und Eingaben des Nutzers antworten zu lassen.

Während der Hauptprozessor (CPU) weiterhin die allgemeinen und alle übrigen Aufgaben verrichtet, und die GPU sich um speziell um aufwendige Grafikberechnungen kümmert, übernimmt die NPU also KI- und Maschine-Learning-Prozesse.

Für Raspberry Pi 5 wird jetzt ein AI Kit angeboten, das solch eine NPU in der Einstiegsklasse zum aufrüsten anbietet.

Das Hailo-8L M.2-Modul ist ein KI-Beschleunigungsmodul, das mit den M.2-Formfaktoren Key B+M und Key A+E kompatibel ist.
Das KI-Modul basiert auf dem 13 Tera-Operationen pro Sekunde (TOPS) schnellen Hailo-8L™ KI-Prozessor mit hoher Leistungs- und Kosteneffizienz.
Der M.2 KI-Beschleuniger verfügt über eine PCIe Gen-3.0 2-Lane-Schnittstelle und bietet eine beispiellose KI-Leistung für Edge-Geräte, die eine begrenzte KI-Leistung benötigen.
Das M.2-Modul kann in ein vorhandenes Edge-Gerät mit M.2-Sockel eingesteckt werden, um Deep Neural Network Inferenz in Echtzeit und mit geringem Stromverbrauch für eine breite Palette von Marktsegmenten auszuführen.
Dadurch wird der Raspberry Pi zu einem Edge-Gerät mit diesen Merkmalen:

Lokale Datenverarbeitung:
Reduziert die Latenz, da die Daten direkt vor Ort verarbeitet werden, anstatt sie über das Netzwerk zu einem zentralen Server zu senden.

Echtzeit-Datenanalyse:
Ermöglicht schnellere Reaktionen und Entscheidungen durch sofortige Datenanalyse.

Reduzierte Bandbreitenanforderungen:
Da nicht alle Rohdaten ins zentrale Rechenzentrum übertragen werden müssen, sinkt die benötigte Netzwerkbandbreite.

Datensicherheit:
Sensible Daten können lokal verarbeitet werden, wodurch das Risiko von Datenverlusten oder -Diebstählen während der Übertragung minimiert wird.

Ein besonderer Vorteil dieser Lösung: Ihre Daten bleiben lokal. Das hilft bei der Latenz, und natürlich beim Datenschutz!

Hardware:

Lieferumfang des Raspberry Pi AI Kit:

ein Hailo AI-Modul mit einer Neural Processing Unit (NPU)
ein Raspberry Pi M.2 HAT+, um das AI-Modul mit Ihrem Raspberry Pi 5 zu verbinden
ein Wärmeleitpad, das zwischen dem Modul und dem M.2 HAT+ angebracht ist
ein Hardware-Kit für die Montage
eine 16-mm-Stapel-GPIO-Steckleiste

Datenblatt und Herstellerbeschreibung:

https://hailo.ai/de/products/ai-accelerators/hailo-8l-ai-accelerator-for-ai-light-applications

raspberry-pi-ai-kit-product-brief.pdf (raspberrypi.com)

AI Kit – Raspberry Pi Documentation

Schrittabfolge der Vorbereitung:

Mit RPi-Imager neues Betriebssystem 64-bit Bookworm mit Desktop auf SD-Karte gespielt
Kühler aufgesetzt
Probestart ins neue Betriebssystem
OS Update und upgrade
Firmware update wenn älter als 6.12.2023
AI Kit montiert
Kamera angeschlossen und getestet
PCIe Gen 3 aktiviert
Hailo inclusive Abhängigkeiten installiert
Hailo getestet, ob NPU gefunden und angesprochen wird
Erster erfolgreicher Test mit Kamera mit yolov6
Hersteller Video als Test
Eigenes 720px Video mit Objekt-Erkennung
Eigenes 720px Video mit Schätzung der Pose

Mit dem Befehl „HTOP“ im Terminal, wird gezeigt wie sehr die CPU entlastet wird. In der linken oberen Ecke sieht man die Anzeige der Systemressourcen, welche die niedrige Auslastung der verschiedenen Prozessorkerne zeigt, darunter die Belegung des Arbeitsspeichers und dem genutzten Swap.

Hersteller RPI examples:
Github – Hailo

Video:

Gehäuse aus dem 3D Drucker:

Passend für den Raspberry Pi 5 mit den AI Kit, hier ein Gehäuse zum drucken bei Makerworld