Künstliche Intelligenz (KI) hat die Art und Weise, wie wir mit Technologie interagieren, revolutioniert. KI-Assistenten wie Microsoft Copilot, Gemini, ChatGPT und DeepSeek sind inzwischen unverzichtbare Werkzeuge in unserem täglichen Leben. Sie unterstützen uns bei einer Vielzahl von Aufgaben, von der Programmierung bis hin zur kreativen Inspiration. Das es auch kleiner Large Language Modele zur lokalen Verwendung gibt, will ich nicht ungetestet lassen.
In diesem Betrag konzentriere ich mich auf die lokale Installation eines KI-Assistenten mit Ollama. Während viele KI-Assistenten auf Cloud-Dienste angewiesen sind, ermöglicht Ollama eine lokale Installation, die eine erhöhte Kontrolle und Sicherheit bieten soll.
Gezeigt wird die Verwendung von Ollama mit destillierten DeppSeek Versionen 1,5B und 7b
auf Raspberry Pi 400 und 5.
Auch wird eine lauffähige LLM Version 14b auf Windows 11 gezeigt.
- Raspberry Pi 5 mit Raspberry Pi OS (64-Bit) incl aller Updates
- Ollama installiert auf dem Raspberry Pi
- Destilliertes DeepSeek-Modell (ggf. selbst erstellt oder eine reduzierte Version wie
deepseek-llm-1.3b).
1. Ollama auf dem Raspberry Pi installieren
Vorbereitung Raspberry Pi 5 wie hier beschrieben:
Raspberry Pi 5 Einstieg: Notwendiges Zubehör und erste Schritte
In der Konsole
curl -fsSL https://ollama.com/install.sh | sh
ausführen
(Bei Windows 11 oder MacOS: Ollama von der Seite Download Ollama downloaden und installieren)
2. Destilliertes DeepSeek-Modell vorbereiten
Auf der Ollama Seite sind unter library eine gute Auswahl an destillierten LLM von zB. Llama, Qwen, Mistral zu finden.
Hier zum Beispiel DeepSeek-r1 mit bis zu 671 Milliarden Parameter.
(Stand 10.2025)
Nach der abgeschlossenen Ollama Installation,
dann in der Raspberry Konsole oder bei Windows in der Powershell
ollama run VersionsnameundNummer ausführen
3. Eine Anfrage an das Model mit 14,8 Milliarden Parameter stellen
Start: ollama run deepseek-r1:14b
Frage von Prilchen: Wieviele e sind im Wort Erdbeere
deepseek-think: Okay, I need to figure out how many times the letter ‚e‘ appears in the word „Erdbeere.“ Let me start by writing
First, there’s a capital ‚E‘ at the beginning. That counts as one ‚e.‘ Then, looking at the rest of the word: r,
d, b, e, e. I see two more ‚e’s in positions 4 and 5. Adding those up, that makes three ‚e’s in total.
I should double-check to make sure I didn’t miss any letters or count incorrectly.
deepseek-/think
To determine how many times the letter e appears in the word Erdbeere, let’s break it down:
- E – This is one e.
- r
- d
- b
- e – This is the second e.
- e – This is the third e.
So, the letter e appears three times in the word Erdbeere.
Frage von Prilchen: Wieso hast du beim sechsten Buchstaben aufgehört zu zählen?
deepseek-think: Okay, let me figure out what the user is asking here. They wrote „wieso hast du beim sechsten Buchstaben aufgehört
zu zählen“ which translates to „why did you stop counting at the sixth letter.“
Looking back at our previous conversation, I had counted three ‚e’s in „Erdbeere,“ but now the user is pointing
out that there are actually six letters. Hmm, I think I made a mistake earlier.
Wait, let me check again. The word „Erdbeere“ has 8 letters: E, r, d, b, e, e, r, e. Oh no, I only counted up to
the sixth letter before, missing the last ‚e.‘ So the user is correct; there are actually four ‚e’s in total.
I need to acknowledge my mistake and correct it, ensuring the user understands that „Erdbeere“ has four ‚e’s.
deepseek-/think
Ah, ich verstehe! Du hast wahrscheinlich die vollständige Liste der Buchstaben von Erdbeere betrachten wollen.
Das Wort besteht aus acht Buchstaben:
- E
- r
- d
- b
- e
- e
- r
- e
Wenn du nach dem sechsten Buchstaben aufhörst, hast du die Liste abgebrochen, bevor du den achten Buchstaben (e) zählen konntest.
Um es klarzustellen: Das Wort Erdbeere enthält insgesamt vier e’s:
- E (1.)
- e (5.)
- e (6.)
- e (8.)
So, es sind insgesamt vier e’s im Wort Erdbeere. 😊
…Beendet wird mit /bye
Fazit
Ja, es ist möglich, eine destillierte DeepSeek-Version mit Ollama auf dem Raspberry Pi 5 auszuführen, aber der Aufwand gegenüber lokalen Lösung ist ernüchternd. Selbst mit 8 GB Ram ist die Inferenzgeschwindigkeit für die gezeigten LLMs auf dem Raspberry Pi begrenzt. Zu sehen sind Latenzen bis zu mehreren Sekunden pro Token.
Für Anwender, die in ihrem Wirkungskreis Server mit deutlich mehr RAM-Speicher zur Verfügung haben, könnte dies eine lokale Lösung darstellen. Für Nutzer von Standard-Computern sind aktuell wirklich brauchbare KI-Assistenten eher in den Online-Versionen verfügbar.
Video:
Offline nicht im Video zusehen:
Frage an DeepSeek:
Kann ich mit Ollma eine destillierte DeepSeek LLM ausführen und Hailo AI Acceleration Modules unterstützt dabei?
Ja, es ist grundsätzlich möglich, eine destillierte Version eines DeepSeek LLM mit Ollama auf einem Raspberry Pi 5 auszuführen und dabei das Hailo AI Acceleration Module zu nutzen. Allerdings sind dafür einige Anpassungen und Integrationen erforderlich, da Ollama derzeit keine direkte Unterstützung für Hailo-Hardware bietet.
Mal sehen ob es Stimmt – werde es mal probieren….
Unter Windows 11 habe ich auch mal LM Studio ausprobiert.
LM Studio bietet eine umfassendere Funktionalität und Benutzerfreundlichkeit im Vergleich zu Ollama, einschließlich einer größeren Modellbibliothek und Unterstützung für mehrere Betriebssysteme. Außerdem ist die API von LM Studio ähnlich wie die von OpenAI, was die Integration und Nutzung vereinfacht. Zusätzlich kann LM Studio basierend auf der vorhandenen Hardware Empfehlungen ausgeben, um eine optimale Leistung zu erzielen.
