Tipps & Wissen

Ollama: Lokale KI datenschutzgerecht im Unternehmen einsetzen

Mit Ollama laufen KI-Sprachmodelle auf Ihrem eigenen Server bei MSISP in Deutschland – statt in der Cloud großer KI-Anbieter. Wie das funktioniert, worauf es bei Datenschutz und Zugriffskontrolle ankommt – und ob der kommerzielle Einsatz erlaubt ist.

Illustration: Nachrichtenseite mit Etikett „Aktuelles“, Glocke und RSS-Symbol

KI-Assistenten wie ChatGPT sind praktisch – doch jede Eingabe landet auf den Servern des Anbieters, oft außerhalb der EU. Für Kundendaten, Verträge oder interne Unterlagen ist das ein Problem. Die Alternative: Ollama. Damit betreiben wir KI-Sprachmodelle für Sie auf Ihrem eigenen Server in unserem Rechenzentrum in Deutschland – Ihre Daten bleiben bei Ihnen.

Was ist Ollama?

Ollama ist eine Open-Source-Software, mit der KI-Sprachmodelle – sogenannte Large Language Models (LLMs) – auf Ihrem eigenen Server bei MSISP laufen statt in der Cloud eines KI-Anbieters. Sie können sich Ollama wie einen Motor vorstellen: Das Sprachmodell liefert das Wissen und die Sprachfähigkeit, Ollama sorgt dafür, dass es auf dem Server läuft, Anfragen entgegennimmt und Antworten zurückgibt.

Die Einrichtung übernehmen wir für Sie: Wir installieren Ollama auf Ihrem Managed Server in unserem Rechenzentrum in Deutschland und stellen die passenden Sprachmodelle bereit – zum Beispiel aus den Familien Llama, Qwen, Gemma, Mistral, DeepSeek oder gpt-oss.

So funktioniert Ollama – Schritt für Schritt

Ihr Server bei MSISP MitarbeitendeChat im Browser Automatisierungz. B. n8n-Workflows AnwendungenIhre eigene Software GesicherterZugang Chat-Oberflächez. B. Open WebUI OllamaKI-Enginerechnet auf CPU/GPU Sprachmodelle Keine Daten an externeKI-AnbieterAlles bleibt auf Ihrem Server Ihre Dokumente (optional)Unterlagen hochladen – die KI antwortet auf Basis Ihres eigenen Wissens
So läuft eine Anfrage: vom Nutzer über den gesicherten Zugang und die Chat-Oberfläche zu Ollama und dem Sprachmodell – und die Antwort wieder zurück. Alles auf Ihrem Server.
  1. Anfrage stellen: Eine Mitarbeiterin stellt im Browser eine Frage – oder ein Workflow übergibt automatisch einen Text, zum Beispiel eine eingegangene E-Mail, die zusammengefasst werden soll.
  2. Gesicherter Zugang: Bevor die Anfrage die KI erreicht, wird geprüft, ob die Person angemeldet und berechtigt ist.
  3. Chat-Oberfläche: Eine Oberfläche wie Open WebUI nimmt die Frage entgegen, verwaltet die Benutzer und hält auf Wunsch den Gesprächsverlauf fest. Haben Sie eigene Dokumente hinterlegt, sucht sie dort passende Textstellen heraus und gibt sie der KI als Hintergrundwissen mit.
  4. Ollama und das Sprachmodell: Ollama lädt das gewählte Sprachmodell in den Arbeitsspeicher bzw. die Grafikkarte und berechnet die Antwort. Das Modell formuliert sie Wort für Wort, indem es fortlaufend das passende nächste Wort bestimmt.
  5. Antwort: Die fertige Antwort geht denselben Weg zurück und erscheint im Chat oder wird im Workflow weiterverarbeitet – ohne dass die Daten Ihren Server verlassen.

Welches Sprachmodell passt?

Sprachmodelle gibt es in unterschiedlichen Größen. Kleinere Modelle antworten schnell und brauchen wenig Rechenleistung – ideal für Zusammenfassungen, Übersetzungen oder das Sortieren von E-Mails. Größere Modelle formulieren genauer und meistern komplexere Aufgaben, benötigen aber deutlich mehr Arbeitsspeicher und am besten eine Grafikkarte. Welche Kombination aus Modell und Server zu Ihren Aufgaben passt, besprechen wir gern mit Ihnen.

Warum Ollama datenschutzfreundlich arbeiten kann

Bei lokal ausgeführten Modellen verlassen Ihre Eingaben das System nicht. Die Entwickler schreiben selbst: Wenn Sie lokal arbeiten, sehen sie weder Ihre Eingaben noch Ihre Daten. Außerdem lernt ein Modell bei der Nutzung nicht dazu – Ihre Eingaben fließen also nicht in das Modell ein.

Aber Achtung: Ollama bietet inzwischen auch Cloud-Modelle und eine Websuche an. Diese werden auf Servern des Anbieters verarbeitet. Für einen datenschutzgerechten Betrieb richten wir Ollama bei Ihnen im reinen Lokalbetrieb ein: Alle Cloud-Funktionen sind abgeschaltet – so verlässt keine Anfrage Ihren Server.

Wichtig bleibt: Auch eine lokale KI entbindet nicht von der DSGVO. Wer personenbezogene Daten verarbeitet, braucht eine Rechtsgrundlage und sollte die Verarbeitung dokumentieren. Der große Vorteil: Ihre Daten gehen an keinen externen KI-Anbieter. Ihr Server steht in unserem Rechenzentrum in Deutschland, und mit uns als einzigem Partner regeln Sie alles Nötige in einem Auftragsverarbeitungsvertrag (AVV).

Zugriffskontrolle: Wer darf die KI nutzen?

Ein Punkt wird oft übersehen: Ollama selbst hat keine eingebaute Anmeldung. Wer die Schnittstelle erreicht, kann sie nutzen. Wird sie ungeschützt ins Internet geöffnet, kann jeder darauf zugreifen – tatsächlich finden sich im Netz zahlreiche ungeschützte Ollama-Server. Ein sicherer Betrieb braucht deshalb eine durchdachte Zugriffskontrolle:

  • Abgeschottete Schnittstelle: Ollama selbst ist von außen nicht direkt erreichbar.
  • Gesicherter Zugang: Der Zugriff erfolgt nur verschlüsselt und nach Anmeldung – etwa per persönlichem Zugang oder Single Sign-on.
  • Benutzer und Rollen: Chat-Oberflächen wie Open WebUI bringen Benutzerkonten, Rollen und Gruppen mit – so legen Sie fest, wer welche Modelle nutzen darf.
  • Verwaltung nur für Administratoren: Modelle hinzufügen oder entfernen dürfen nur berechtigte Personen.
  • Zugriff nur intern: Auf Wunsch ist die KI nur aus Ihrem Firmennetz oder über eine gesicherte VPN-Verbindung erreichbar.

Bei MSISP richten wir diese Schutzmaßnahmen für Sie ein – Sie müssen sich um die Technik nicht kümmern.

Datenminimierung und Anonymisierung

Die DSGVO verlangt, nur so viele personenbezogene Daten zu verarbeiten wie nötig. Auch bei einer lokalen KI lohnt es sich, darauf zu achten:

  • Nur Nötiges übergeben: Geben Sie der KI nur die Informationen, die sie für die Aufgabe braucht – statt der ganzen Kundenakte nur den relevanten Absatz.
  • Vorher pseudonymisieren: Namen, E-Mail-Adressen, Telefonnummern oder Bankverbindungen lassen sich vor der Übergabe automatisch durch Platzhalter ersetzen – etwa mit einem Schritt in einem n8n-Workflow oder mit Open-Source-Werkzeugen zur Erkennung personenbezogener Daten. Nach der Antwort werden die Platzhalter bei Bedarf wieder zurückgetauscht.
  • Verläufe begrenzen: Chatverläufe in der Oberfläche nur so lange aufbewahren wie nötig und regelmäßig löschen.
  • Protokolle sparsam halten: Inhalte von Anfragen nicht dauerhaft protokollieren.

Ist der kommerzielle Einsatz erlaubt?

Ollama selbst: ja. Die Software steht unter der MIT-Lizenz und darf auch kommerziell genutzt werden.

Die Modelle: Es kommt auf das jeweilige Modell an. Jedes Modell hat seine eigene Lizenz, die Sie vor dem Einsatz prüfen sollten:

  • Großzügige Lizenzen: Viele Modelle stehen unter Apache 2.0 oder MIT, zum Beispiel gpt-oss (Apache 2.0) oder DeepSeek-R1 (MIT). Sie dürfen in der Regel ohne besondere Auflagen kommerziell genutzt werden.
  • Lizenzen mit Bedingungen: Die Llama-Modelle von Meta stehen unter einer eigenen Community-Lizenz. Die kommerzielle Nutzung ist erlaubt, allerdings mit Auflagen – etwa einer Nutzungsrichtlinie, Vorgaben zur Namensnennung und einer gesonderten Lizenzpflicht erst für sehr große Dienste mit mehr als 700 Millionen monatlichen Nutzern.
  • Je Variante prüfen: Auch innerhalb einer Modellfamilie können sich die Lizenzen je nach Größe oder Version unterscheiden.

Die Lizenz finden Sie jeweils auf der Modellseite in der Ollama-Bibliothek. Unser Fazit: Ein kommerzieller Einsatz ist gut möglich – mit der richtigen Modellauswahl. Bitte beachten Sie, dass diese Übersicht keine Rechtsberatung ersetzt.

Lokale KI mit MSISP

Sie möchten KI nutzen, ohne Ihre Daten aus der Hand zu geben? Wir betreiben Ollama und Oberflächen wie Open WebUI als vorkonfiguriertes System auf Managed Servern in Deutschland – abgesichert, gewartet und auf Wunsch mit Anbindung an Ihre Abläufe. Sprechen Sie uns an, wir beraten Sie gern zur KI-Beratung und Automatisierung.

Alle Beiträge

Weitere Beiträge

Neuigkeiten

Fernwartung jetzt auch für macOS

Unsere Fernwartung auf Basis von RustDesk steht ab sofort auch für Mac-Nutzer bereit – so helfen wir Ihnen direkt auf Ihrem Bildschirm.

Sicherheit

Kritisches PHP-Sicherheitsupdate eingespielt

Am 19. November hat das PHP-Projekt Sicherheitsupdates mit kritischer Einstufung veröffentlicht. Wir haben sie auf unseren Systemen eingespielt.

Lassen Sie uns ins Gespräch kommen

Sie planen ein Projekt oder haben Fragen zu Webhosting, Server oder Domains? Gern beraten wir Sie persönlich – telefonisch oder per E-Mail.