Minerva - Nutzung von LLMs mit Noreja

Optionen für die Nutzung von Large Language Models in Noreja

Noreja bietet mehrere klar abgegrenzte Optionen für den Einsatz von Large Language Models, um unterschiedlichen Anforderungen an Datenschutz, Kontrolle, Qualität und Betriebsverantwortung gerecht zu werden. Grundsätzlich lassen sich diese Optionen entlang der Frage strukturieren, wer das Modell betreibt und verwaltet: ein externer Anbieter, Noreja selbst oder der Kunde.

Bei cloud-basierten, öffentlich verfügbaren LLMs erfolgt der Betrieb vollständig durch den jeweiligen Modellanbieter. Noreja greift in diesem Fall über standardisierte Schnittstellen auf diese Modelle zu und nutzt deren hohe Modellreife, Skalierbarkeit und kontinuierliche Weiterentwicklung.

Alternativ stellt Noreja eigene, durch Noreja verwaltete LLM-Setups bereit. Dazu zählen sowohl Noreja-Application-LLMs als auch dedizierte, kundenindividuelle LLM-Instanzen, die von Noreja betrieben und über das Noreja AI Center orchestriert werden. Diese Variante verbindet eine zentrale Modellsteuerung und -auswahl mit klar definierten Datenschutz- und Integrationsmechanismen und erlaubt den gezielten Einsatz verschiedener Modellanbieter.

Für maximale Kontrolle besteht zudem die Möglichkeit, ein kundeneigenes LLM in die Noreja-Plattform einzubinden („Bring Your Own LLM“). In diesem Szenario liegt der Betrieb vollständig beim Kunden. Noreja fungiert hier als Integrations- und Orchestrierungsschicht und ermöglicht die Anbindung weiterer Systeme, Agenten oder APIs, ohne selbst Modell- oder Inferenzverantwortung zu übernehmen.

Diese drei Optionen bilden die Grundlage für den flexiblen Umgang mit LLMs in Noreja. Unabhängig vom gewählten Betriebsmodell stellt sich dabei häufig die Frage nach den technischen Unterschieden zwischen lokal betriebenen und cloud-basierten Modellen.

Lokale LLMs (On-Premise) vs. Cloud-basierte Modelle

Noreja unterstützt sowohl lokal betriebene Large Language Models als auch cloud-gehostete Modelle und ermöglicht damit eine flexible Wahl je nach Anforderungen an Datenschutz, Ergebnisqualität und Einsatzszenario.

Qualität

Der größte qualitative Unterschied zeigt sich bei reinen LLM-Interaktionen ohne Tool Calling oder externe Systemanbindung. Cloud-basierte Modelle verfügen in der Regel über deutlich größere Trainingsdaten, leistungsfähigere Architekturvarianten und kontinuierliche Optimierungen. Das führt zu höherer Sprachqualität, stabilerem Reasoning, besserem Umgang mit Mehrdeutigkeiten und konsistenteren Antworten bei komplexen oder offenen Fragestellungen.

Lokale LLMs erreichen in klar abgegrenzten, strukturierten Anwendungsfällen ebenfalls gute Ergebnisse, zeigen jedoch ohne zusätzliche Steuerungsmechanismen schneller qualitative Grenzen. Insbesondere bei längeren Kontexten, offenen Prompts oder implizitem logischem Schlussfolgern hängt die Antwortqualität stark von Modellgröße, verfügbarer Hardware und individueller Konfiguration ab.

Datenkontrolle

Lokale Modelle bieten maximale Kontrolle über Daten und Ausführung. Sämtliche Eingaben, Kontextinformationen und Modellantworten verbleiben vollständig innerhalb der eigenen Infrastruktur. Es findet keine externe Übertragung statt, wodurch lokale LLMs besonders für datenschutzkritische Prozess-, Personen- und Unternehmensdaten geeignet sind und interne Compliance-, Security- und Governance-Anforderungen zuverlässig unterstützen.

Cloud-basierte Modelle werden über APIs angesprochen, wobei die übermittelten Daten in der Infrastruktur des jeweiligen Anbieters verarbeitet werden. Führende Anbieter treffen umfangreiche technische und organisatorische Sicherheitsmaßnahmen, darunter verschlüsselte Übertragung, isolierte Verarbeitung und vertragliche Zusicherungen zur Nicht-Verwendung von Kundendaten für Training oder Weiterentwicklung. Auch bei Enterprise- oder Zero-Retention-Optionen bleibt die Datenverarbeitung an externe Systeme sowie deren technische und rechtliche Rahmenbedingungen gebunden.

In der Praxis erlaubt Noreja den gezielten Einsatz beider Ansätze: lokale LLMs für kontrollierte, datensensible und klar strukturierte Szenarien, cloud-basierte Modelle dort, wo maximale Sprachqualität, Robustheit und tiefgehendes Reasoning – insbesondere in reinen LLM-Interaktionen – im Vordergrund stehen.