Entwickle KI-Applikationen mit deinem eigenen Privaten KI‑System

Häufig
gestellte
Fragen

• Was ist der Unterschied zwischen dem 8B und 70B Modell?

  Die beiden Modelle unterscheiden sich wesentlich in der Größe, Leistungsfähigkeit und Menge der Parameter. Parameter sind wie die “Gehirnzellen” des KI-Modells. Je mehr Parameter ein Modell hat, desto komplexer kann es denken, Sprache verstehen und generieren.

  Das Llama 3.1 8B Modell ist perfekt für alltägliche Interaktionen und simplere Automatisierungen und Anwendungen wie Chatbots geeignet. Mit 8 Milliarden Parametern bietet es schnelle, präzise Antworten – ideal für Unternehmen, die auf Effizienz und Kostenvorteile setzen.

  Das 70B Modell mit 70 Milliarden Parametern bietet noch detailliertere und präzisere Antworten und ist besser für anspruchsvolle Analysen und komplexe Anwendungen geeignet, benötigt aber auch mehr Rechenleistung und Ressourcen.

• Welche Komponenten sind im Managed LLM enthalten?

  Das Managed LLM enthält alle wichtigen Bestandteile für eine umfassendes KI-System: eine leistungsstarke NVIDIA A100 oder H100 GPU, das Large Language Model (LLM) Llama 3.1 8B oder 70B, eine benutzerfreundliche Chat-GUI und eine REST API.

• Was ist eine REST API?

  Eine API ist eine allgemeine Schnittstelle, die es verschiedenen Softwareanwendungen ermöglicht, miteinander zu kommunizieren und Daten auszutauschen.

  Die REST API ist eine spezifische Art von API, um die Kommunikation zu standardisieren und zu vereinfachen. Mit ihr lässt sich das Managed LLM über eine standardisierte Schnittstelle einfach und nahtlos in bestehende Unternehmenssysteme wie ERP, Buchhaltungs- oder Ticketsysteme integrieren. So wird es zur optimalen Ergänzung für die Automatisierung und den reibungslosen Fluss zahlreicher Geschäftsprozesse.

• Wie viele Anfragen können parallel an das Managed LLM gestellt werden?

  Bei dem 8B Modell können bis zu 10 parallele Anfragen mit jeweils 16.000 Token gestellt werden. Darüber hinaus können bis zu 512 weitere Anfragen in die Warteschlange aufgenommen werden, die dann automatisch nacheinander beantwortet werden. Die Antwortzeit liegt durchschnittlich zwischen 0,5 und 5 Sekunden.

• Was passiert, wenn die Warteschlange von 512 Anfragen voll ist?

  Bei mehr als 512 gleichzeitigen Anfragen wird die 513. Anfrage mit einer Fehlermeldung abgelehnt, um die Performance des Systems zu sichern.

  Die ersten 512 Anfragen werden direkt nacheinander abgearbeitet und Anfrage 513 kann nach wenigen Sekunden erneut gestellt werden.

  Dies sorgt für einen reibungslosen Ablauf und eine hohe Reaktionsgeschwindigkeit bei maximaler Nutzung.

• Was sind Token?

  Token sind kleine Bausteine, in die ein Text zerlegt wird, damit Sprachmodelle ihn verarbeiten können.

  Ein Token entspricht einer Texteinheit von circa 0,75 Worten und kann z.B. eine Kombinationen aus Silben, Satzzeichen, Zahlen und/oder Leerzeichen sein.

• Welche Sicherheitsstandards erfüllt das Managed LLM?

  Unser KI-System läuft in einer dedizierten Private Cloud in unserem eigenen, zertifizierten Rechenzentrum in Deutschland. Dieses erfüllt den internationalen Sicherheitsstandard TIER 3 und wird nach europäischen und deutschen Datenschutzrichtlinien betrieben.
  Auch die Softwarebereitstellung und -pflege übernehmen wir direkt selbst – wir nutzen keine gemieteten Ressourcen oder Dienstleistungen von Dritten.

  Zum Schutz deiner Daten setzen wir auf moderne Sicherheitsmaßnahmen wie Firewalls, Zwei-Faktor-Authentifizierung und einen optionalen VPN-Zugang. Die verschlüsselte Datenübertragung erfolgt über gesicherte APIs oder VPN-Verbindungen. Abgefragte Daten werden nur verarbeitet und zurückgegeben – eine Zwischenspeicherung findet nicht statt.

  Für eine noch effizientere und sichere Netzwerkverbindung bieten wir optional eine Direktanbindung über SD-WAN an. Diese direkte Netzwerkanbindung ermöglicht eine stabile und sichere Verbindung ohne den Umweg über VPN.

  Die gesamte Transaktionsverarbeitung vom Managed LLM findet innerhalb Deutschlands statt, was zusätzliche Sicherheit und Compliance mit deutschen Datenschutzstandards gewährleistet.

• Was wird durch den Support abgedeckt?

  Unser 24/7/365 Support sichert dir jederzeit schnellen Zugang zum KI-System und gewährleistet die Stabilität des Servers, der API und des LLM.

  Bereits im Onboarding stellen wir dir alle wichtigen Informationen bereit, um den Einstieg so einfach wie möglich zu gestalten. Anwendungsberatung ist im Support-Service nicht enthalten.

• Werden Updates für das LLM durchgeführt?

  Standardmäßig ist der Austausch eines LLMs zu einem neueren oder anderen LLM nicht im Service enthalten. Auf Anfrage kann dies aber optional und kostenpflichtig von uns bereitgestellt werden.

• Wie erfolgt die Abrechnung und wie ist die Vertragslaufzeit?

  Die Abrechnung erfolgt quartalsweise im Voraus zu einem festen, verbrauchsunabhängigen Preis. Die Vertragslaufzeit beträgt mindestens 12 Monate.