microllm

Eine Adresse für alle Modelle.Die Modelle bleiben, wo sie rechnen.microllm verteilt die Arbeit.

LLM-Dispatcher und halbagentischer Enabler

Ein Vorhaben der Gemini Foundation, Leipzig.

Wie kommt eine Anwendung an ein Sprachmodell?

Wer Sprachmodelle selbst betreibt, hat schnell mehrere Maschinen, mehrere Modelle und mehrere Anwendungen, die sie nutzen. Bisher gibt es darauf zwei Antworten. Ein eigener Dispatcher ist die dritte.

Direkt an die Maschine

Jede Anwendung kennt Adresse und Modell einer Maschine. Fällt sie aus oder wechselt das Modell, muss jede Anwendung angefasst werden.

Alles zu einem Anbieter

Eine Adresse, aber außer Haus. Daten, Kosten und Verfügbarkeit liegen beim Anbieter.

Ein eigener Dispatcher

Eine Adresse im eigenen Netz. Anwendungen nennen einen Namen; welche Maschine antwortet, entscheidet microllm.

Was ohne Dispatcher in jeder Anwendung landet

microllm: die Frage2 von 8

Das Konzept: ein Name statt einer Adresse

Anwendungen sprechen mit einer einzigen Adresse und nennen einen Modellnamen. Hinter dem Namen steht eine Gruppe von Backends. Wie viele es sind und wo sie stehen, weiß nur microllm.

Anwendungen, microllm und die Gruppen Drei Anwendungen rufen microllm unter einer Adresse und nennen je einen Modellnamen. microllm führt jeden Namen auf eine Gruppe von Backends. Jedes Backend hat eine begrenzte Zahl von Plätzen. Chat-Anwendung ruft „sonnet“ Auswertung ruft „local“ Recherche ruft „recherche“ microllm eine Adresse Name → Gruppe Gruppe „local“ gpu1 gpu2 Gruppe „recherche“, mit Werkzeugen gpu3 „sonnet“ ist ein Alias auf „local“

Die Modelle bleiben, wo sie rechnen: auf den eigenen Maschinen. microllm speichert keine Modelle und rechnet nicht selbst. Es ist ein einzelnes Programm mit einer Konfigurationsdatei.

microllm: das Konzept3 von 8

Der Regelfall: eine Anfrage, ein Backend

Eine Anfrage wird verteilt microllm bekommt eine Anfrage für die Gruppe local. Von drei Backends ist eines ausgefallen. Die Anfrage geht an das gesunde Backend mit den meisten freien Plätzen. Eine Anfrage für die Gruppe „local“ Anfrage Modell: local microllm wählt das Backend mit den meisten freien Plätzen gpu1 1 Platz frei gpu2 3 Plätze frei: bekommt die Anfrage gpu3 ausgefallen: wird gemieden
  1. microllm löst den Namen auf: erst als Gruppe, dann als Alias, zuletzt über ein Muster für unbekannte Namen.
  2. Es wählt aus der Gruppe das gesunde Backend mit den meisten freien Plätzen.
  3. Es reicht die Anfrage unverändert durch und gibt die Antwort zurück, auf Wunsch Zeichen für Zeichen.
  4. Es zählt mit: Anfragen, Tokens, Fehler und Tempo je Modell.

Plätze

Jedes Backend hat eine Obergrenze gleichzeitiger Anfragen, ohne Angabe vier. Sind alle Plätze belegt, wartet die nächste Anfrage. Ein schnelles Backend gibt seine Plätze schneller frei und bekommt dadurch von selbst mehr Arbeit – ohne Gewichte, die jemand pflegen müsste.

microllm: der Regelfall4 von 8

Wenn ein Backend ausfällt

Schlägt ein Backend fehl, geht dieselbe Anfrage an das nächste der Gruppe. Die Anwendung merkt davon nichts. Erst wenn alle Backends einer Gruppe versagt haben, bekommt sie einen Fehler.

Ausfall und Rückkehr eines Backends auf einer Zeitleiste Nach drei Fehlern in Folge gilt ein Backend als ausgefallen und bekommt fünf Minuten keine Anfragen. Danach prüft microllm es. Antwortet es, nimmt es wieder teil; sonst beginnt die Pause neu. Ein Backend fällt aus und kommt zurück gesund Pause: gilt als ausgefallen, bekommt 5 Minuten keine Anfragen wieder dabei drei Fehler in Folge Prüfung nach der Pause: Antwortet es, ist es wieder dabei. 0 min 1 min 2 min 3 min 4 min 5 min

Nach der Pause prüft microllm das Backend selbst; ein Prüflauf findet alle 30 Sekunden statt. Antwortet das Backend, arbeitet es wieder mit. Antwortet es nicht, beginnt die Pause neu.

Voll ist nicht kaputt

Meldet ein Backend, dass es gerade keine Anfrage annimmt, weicht microllm aus, ohne das als Fehler zu zählen.

Umbau im Betrieb

Die Konfiguration lässt sich neu laden, ohne Neustart. Neue Backends arbeiten sofort mit. Entfernte verschwinden erst, wenn ihre letzte Anfrage beantwortet ist.

microllm: Ausfall und Rückkehr5 von 8

Halbagentisch: Werkzeuge im Dispatcher

Eine Gruppe kann dem Modell Werkzeuge mitgeben: Websuche und Seitenabruf. microllm führt sie selbst aus. Die Anwendung stellt eine Frage und bekommt eine Antwort; die Runden dazwischen sieht sie nicht.

Die Werkzeugschleife Die Anwendung stellt eine Frage. microllm gibt sie mit den Werkzeugdefinitionen an das Modell. Das Modell ruft die Websuche, microllm führt sie aus und gibt die Treffer zurück. Das Modell ruft den Seitenabruf, microllm führt ihn aus. Dann antwortet das Modell, und die Anwendung bekommt nur die Antwort. Anwendung microllm Modell Web Frage Frage und Werkzeuge ruft uri_search sucht Treffer Treffer zurück ans Modell ruft uri_fetch ruft die Seite ab Seitentext Seitentext zurück ans Modell Antwort Antwort

microllm: Werkzeuge6 von 8

MultiProtocol: zwei Protokolle, eine Adresse

Zwei Protokolle, eine Adresse Anfragen im Anthropic-Format und im OpenAI-Format laufen durch microllm zum Backend, jeweils auf demselben Pfad und im selben Format. microllm Anthropic POST /v1/messages Backend derselbe Pfad, dasselbe Format OpenAI POST /v1/chat/completions Backend derselbe Pfad, dasselbe Format Beide Protokolle laufen unverändert durch.

microllm übersetzt nicht zwischen den Protokollen. Eine Anfrage erreicht das Backend in dem Format, in dem sie ankam; das Backend muss es selbst verstehen. microllm kennt beide Formate nur dort, wo es selbst eingreift: bei den Werkzeugen, beim Systemprompt einer Gruppe und bei Dokumenten.

Dokumente

Ein PDF in einer Anfrage wird vor dem Modell in Text umgewandelt, auf Wunsch mit Seitenbildern. Das Modell bekommt Text, keinen Anhang.

Dienste

Unter derselben Adresse reicht microllm auch andere Dienste durch, etwa Spracherkennung – mit derselben Lastverteilung und demselben Ausweichen.

microllm: MultiProtocol7 von 8

microllm

Betrieb und Stand

Dieses Heft zeigt das Grundprinzip. Die Einstellungen im Einzelnen stehen in der README. Der Quelltext steht unter der Apache License 2.0.

Ein Vorhaben der Gemini Foundation, Leipzig.
gemini-stiftung.de