Eine Adresse für alle Modelle.Die Modelle bleiben, wo sie rechnen.microllm verteilt die Arbeit.
LLM-Dispatcher und halbagentischer Enabler
Ein Vorhaben der Gemini Foundation, Leipzig.
Wie kommt eine Anwendung an ein Sprachmodell?
Wer Sprachmodelle selbst betreibt, hat schnell mehrere Maschinen, mehrere Modelle und mehrere
Anwendungen, die sie nutzen. Bisher gibt es darauf zwei Antworten. Ein eigener Dispatcher ist die dritte.
Direkt an die Maschine
Jede Anwendung kennt Adresse und Modell einer Maschine. Fällt sie aus oder wechselt das Modell, muss
jede Anwendung angefasst werden.
Alles zu einem Anbieter
Eine Adresse, aber außer Haus. Daten, Kosten und Verfügbarkeit liegen beim Anbieter.
Ein eigener Dispatcher
Eine Adresse im eigenen Netz. Anwendungen nennen einen Namen; welche Maschine antwortet, entscheidet
microllm.
Was ohne Dispatcher in jeder Anwendung landet
die Adressen der Maschinen und die Namen der Modelle,
die Entscheidung, welche Maschine gerade frei ist,
der Umgang mit einer Maschine, die nicht antwortet,
Werkzeuge wie Websuche, wenn das Modell mehr wissen soll als sein Training.
microllm: die Frage2 von 8
Das Konzept: ein Name statt einer Adresse
Anwendungen sprechen mit einer einzigen Adresse und nennen einen Modellnamen. Hinter dem Namen
steht eine Gruppe von Backends. Wie viele es sind und wo sie stehen, weiß nur microllm.
belegter Platz
freier Platz
ausgefallenes Backend
verteilenDie Arbeit geht an das Backend, das gerade am meisten Platz hat.
überwachenEin Backend, das ausfällt, wird gemieden und kommt von selbst zurück.
ausrüstenEine Gruppe kann dem Modell Werkzeuge mitgeben, die microllm selbst ausführt.
Die Modelle bleiben, wo sie rechnen: auf den eigenen Maschinen. microllm speichert keine Modelle
und rechnet nicht selbst. Es ist ein einzelnes Programm mit einer Konfigurationsdatei.
microllm: das Konzept3 von 8
Der Regelfall: eine Anfrage, ein Backend
belegter Platz
freier Platz
ausgefallenes Backend
microllm löst den Namen auf: erst als Gruppe, dann als Alias, zuletzt über ein Muster für unbekannte
Namen.
Es wählt aus der Gruppe das gesunde Backend mit den meisten freien Plätzen.
Es reicht die Anfrage unverändert durch und gibt die Antwort zurück, auf Wunsch Zeichen für Zeichen.
Es zählt mit: Anfragen, Tokens, Fehler und Tempo je Modell.
Plätze
Jedes Backend hat eine Obergrenze gleichzeitiger Anfragen, ohne Angabe vier. Sind alle Plätze
belegt, wartet die nächste Anfrage. Ein schnelles Backend gibt seine Plätze schneller frei und bekommt
dadurch von selbst mehr Arbeit – ohne Gewichte, die jemand pflegen müsste.
microllm: der Regelfall4 von 8
Wenn ein Backend ausfällt
Schlägt ein Backend fehl, geht dieselbe Anfrage an das nächste der Gruppe. Die Anwendung merkt
davon nichts. Erst wenn alle Backends einer Gruppe versagt haben, bekommt sie einen Fehler.
Nach der Pause prüft microllm das Backend selbst; ein Prüflauf findet alle 30 Sekunden statt.
Antwortet das Backend, arbeitet es wieder mit. Antwortet es nicht, beginnt die Pause neu.
Voll ist nicht kaputt
Meldet ein Backend, dass es gerade keine Anfrage annimmt, weicht microllm aus, ohne das als Fehler zu
zählen.
Umbau im Betrieb
Die Konfiguration lässt sich neu laden, ohne Neustart. Neue Backends arbeiten sofort mit. Entfernte
verschwinden erst, wenn ihre letzte Anfrage beantwortet ist.
microllm: Ausfall und Rückkehr5 von 8
Halbagentisch: Werkzeuge im Dispatcher
Eine Gruppe kann dem Modell Werkzeuge mitgeben: Websuche und Seitenabruf. microllm führt sie
selbst aus. Die Anwendung stellt eine Frage und bekommt eine Antwort; die Runden dazwischen sieht sie nicht.
Halbagentisch heißt: Das Modell entscheidet, wann es sucht und was es liest. Die Schleife ist begrenzt,
ohne Angabe auf drei Runden; in der letzten muss das Modell antworten.
Werkzeuge, die eine Anwendung selbst mitschickt, bleiben unberührt. microllm führt nur seine eigenen aus.
Abgerufen werden nur öffentliche Adressen, keine aus dem eigenen Netz.
Eine Gruppe kann einen eigenen Systemprompt tragen, etwa Regeln für die Recherche.
microllm: Werkzeuge6 von 8
MultiProtocol: zwei Protokolle, eine Adresse
microllm übersetzt nicht zwischen den Protokollen. Eine Anfrage erreicht das Backend in dem
Format, in dem sie ankam; das Backend muss es selbst verstehen. microllm kennt beide Formate nur dort, wo es
selbst eingreift: bei den Werkzeugen, beim Systemprompt einer Gruppe und bei Dokumenten.
Dokumente
Ein PDF in einer Anfrage wird vor dem Modell in Text umgewandelt, auf Wunsch mit Seitenbildern. Das
Modell bekommt Text, keinen Anhang.
Dienste
Unter derselben Adresse reicht microllm auch andere Dienste durch, etwa Spracherkennung – mit derselben
Lastverteilung und demselben Ausweichen.
microllm: MultiProtocol7 von 8
microllm
Betrieb und Stand
Ein einzelnes Python-Programm mit einer Konfigurationsdatei im LiteLLM-Format.
Statistik je Modell und Backend, Mitschrift aller Anfragen mit Aufbewahrungsfrist.
Zugriffsschutz mit API-Keys und freigestellten Netzen.
Backends: alles mit einer OpenAI-artigen HTTP-Schnittstelle, etwa vLLM und llama.cpp.
Dieses Heft zeigt das Grundprinzip. Die Einstellungen im Einzelnen stehen in der README.
Der Quelltext steht unter der Apache License 2.0.
Ein Vorhaben der Gemini Foundation, Leipzig. gemini-stiftung.de