AutoPrompter

Überblick

Der Node lädt ein GGUF-Sprachmodell über llama.cpp direkt in ComfyUI und erzeugt daraus vollständige Prompts. Er bringt eine eigene Oberfläche im ComfyUI-Frontend mit.

Die Aufgabe

Gute Prompts von Hand zu schreiben kostet bei Stapelläufen die meiste Zeit. Fertige Dienste dafür brauchen einen Schlüssel, eine Verbindung und geben Daten aus der Hand.

Der Ansatz

Das Sprachmodell dorthin holen, wo der Bildgenerator ohnehin läuft. Ein Node, ein Modellordner, kein zweiter Dienst.

Das System

738 Zeilen Python. Das geladene Modell bleibt zwischen Warteschlangen-Läufen im Speicher, sonst lädt Auto Queue es vor jedem Bild neu von der Platte. Ein eigener Modellordner (models/llm_gguf) wird beim Start registriert, eine neue Datei dort genügt. Ein Filter entfernt die Gedankengänge, die manche Feinabstimmungen trotz Anweisung ausgeben.

Das Ergebnis

Läuft täglich im eigenen Betrieb und liefert die Prompts für die H3-Pipeline.

# Modell bleibt zwischen Laeufen im Speicher
_MODEL_CACHE = {}

def _get_llm(model_path, n_gpu_layers=99, n_ctx=4096):
    key = (model_path, n_gpu_layers, n_ctx)
    if key not in _MODEL_CACHE:
        from llama_cpp import Llama
        _MODEL_CACHE.clear()
        gc.collect()
        _MODEL_CACHE[key] = Llama(
            model_path=model_path,
            n_gpu_layers=n_gpu_layers,
            n_ctx=n_ctx,
            verbose=False,
        )
    return _MODEL_CACHE[key]

Technik