Manche der interessantesten fachlichen Gespräche beginnen nicht auf einer Konferenz oder einem Meetup, sondern völlig beiläufig. So ging es mir kürzlich bei einer Vereinsveranstaltung der Fußballmannschaft unserer Kinder: Dort kam ich mit Iryna Dohndorf ins Gespräch – wir kennen uns schon länger über den Verein. Irgendwann erzählte sie mir von ihrem Open-Source-Projekt Tiberius: einem in Java geschriebenen Framework, mit dem sich Unternehmensanwendungen testen lassen, die Large Language Models (LLMs) einsetzen.
Das Thema ließ mich nicht mehr los – und noch am selben Abend kam mir die Idee, darüber zu schreiben.
Warum mich das Thema sofort angesprochen hat
KI ist gerade überall präsent. Viele Unternehmen sind genau jetzt dabei, KI aus dem Experiment in echte, produktive Anwendungen zu überführen. Mich interessieren dabei weniger die Schlagzeilen als die konkreten Fragen, die dabei entstehen – und eine davon ist überraschend grundlegend:
Wie testet man eine Anwendung, deren Verhalten sich nicht eindeutig vorhersagen lässt?
Genau hier setzt Tiberius an. Und genau das hat mich neugierig gemacht.
Was sich beim Testen verändert
In der klassischen Softwareentwicklung ist Testen vergleichsweise eindeutig. Wenn eine Funktion 2 und 5 addieren soll, muss 7 herauskommen – der Test ist bestanden oder nicht.
Bei LLMs gilt das so nicht mehr. Zur gleichen Eingabe können bei mehrfacher Ausführung unterschiedliche Antworten entstehen, und mehrere davon können angemessen sein. Trotzdem haben wir eine klare Vorstellung davon, welche Antworten wir für richtig – oder besser: für angemessen halten – und welche nicht. Eine Antwort kann sachlich danebenliegen. Sie kann aber auch problematisch sein: weil sie eingeschleuste Anweisungen befolgt (sogenannte Prompt-Injection-Angriffe), weil sie Vorurteile verstärkt (Bias), oder weil sie vertrauliche Informationen preisgibt.
Die Frage verschiebt sich damit von „Ist das Ergebnis richtig?“ zu „Ist diese Antwort in diesem Kontext angemessen?“. Diese Vorstellung von Angemessenheit in automatisierte Tests zu übersetzen, ist die eigentliche Herausforderung – und der Punkt, an dem klassische Testmethoden nicht mehr ausreichen.
Warum ich anschließend den Quellcode gelesen habe
Direkt nach unserem Gespräch hatte mir Iryna ihren Artikel über Tiberius und einen Podcast zum Projekt geschickt. Ich wollte danach verstehen, wie die Idee technisch umgesetzt ist – also habe ich mir den Quellcode auf GitHub angesehen.
Besonders interessiert hat mich die Stelle, an der klassische Java-Entwicklung und natürliche Sprache aufeinandertreffen. Tiberius enthält über 200 vordefinierte Angriffsmuster – sogenannte Probes –, die in Kategorien wie AttackCategory.JAILBREAK, PROMPT_INJECTION oder DATA_EXTRACTION organisiert sind und direkt gegen eine LLM-Anwendung ausgeführt werden können. Das Ergebnis ist kein einfaches Pass/Fail, sondern ein statistischer Bericht: Wie viele der Angriffe sind durchgekommen? Mit welcher Häufigkeit? Das Framework arbeitet probabilistisch, weil das Verhalten von LLMs selbst probabilistisch ist.
Genau an solchen Stellen wird aus einem abstrakten KI-Konzept konkrete, nachvollziehbare Software – und genau das fasziniert mich.
Was Unternehmen aus meiner Sicht mitdenken sollten
Wer KI produktiv einsetzt, sollte einige Fragen früh mitdenken – und sie beginnen aus meiner Erfahrung nicht bei der Technik, sondern bei der Wirtschaftlichkeit.
Ich gehe davon aus, dass die heutigen Preise für KI-Dienste langfristig nicht auf diesem Niveau bleiben. Das gehört schon heute in jede Kalkulation. Daraus folgt unmittelbar die Frage, an welche Anbieter man sich wie stark bindet.
Ein aktuelles Beispiel, das das verdeutlicht: Promptfoo, eines der bekanntesten Open-Source-Tools zum Testen von LLM-Anwendungen, wurde im März 2026 von OpenAI akquiriert. Was bis dahin ein unabhängiges Community-Projekt war, gehört nun einem der größten Akteure im KI-Markt. Für Unternehmen, die Promptfoo in ihrer Test-Infrastruktur einsetzen, ist das eine direkte Frage nach digitaler Souveränität: Welche Tools, welche Daten, welche Abhängigkeiten liegen in wessen Händen?
Das ist kein Argument gegen OpenAI oder Promptfoo – es ist ein Argument für Bewusstsein. Idealerweise baut man Schnittstellen so, dass sich das konkrete LLM im Hintergrund austauschen lässt oder von vornherein mehrere Modelle angebunden sind. Tiberius ist hier ein Gegenbeispiel im positiven Sinne: Apache-2.0-lizenziert, auf GitHub, ohne kommerzielle Abhängigkeit.
Gerade für europäische Unternehmen kommt der Datenschutz hinzu. Es will sorgfältig entschieden sein, welche Informationen überhaupt an externe Modelle übertragen werden dürfen. Und schließlich die Themen Sicherheit und Bias, die beide Tiberius direkt adressiert: Es geht selten darum, Risiken vollständig auszuschließen – es geht darum, sie bewusst zu kennen, messbar zu machen und Strategien zu haben, um sie zu begrenzen.
Warum ich darüber schreibe
Mir geht es nicht nur darum, ein interessantes Open-Source-Projekt vorzustellen. Ich möchte zeigen, welche Fragen mich beschäftigen und wie ich an neue Technologien herangehe – weniger entlang der großen Schlagworte als entlang der konkreten Fragen dahinter: Wie funktioniert das wirklich? Welche Auswirkungen hat es auf Unternehmen? Und welche Entscheidungen müssen heute getroffen werden, damit daraus morgen tragfähige Lösungen entstehen?
Verständnis setzt Energie frei und schafft Handlungsoptionen. Wer versteht, kann gestalten; wer nur ungefähr versteht, bleibt darauf angewiesen, was andere ihm erklären.
Ich freue mich über Gespräche mit Menschen, die ähnliche Fragen umtreiben. Falls Sie gerade mit KI, Unternehmenssoftware oder komplexen Transformationen zu tun haben – schreiben Sie mir gerne.
Transparenz-Hinweis: Ich nutze bei meinen Texten grundsätzlich KI-Unterstützung – so gehe ich dabei vor.