Wie man einen KI-Anbieter prüft: Oder was drei Runden Jury-Rückfragen uns gelehrt haben

Anfang Oktober hat der Bundesverband für KI-Transformation e.V. visibus mit dem Venture AI Excellence Award 2026 ausgezeichnet. Ich freue mich darüber, und ich sage gleich dazu, was das ist und was nicht: kein Gütesiegel, keine Zertifizierung, sondern das Urteil einer Jury, die drei Wochen lang sehr genau hingeschaut hat.

Ausgezeichnet wurde visibus Chat in der Kategorie Startup als dokumentierte Plattform für den kontrollierten Einsatz kommerzieller KI-Modelle im Mittelstand: technische Schutzmassnahmen, kontrollierter Zugang und die Einführung im Betrieb, die zusammenspielen. So hat es der Verband formuliert. Dieser Beitrag handelt trotzdem weniger von der Auszeichnung als von den drei Wochen davor. Denn was die Jury von uns verlangt hat, gibt es nicht nur für Awards. Es ist die Prüfung, die jeder Betrieb einer KI-Lösung abverlangen kann, bevor er sie einführt, und die in der Praxis selten stattfindet, weil niemand weiss, wonach er fragen soll. Nach drei Runden wissen wir es.

Was die Jury nicht wollte

Nach der Bewerbung kam keine Zusage und keine Absage, sondern eine Mail mit Rückfragen. Dann noch eine. Dann noch eine. Die Jury hatte unsere Unterlagen gelesen, das Nutzerhandbuch, die technischen und organisatorischen Massnahmen, die Liste der Unterauftragsverarbeiter, und sie wollte in jeder Runde dasselbe, nur genauer: Belege dafür, dass das, was wir beschreiben, auf den produktiven Instanzen tatsächlich so läuft.

Was sie nicht wollte, waren Folien.

Die erste Runde fragte nach allen Datenwegen, auch denen, die in einer Bewerbung gern untergehen: Erinnerungsfunktion, Bilder, Werkzeuganbindungen, lokale Modelle, Sicherungen, administrative Zugriffe. Die zweite Runde wollte den Filterstand jeder einzelnen Instanz mit Datum und Build, ein verbindliches Profil, das bewertet wird, und die Bestätigung eines externen Testnutzers. Die dritte Runde wollte einen eindeutig benannten Produktstand: welches Release auf welcher Instanz seit wann läuft, was mit Sprachaufnahmen nach sieben Tagen passiert, belegt mit Zeitstempeln, und was geschieht, wenn der Datenschutzfilter ausfällt, belegt mit Protokoll.

Gebaut ist nicht ausgerollt

Die schwierigste Frage war die scheinbar einfachste: Welcher Stand wird eigentlich bewertet? Zwischen der zweiten und der dritten Runde haben wir mehrfach ausgerollt, nicht weil das unser Takt wäre, sondern weil jede Runde Punkte aufdeckte, die wir nicht als „geplant" stehen lassen wollten. Für eine Jury sieht das trotzdem aus wie ein bewegliches Ziel, und sie hat uns zwei Wege angeboten: den älteren Stand bewerten, den alle kannten, oder den aktuellen, dann aber mit Nachweis je Instanz.

Unsere Antwort war ein Stichtag. Bewertet wird, was am Tag unserer Antwort auf allen produktiven Instanzen läuft. Was danach kommt, zählt nicht. Und was zwar gebaut, aber an diesem Tag nicht überall ausgerollt ist, zählt auch nicht. Das klingt selbstverständlich, ist es aber nicht, wenn man gewohnt ist, in Roadmaps zu denken. Ein Zielzustand ist kein Produktstand.

Also haben wir am Tag vor der Antwort ein Release geschnitten und auf alle Instanzen ausgerollt, damit das, was die Jury erfragt hatte, am Stichtag nicht „geplant" war, sondern lief. Und wo eine Funktion noch im Übergang war, haben wir sie als Übergang ausgewiesen und der Jury überlassen, ob sie in die Bewertung gehört.

Die Regel, die daraus geworden ist, gilt seither für alles, was wir nach aussen sagen: Gebaut ist nicht ausgerollt. Was nicht auf allen Instanzen läuft, wird nicht als erledigt ausgewiesen.

Den Stecker ziehen

Eine Frage der dritten Runde lautete sinngemäss: Wie habt ihr den Fail-Closed-Fall geprüft? Fail-Closed heisst: Wenn der Erkennungsdienst für personenbezogene Daten nicht erreichbar ist, weist das Gateway die Anfrage ab, statt sie ungefiltert an das Modell zu senden. Wir hatten dafür automatisierte Tests und die Einstellung auf jeder Instanz. Die Jury wollte den Fall gesehen haben.

Also haben wir den Dienst im laufenden Betrieb gestoppt und eine Anfrage mit einem Testnamen gesendet. Die Oberfläche zeigte eine Fehlermeldung, das Gateway-Protokoll die Abweisung, das Kostenprotokoll keinen Aufruf beim Modellanbieter. Dienst wieder gestartet, dieselbe Anfrage normal beantwortet, der Name als Platzhalter. Der ganze Test dauerte wenige Minuten. Ein Mechanismus, den man nur aus Tests kennt, ist ein Versprechen. Einer, den man unter Last gesehen hat, ist ein Beleg.

Dasselbe Muster bei der Löschfrist für Sprachaufnahmen. Die Regel stand in der TOM, der Löschlauf lief täglich. Die Jury wollte einen Auszug mit Erstellungszeitpunkt, Löschzeitpunkt und Ergebnis. Wir haben eine Aufnahme über ihre Frist hinweg verfolgt: Der Lauf vor Ablauf der sieben vollen Tage liess sie stehen, der erste Lauf danach hat sie gelöscht, beides im Systemjournal nachlesbar. Ein Zeitstempel ist mehr wert als ein Satz in einem Dokument.

Nicht jede Angabe in unseren Unterlagen hat die drei Runden unverändert überstanden. Wo wir präzisiert haben, stehen die aktualisierten Fassungen heute in den Vertragsdokumenten, mit Datum und Release-Linie. Das ist der eigentliche Ertrag einer solchen Prüfung: Dokumente, die den Stand beschreiben, der läuft, und nicht den, den man im Kopf hat.

Sechs Fragen, die jede KI-Lösung beantworten sollte

Alles, was die Jury von uns wollte, lässt sich auf sechs Fragen bringen. Drei betreffen das Produkt, drei die Dokumente. Keine davon setzt voraus, dass Sie eine Zeile Code verstehen. Entscheidend ist, dass die Antworten schriftlich vorliegen und zueinander passen.

1. Können wir das Modell wechseln, wenn ein besseres kommt, ohne neues Abo und ohne neuen Vertrag?
2. Bleiben unsere Daten und Verläufe bei uns, auf einer Instanz, die uns gehört?
3. Was verlässt das Haus, wie lange bewahrt es der Anbieter auf, und darf er damit trainieren?
4. Gibt es einen Auftragsverarbeitungsvertrag mit technischen und organisatorischen Massnahmen, und für welchen Stand gelten sie?
5. Welche Unterauftragsverarbeiter sind für unsere Instanz tatsächlich aktiv?
6. Was passiert bei Vertragsende mit unseren Daten, den Sicherungen und den Snapshots?

Und über allen sechs steht die Frage, die uns am meisten Arbeit gemacht hat: Welcher Stand läuft bei uns, heute, mit Datum? Wer darauf eine Antwort mit Protokoll bekommt, weiss mehr über seine KI-Lösung, als jede Auszeichnung verraten kann, unsere eingeschlossen.

Acht Fragen von der Anwenderseite

Eine zweite Sicht, unabhängig von uns entstanden: swissAI, der Schweizer Anwenderverband für Künstliche Intelligenz, bei dem wir Mitglied sind, stellt in seinem Vergleich der Schweizer KI-Chats acht Fragen an jedes Angebot. Vier davon decken sich mit unseren, vier ergänzen die Liste und gehören mit darauf: Woher stammt das Modell? Gilt Schweizer Datenschutzgesetz oder nur die DSGVO? Was steht in der Gratis-Lizenz? Und welche Haftung, welche Verfügbarkeit sagt der Anbieter zu? Die Antworten darauf gehören in Angebot, Vertrag und die Bedingungen des Testzugangs, nicht in einen Blog. Dort geben wir sie auch.

Verbandspräsident Chris Beyeler zerlegt in seinem Beitrag zum Datenschutz bei ChatGPT, Copilot und Co. zudem den Datenstandort in vier Fragen: Wo wird gespeichert, wo rechnet das Modell, wer hat Zugriff, wer bekommt die Daten. Das ist die präziseste Fassung der Frage, die uns die Jury als „alle Datenwege" gestellt hat. Wir haben die vier auf unsere eigene Produktseite angewendet und dabei eine Lücke geschlossen: Wo die grossen Cloud-Modelle rechnen, steht dort jetzt ausdrücklich. Prüffragen wirken auch, wenn man sie auf sich selbst richtet.

Der Punkt

KI gehört zum Firmenzugang, wie Mail, Office und Dateiablage. Für Firmenzugänge gelten Verträge und Nachweise, keine Versprechen. Bei Mail und Ablage ist das selbstverständlich; bei KI ist es noch nicht so weit, und genau deshalb lohnt sich die Prüfung, die uns die Jury abverlangt hat.

Was sie am Ende ausgezeichnet hat, war nicht nur ein Produkt, sondern auch eine Haltung: Protokolle statt Folien, Stichtag statt Roadmap, Grenzen benennen statt überspielen. Diese Haltung kann man von jeder KI-Lösung erwarten. Die sechs Fragen sind ein Anfang.

Wenn Sie gerade vor der Frage stehen, wie KI in Ihrem Betrieb offiziell werden soll: Schreiben Sie uns, wir schauen es gemeinsam an. Warum ein eigener Zugang überhaupt die richtige Frage ist, steht im Beitrag Warum Ihre Firma einen eigenen KI-Zugang braucht.