Wie Aidy immer besser wird

Aidy, der KI-Chatbot von „Anerkennung in Deutschland“, unterstützt Fachkräfte bei Fragen rund um die Anerkennung ihrer ausländischen Berufsqualifikation. Seit Anfang 2025 hat der bundesweite Chatbot zur Anerkennung mehr als 50.000 Chats geführt. Damit Aidy stets korrekt und hilfreich antwortet, findet im Hintergrund eine regelmäßige Qualitätskontrolle statt. Worauf dabei zu achten ist und wie Aidy kontinuierlich besser wird, erläutern Ruth Krumscheid und Thomas Schmitz im Interview.

Woran erkennen Sie beim Monitoring, ob Aidy hilfreich antwortet?

Ruth Krumscheid: Die meisten Chats verlaufen sehr gut. Bei Bedarf stellt Aidy wichtige Rückfragen, zum Beispiel nach dem Arbeitsort und dem Beruf. Auf diese Weise entwickelt sich ein Dialog wie mit einem Menschen. Und so findet Aidy in der Regel den Pfad zu den passenden Informationen.

Thomas Schmitz: Wenn die Antworten ausnahmsweise mal nicht so genau passen, dann sieht man das meist am Chatverlauf. Dann entwickelt sich so eine Art „Ping Pong“: Die Fachkraft wiederholt ihre Frage mehrfach und erhält immer die gleiche oder eine ähnliche Antwort. Solche Fälle schauen wir uns dann genau an, um hier nachzusteuern und Verbesserungen vorzunehmen.

Ruth Krumscheid: Viele Userinnen und User sind inzwischen aber darin geübt, mit einem KI-gesteuerten Chatbot zu kommunizieren. Wenn sie nicht weiterkommen, starten sie oft einfach einen neuen Chat.

Warum ist die Qualitätskontrolle so wichtig?

Thomas Schmitz: Die Leute sagen am Schluss ja nicht: „Danke Aidy, Du hast mir sehr geholfen“, sondern der Chat endet einfach irgendwann. Deshalb sehen wir uns die Chats jede Woche stichprobenartig an und prüfen, ob die Antworten korrekt und hilfreich waren.

Ruth Krumscheid: Aidy basiert auf einer generativen KI und greift auf die Informationen unseres qualitätsgesicherten Portals zu. Die Antworten formuliert Aidy aber eigenständig. Deshalb ist die Qualitätskontrolle essenziell: Zum einen schauen wir, ob bei Aidy die Mechanismen optimal greifen und wo wir vielleicht nachsteuern müssen. Zum anderen erhalten wir Hinweise darauf, wo vielleicht noch Optimierungsbedarf im Portal besteht. Auch stellen wir sicher, dass die Antworten konsistent sind, also Fragen zum gleichen Thema auch gleich beantwortet werden.

Thomas Schmitz: Das Thema Anerkennung ist ja sehr komplex und auch mit angrenzenden Fragen wie zum Beispiel Einreise und Arbeitsplatzsuche verwoben. Da kann es vorkommen, dass Aidy zwar sachlich korrekt antwortet, die Antwort aber trotzdem nicht das Anliegen der Fachkraft trifft. Da schauen wir dann genau hin und notieren, was an welchem Punkt nicht geklappt hat.

Wie läuft der Prozess vom Monitoring bis zur Verbesserung konkret ab?

Ruth Krumscheid: Wir sehen uns in einem kleinen Team jede Woche verbesserungswürdige Stellen in den Chats an. Da entscheiden wir, ob und welche redaktionellen oder technischen Maßnahmen wir ergreifen: Wenn es um Anpassungen auf den Portalseiten geht, ist als Nächstes die Redaktion gefragt. Manchmal geben wir auch Antworten zu bestimmten Themen vor und verfassen sogenannte „Aidy Notes“, auf die Aidy dann zurückgreifen kann.

Thomas Schmitz: Generell fragen wir uns auch immer: Wie weit soll der Chatbot bestimmte Spezialfragen beantworten können? Und wann soll Aidy besser auf andere Angebote zur Information oder Beratung hinweisen? Wichtig ist, dass die Fachkraft am Ende immer einen Ankerpunkt erhält, von wo es für sie weitergeht.

Was finden Sie persönlich an der Arbeit mit Aidy spannend?

Ruth Krumscheid: Ich betreue den Chatbot hauptsächlich in technischer Hinsicht und finde es total spannend, wie Aidy die Informationen, die wir ihm zur Verfügung stellen, verarbeitet und versteht. Und wie manchmal kleine Anpassungen viel ausmachen können.

Thomas Schmitz: Beeindruckend ist auch, wie sehr sich Aidy sprachlich weiterentwickelt hat: Aidy versteht nicht nur praktisch alle Sprachen und antwortet dann auf Deutsch oder Englisch. Inzwischen versteht Aidy auch Fragen, die sprachlich nicht so gut formuliert sind, und reagiert sogar auf Stichworte.

Das Interview fand im Juni 2026 statt. Ruth Krumscheid ist Fachexpertin für technische Anwendungen und Thomas Schmitz Wissenschaftlicher Mitarbeiter; gemeinsam betreuen sie im BIBB-Kompetenzzentrum Berufsanerkennung die Qualitätskontrolle von KI-Chatbot Aidy. Kontakt für Fragen: Feedback zum Portal

Wir laden Sie ein, auf Aidy hinzuweisen oder in Ihre Arbeit zu integrieren, um Fachkräfte bestmöglich zu unterstützen und den Anerkennungsprozess zu erleichtern. Hier können Sie Aidy ausprobieren.