Auf mehrfachem Wunsch beschäftigten wir uns in unserer 17. Netzwerkveranstaltung mit dem Thema Künstliche Intelligenz und der Handhabe in der Verwaltung.
Das Buzzword “KI” ist momentan omnipräsent. Große Sprachmodelle, sogenannte Large Language Models (LLMs), sind seit der Veröffentlichung von ChatGPT in aller Munde. Sie können jegliche Texte in Sekundenschnelle zusammenfassen, unterstützen bei der Recherche und bei der Texterstellung.
Wie kann dies nun sinnvoll in der Verwaltung eingebracht werden? Ist es mehr als ein Hype-Thema?
Auch in den Verwaltungen der Mitgliedskommunen kommt es zu großer Nachfrage der Mitarbeitenden, da man mit sich in der täglichen Arbeit mit viel Text auseinandersetzt.
“We built it, we trained it, but we don’t know what it’s doing.”
– Sam Bowman, Open AI
Das Praxisbeispiel “LLMOIN” aus Hamburg
Hohe Nachfrage gab es auch bei der Mitarbeiterschaft der Freien und Hansestadt Hamburg. So kam man dort zu dem Schluss, dass ChatGPT interessant zum Ausprobieren sei, aber kein Standardtool für die Verwaltung.
Parallel wurde daher Mitte 2023 das Pilotprojekt “LLMoin” gestartet, welches uns Sören Alvermann, Referent für Neue Technologien im Amt für IT und Digitalisierung der Senatskanzlei in einem anschaulichen Praxisbeitrag vorstellte.
Das Projekt wird als innovativer KI-Pilot im Rahmen des InnoTecHH Fonds umgesetzt. Die Senatskanzlei unterstützt Hamburger Behörden dabei, innovative Ideen für den Einsatz von KI und anderen neuen Technologien zu entwickeln und agil zu erproben.
“LLMoin” soll demonstrieren, wie Large Language Models in der Hamburger öffentlichen Verwaltung eingesetzt werden können und welche Funktionen für die Mitarbeitenden nützlich sind. Die Stadt Hamburg hat zudem getestet, welche technischen und organisatorischen Voraussetzungen erforderlich sind, um diese Technologie zukünftig für eine große Zahl an Mitarbeitenden bereitzustellen.
So funktioniert “LLMOIN”
„LLMoin“ ist ein integrierter Textassistent mit vier Funktionen für den Einsatz in der Hamburger Verwaltung. Es basiert auf dem in Deutschland entwickelten Sprachmodell Luminous von AlephAlpha. Die eigens für Hamburg entwickelte Frontend- und Datenverarbeitung bietet Testgruppen Funktionen wie Zusammenfassung, Recherche-Assistent, Textgenerierung und einen Expertenmodus. Im Expertenmodus können Nutzerinnen und Nutzer ähnlich wie bei ChatGPT ohne zusätzliche Einstellungen mit selbst definierten „Prompts“ interagieren.
In der ersten Phase ging es, um das Verstehen von Nutzen und Nutzung von LLMs und darum eine Entscheidungsgrundlage für ein weiteres Vorgehen zu schaffen. Es nahmen circa 100 behördenübergreifende Testende teil und der verlauf wurde wissenschaftlich begleitet.
Erste Ergebnisse
Der grundsätzliche Mehrwert von LLM-basierten Unterstützungsfunktionen wurde bestätigt. Alle angebotenen Funktionen wurden gut angenommen, insbesondere die Nachfrage nach Recherchefunktionen war groß. Die erste Pilotphase zeigte gemischte und verbesserungswürdige Ergebnisse, doch eigene Erfahrungen und Erkenntnisse mit realen Nutzungsdaten im Verwaltungskontext erwiesen sich als sehr wertvoll. Aufgrund der Leistungsunterschiede und der Dynamik im LLM-Markt sollten zukünftige Lösungen flexibel mit verschiedenen Modellen funktionieren. Geführtes Prompting wurde als Einstiegshilfe gut angenommen, während der Expertenmodus eine sinnvolle Ergänzung darstellt.
Wie geht es weiter?
Als übergreifendes Ziel ist der Einsatz erster flächendeckender LLM-Assistenzfunktionen für die Verwaltung ab Mitte 2024 geplant. Dabei soll es sich um ein generalistisches Tool zur Entlastung der Mitarbeitenden handeln. In einer zweiten Pilotphase werden daher weitere Tests von “LLMoin” auf Basis (u.a. der GPTModelle) mit einem erweitertem Nutzerkreis erprobt.
Beim Dienstleister Dataport wird eine modellagnostische Anwendung auf Basis von “LLMoin” entwickelt, um u. a. auch eine Nachnutzbarkeit einer Produktivversion zu ermöglichen. Das „Geführte Prompting“ und der Expertenmodul bleiben erhalten, sollen ausgebaut und optimiert werden. In Bezug auf Datenschutz soll die Nutzbarkeit von “LLMoin” mit normalem Schutzbedarf durch entsprechende Maßnahmen ermöglicht werden.
Open Source-Einsatz in Verwaltungen
Zum Abschluss präsentierte Projektkoordinator Dominik Tröster aus der Verbandsgemeinde Otterbach-Otterberg den Open-Source-basierten Webserver-Stack und weitere Anwendungen, die im Einsatz sind. Eine weitere Arbeitsgruppe zum Thema Open Source wurde angeregt.
Foto:pixabay