Go-Live

In diesem Interview geben dir Özlem Çetinoğlu, Debasmita Bhattacharjee, Kaue Coelho, Diana Andaluz, Francesko Molla, Lyudmyla Todoriko, Kristina Bicaj und Selman Özen tiefere Einblicke in die letzte Phase der Entwicklung von Dicobot.

Wie würdet ihr die Entwicklung von Dicobot vom Start in der Alpha-Phase über die Beta-Phase bis zum Go-Live beschreiben?

Francesko Molla: Die Entwicklung von Dicobot war vergleichbar mit dem Entwurf einer Skizze in einem Notizbuch eines Data Scientists, die dann zu einem voll funktionsfähigen Produkt ausgearbeitet wurde. Während dieses Prozesses habe ich vielfältige Einblicke gewonnen, von Marketing und Softwareentwicklung bis hin zu Data Engineering und Produktentwicklung. Es war sehr inspirierend, mit einem Team zu arbeiten, das so unterschiedliche Fähigkeiten mitbrachte. Natürlich gab es auch Herausforderungen, aber die gewonnenen Erkenntnisse und Erfahrungen waren von unschätzbarem Wert. Ich bin dankbar für die Chance, die mir das Unternehmen geboten hat, und möchte auch meinen Kolleg:innen für diese wertvolle Erfahrung danken.

Kristina Bicaj: Für unser Team war das Development eine wirklich aufregende Reise, bei der viele Aspekte nur in einem "work-in-progress"-Modus angegangen wurden. Warum? Das Testen und Einholen von Feedback für ein Produkt in der Entwicklungsphase erforderte Flexibilität und eine fokussierte Herangehensweise. Eine effektive Roadmap-Planung und ein unglaublich gut eingespieltes Team waren entscheidend für unseren Erfolg. Scrum hat sich dabei als großartiges Entwicklungsframework erwiesen, das eine solide und strukturierte Basis für die Zusammenarbeit bietet und gleichzeitig Flexibilität im Umgang mit neuen Themen und unvorhergesehenen Herausforderungen ermöglicht.

Debasmita Bhattacharjee, Kaue Coelho, Diana Andaluz: Wir schließen uns den Kolleg:innen an. Der Grund? Der Design-Prozess für Dicobot war agil und beinhaltete Feedback-Sessions für weitere Iterationen. Zwei Meilensteine, die wir besonders hervorheben, waren die Implementierung der entworfenen Lösung auf der Dicobot-Seite und die Integration des Dicobot-Frames in die Karriereseite unserer Unternehmenswebsite.

Özlem Çetinoğlu: Auch ich gehe mit, denn als ich Teil des Dicobot-Projekts wurde, waren die Hauptkomponenten zwar bereits eingerichtet und funktionierten, aber zwei wirklich wichtige Verbesserungen folgten in den nächsten zwei Monaten:

1) Die Antworten des Bots auf Benutzerfragen mit präzisen Antworten und fast ohne Halluzinationen.

2) Der Bereitstellungsprozess, der die Cloud-Architektur und die Codebase-Pipeline für eine Produktfreigabe bereit machte.

Selman Özen: Und auch ich kann das Ganze für Legal Operations bestätigen: Die Entwicklung von Dicobot war eine lehrreiche Reise, bei der wir viele Erkenntnisse über unser Datenprodukt gewonnen haben. Die Entwicklung der Meilensteine passte sich den Anforderungen und Erwartungen aller Beteiligten an, und auch rechtliche Aspekte konnten im Rahmen eines agilen Ansatzes bewältigt werden.

Welche Learnings zieht ihr aus der Dicobot-Entwicklung? 

Francesko Molla: Um es mal als Data Scientist bildlich auszudrücken: Die Entwicklung von Dicobot war wie eine Navigation durch neblige Gewässer. Am Anfang gab es viel Begeisterung für Large Language Models (LLMs), aber auch einige Kopfschmerzen. Im Laufe der Zeit lernten wir, dass LLMs kein fertiges Produkt sind und dass KI nicht die Lösung für alles ist. Wir erkannten, dass man verschiedene KI-Komponenten kombinieren muss, um etwas Nützliches zu schaffen, und dass diese Kombination stark vom Anwendungsfall abhängt.

Debasmita Bhattacharjee, Kaue Coelho, Diana Andaluz: Für uns Designer ist das wichtige Take Away, die zentralen Leistungskennzahlen (KPIs) eines Produkts frühzeitig festzulegen und zu überprüfen. Dabei entwickeln wir Methoden, um ihren Erfolg zu messen.

Lyudmyla Todoriko: Als Software-Ingenieur habe ich gelernt, dass wir uns um die Benutzer-/Chatbot-Eingaben kümmern müssen (sicherstellen, dass nichts Ungewöhnliches von den Benutzer-/Chatbot-Eingaben kommt, und alles Ungewöhnliche filtern/formatieren). Beim nächsten Mal würde ich einen umfassenderen Ansatz wählen, anstatt die Probleme einzeln anzugehen. Insbesondere im Hinblick auf das Problem der Chatbot-Links, wo wirklich sauber formatierte URLs benötigt werden.

Selman Özen: Auch wenn es für Legal Operations ein langer Weg war: Wir haben es geschafft, die rechtlichen und datenschutzrechtlichen Aspekte fast durchgängig zu berücksichtigen.

Welche Tipps würdet ihr anderen Unternehmen geben, wenn sie ebenfalls einen KI-Chatbot entwickeln wollen?

Francesko Molla: Iteration ist das Schlüsselwort aus Data Science Sicht. Der Grund: Es ist nicht möglich, die perfekte Lösung von Grund auf zu entwickeln, da die Entwickler-Community, die mit LLMs arbeitet, sehr lebendig ist und sich die Landschaft ständig verändert. Entwickle eine Lösung, die sich leicht auf verschiedene Szenarien anwenden lässt, implementiere sie, identifiziere die Herausforderungen. Und dann wieder von vorne. 

Özlem Çetinoğlu: Für den Bereich des AI Engineerings ist mein erster Tipp, klare Ziele zu definieren, die auch den Entwicklungsprozess bestimmen werden. Wenn die Antworten des Bots auf einer Datenquelle basieren, ist es sehr wichtig, qualitativ hochwertige Daten aus dieser Quelle zu extrahieren, um bessere Antworten zu erhalten. Zweiter Tipp: Die Definition des Benutzerprofils ist sowohl für die Gestaltung der Benutzererfahrung als auch für die Anpassung des technischen Designs an die zusätzliche Belastung entscheidend. Dritter Tipp: KI-Chatbots entwickeln sich schnell weiter. Sei daher flexibel und bereit, dein Produkt entsprechend anzupassen.

Kristina Bicaj: Als Product Owner gebe ich folgenden Tipp mit: Die Implementierung eines Chatbots muss im Kontext des Gesamtsystems gesehen werden. Während die Implementierung von Schnittstellen, z.B. zu Sprachmodellanbietern, relativ einfach ist, erfordert die strategische und technische Konzeption eine umfassende Auseinandersetzung mit komplexen Themen wie Infrastruktur- und Architekturanforderungen, rechtlichen und Compliance-Aspekten, Produktstrategie, Geschäfts- und Nutzungszielen sowie der prozessualen Implementierung. 

Debasmita Bhattacharjee, Kaue Coelho, Diana Andaluz: Wir geben für Designer mit: Umfassende Nutzerforschung und -tests sind wichtig, ebenso wie die Definition einer Rahmenarchitektur und einer Chatbot-Sprache, die auf Nutzeranforderungen basieren. Auf diese Weise kann ein Chatbot an die Bedürfnisse des jeweiligen Anwendungsfalls angepasst werden. Der Chatbot kann sich auch aufgrund von Business-Anforderungen unterscheiden, daher ist die Abstimmung von Business- und Nutzerwerten von entscheidender Bedeutung.

Lyudmyla Todoriko: Als Software Engineer würde das nächste Mal, wenn ich an einem KI-Chatbot arbeite, mit dem Bot sprechen und versuchen, so viele Edge Cases wie möglich zu sammeln, um zu sehen, ob es irgendwelche Fehler gibt. 

Selman Özen: Mein Tipp für Legal Operations: Alle Beteiligten frühzeitig zusammenbringen und in den Prozess einbinden. Denn die rechtlichen und datenschutzrechtlichen Anforderungen ändern sich je nach Fall und Situation.

Debasmita Bhattacharjee, Kaue Coelho, Diana Andaluz: Wir freuen uns darauf, dass der Dicobot noch mehr lernt und intelligenter wird. Was das für uns heißt? Wir behalten die Rückmeldungen der Nutzer:innen zu den einzelnen Nachrichten im Auge, um ihre Zufriedenheit besser verfolgen zu können. Weitere Optimierungen beinhalten die Integration des Dicobots in andere Bereiche der Website, um dort seine Leistung zu messen. Außerdem planen wir, einige der visuellen Designlösungen zu implementieren und AB-Tests sowie andere Testformate durchzuführen.

Francesko Molla: Stell dir die Softwareentwicklung nicht wie das Backen eines einzelnen Kuchens vor, sondern wie das Betreiben einer ganzen Bäckerei. In einer Bäckerei ist es nicht nur deine Aufgabe, einen Kuchen zu backen. Du passt die Rezepte ständig den Kundenwünschen und den sich ändernden Trends an, indem du neue Geschmacksrichtungen einführst oder bestehende anpasst. Die Bäckerei entwickelt sich ständig weiter und die Arbeit ist nie wirklich abgeschlossen. Es gibt immer eine neue Herausforderung oder ein Rezept, das verbessert werden kann. In der Softwareentwicklung ist es ähnlich. Es geht nicht nur darum, ein einmaliges Produkt zu schaffen, sondern um einen kontinuierlichen Prozess der Entwicklung und Anpassung.

Kristina Bicaj: Zunächst werden wir das Nutzerverhalten analysieren (natürlich in Übereinstimmung mit der DSGVO) und auf der Grundlage dieser Analyse sowie der aktuellen technischen Anforderungen eine priorisierte Roadmap für die weitere Entwicklung erstellen.