Webinar: Integration von Large Language Models in Geschäftsprozesse
LLMs und inzwischen auch SLMs geben der Automatisierung von Geschäftsprozessen eine völlig neue Dimension: Mit KI erwarten wir bessere Ergebnisse in kürzerer Zeit. Dies gelingt, wenn neue KI-Dienste erfolgreich in bestehende Systemlandschaften integriert werden. Unsere Integrationsplattform DocProStar ist genau dafür geschaffen. Erwin Schwarzl und Lutz Schäfer stellen im Webinar die erfolgreiche Anbindung von KI in automatisierte Geschäftsprozesse vor. Dazu zeigten wir in Demos verschiedene Use Cases aus Projekten in Versicherungen.
Ergebnisse der Umfrage
Wir haben unseren Webinarteilnehmer:innen Fragen gestellt. Die Ergebnisse dieser Umfrage möchten wir mit Ihnen teilen:
Welche Herausforderungen bei der Nutzung von KI insbesondere LLMs beschäftigen Sie besonders?
Besonders die Integration von KI in bestehende Systeme beschäftigt die meisten Webinarteilnehmer:innen. Mit unserer Prozessplattform DocProStar ist genau das einfach möglich. Ausführliche Informationen zu DocProStar.
Welchen KI Use case fanden Sie am interessantesten?
Der interessanteste Use Case ist für viele der Aufbau von DocProStar Prozessen parallel zu bestehenden Systemen gewesen. Stichwort Dualismus für einen schnellen und unkomplizierten Einstieg in mehr Prozessautomatisierung. Für weitere Informationen zur parallelen Einführung von DPS kontaktieren Sie uns gerne!
Aufzeichnung
Slides
Fragen & Antworten
Wie unterscheidet sich die Performance von LLMs im Vergleich zu klassischen Distanz-basierten Algorithmen oder einfachen Neuronalen Netzen? Ist der potentielle Vorteil gegenüber den zusätzlichen Kosten gerechtfertigt?
Es werden mehr Hardware-Ressourcen benötigt, die sich natürlich auch in den Kosten wiederspiegeln. Aus bisherigen Erfahrungen rechnen wir damit, dass eine signifikante Steigerung der Automatisierungsrate möglich ist, aber eine Garantie gibt es keine. Eine Wirtschaftlichkeitsanalyse durchzuführen, macht vor oder während erster Tests durchaus Sinn.
Welche Datenschutzanforderungen gelten für die Nutzung von KI-Services in der Cloud?
Hier sind die Einzelfälle zu betrachten, für die gezeigten Beispiele bedeutet das:
Das LLM des DPS Classifiers läuft On-Premise oder in der Private Cloud, das heißt Ihre Trainingsdaten bleiben inhouse und die Datenschutzregelungen für diese Systeme gelten entsprechend. Es werden aktuell keine Daten mit anderen Usern geteilt.
Für die Extraktion haben wir in der Demo zuerst das Document Intelligence Studio von Microsoft und damit einen Service in der Cloud genutzt. Damit werden die Datenschutz- und Sicherheitsrichtlinien von Microsoft akzeptiert, entsprechend sollten keine vertraulichen oder schützenswerten Daten hochgeladen werden. Nach unseren Informationen können diese Servicves (genauso wie die OCR von Microsoft) auch lokal in einem Docker-Container betrieben werden. Damit werden keine Dokumente in die Azure-Cloud hochgeladen.
Anschließend haben wir die öffentlich verfügbare Version von Chat GPT genutzt. Auch hier entscheiden Sie als Kunde, unter welchen Voraussetzungen ein solcher KI-Dienst genutzt werden darf. Microsoft bietet nach unseren Informationen in Azure auch Versionen des LLM von Open AI an, bei denen Fine Tuning mit eigenen Dokumenten möglich ist, ohne dass damit das große und öffentlich verfügbare LLM trainiert wird. Allerdings setzt das die erforderlichen Ressourcen in Ihrer Organisation voraus. Andernfalls können Sie nicht ausschließen, dass die Daten an Chat GPT bzw. Open AI für das Training des LLM verwendet und damit potenziell in den USA verarbeitet werden. Infos zu den Angemessenheitsbeschlüssen zwischen der EU und den USA gibt es übrigens hier: https://www.dataprivacyframework.gov/
Ab welcher Version kann ich die DocProStar Classification mit LLM nutzen?
Es wurde die aktuellste Version des Classification Designers genutzt. Diese ist ab DocProStar Version 2022 einsetzbar. Die LLM-Funktionalität ist in der Lizenz für den DocProStar Classifier bzw. im Update enthalten ohne zusätzliche Lizenzgebühren. Für die Anpassung des bestehenden Klassifikationsmodells bieten wir gerne Untersützung an.
Wie ist die Lizenzierung für DocProStar zur Integration externer KI-Dienste?
Für die DocProStar Plattform und die erforderlichen Schnittstellen sind als jährliche oder monatliche Subskription oder über eine Permanentlizenz inklusive Softwarepflege verfügbar.
Die Kosten für externe KI-Dienste sind bei den jeweiligen Anbietern gelistet. Die Services, die wir in der Demo genutzt haben, finden Sie beispielsweise unter https://azure.microsoft.com/de-de/pricing/calculator/?service=cognitive-services oder https://azure.microsoft.com/de-de/pricing/details/cognitive-services/openai-service/.
Wie schnell werden Anfragen aus der DocProStar Benutzeroberfläche an eine generative KI beantwortet? Kann ich als User im geöffneten Client bleiben?
Ja, nach dem “Versenden” des Prompts läuft im Hintergrund ein Subprozess mit mehreren Aktivitäten, von denen eine die eigentliche Anfrage an die generative KI stellt. Diese ist aber synchron und erhält unmittelbar Antwort. In Check+Act wartet der Browser, bis er das Work Item inkl. der Antwort zurückerhält und wird dann aktualisiert. In der Regel dauert das nur wenige Sekunden.
Können auch internationale Kunden die Demo erhalten?
Die gezeigten Demoszenarien sind für alle TCG Process Landesgesellschaften verfügbar. Kontaktieren Sie dazu gerne Ihren lokalen Ansprechpartner oder schreiben Sie an info@tcgprocess.de oder info@tcgprocess.com für internationale Anfragen.