Künstliche Intelligenz & Automation in GREYHOUND

Um GREYHOUND KI-fähig zu machen, sind zwingend folgende Komponenten nötig:

• GREYHOUND in der Version 5.5.212 build 3571 oder neuer
• Addon “GREYHOUND Connect für OpenAI” oder das Modul “Automation Pack” (inkludiert das OpenAI-Addon und weitere Automations-Funktionen wie die Datenübernahme aus Drittsystemen)

Sowie optional, bei gewünschter Anbindung von ChatGPT / OpenAI:

• OpenAI API (Achtung: Es braucht einen API-Account bei OpenAI, NICHT einen ChatGPT-Account!)
  
  ODER
  
• Azure OpenAI Service

Um die KI in GREYHOUND nutzen zu können, ist im GREYHOUND Control Center (GCC) das sogenannte “Automation Pack” oder das Addon “GREYHOUND Connect für OpenAI” dem bestehenden Vertrag hinzu zu buchen:

• Nach dem Login oben im Menü zu Verträge > V-123456789-0 > Produkte bearbeiten navigieren.
• Hier das “Automation Pack” oder nur das Addon “GREYHOUND Connect für OpenAI” anhaken und die Änderungen prüfen sowie übernehmen.

Hinweis für Eigenbetriebler

• Kunden im Individualbetrieb müssen die Verwendung des gebuchten Addons zusätzlich im GREYHOUND Admin aktivieren. Außerdem sind die Funktionen des neuen Addons erst nach einem Neustart des GREYHOUND Clients verfügbar.
• Kunden im überwachten Eigenbetrieb müssen sicherstellen, dass Port 9443 in der Firewall wie hier beschrieben eingehend und ausgehend freigegeben ist.

Um die künstliche Intelligenz in GREYHOUND zu aktivieren, ist eine Einstellung global im Server nötig. Wie bzw. wo die richtige Stellschraube zu finden ist, das ist somit von der gewählten Betriebsart abhängig:

Hosting

Hosting-Kunden loggen sich bitte im GCC ein und navigieren sich dort oben im Menü zu Verträge > V-123456789-0 > Hosting-Paket. Auf dieser Seite auf den Button „Einstellungen“ klicken:

Anschließend ganz unten scrollen, um auf den Button „Systemeinstellungen“ zu klicken. Auf der Seite, die sich dann öffnet, den Part zum Thema „Intelligente Klassifizierung“ finden.

Die Standard-Einstellungen sind wie folgt:

Überwachter Eigenbetrieb

Kunden im überwachten Eigenbetrieb loggen sich bitte im GCC ein und navigieren sich dort oben im Menü zu Verträge > V-123456789-0 > Eigene Server. Auf dieser Seite auf den grünen Namen des Servers klicken und anschließend auf den Button  „Einstellungen“:

Anschließend ganz unten scrollen, um auf den Button „Systemeinstellungen“ zu klicken. Auf der Seite, die sich dann öffnet, den Part zum Thema „Intelligente Klassifizierung“ finden.

Die Standard-Einstellungen sind identisch mit denen auf dem obigen Screenshot im Abschnitt Hosting.

Individualbetrieb

Kunden im Individualbetrieb nehmen die Änderungen bitte direkt auf dem Server vor:

Wie man ChatGPT an GREYHOUND anbinden kann, ist auf dieser Seite beschrieben.

Unter Einstellungen > Profile sind für den GREYHOUND Operator und/oder diejenigen anderen Profile, deren Mitglieder die Künstliche Intelligenz in GREYHOUND konfigurieren können sollen, folgende Rechte zu erteilen:

• Erweiterte KI verwenden (wenn die Funktion KI-Antwortvorschlag genutzt werden soll)
• Intelligente Klassifizierung verwenden
• Intelligente Klassifizierung trainieren

Für alle, die lediglich automatische Textvorschläge von der KI generieren können sollen, ist das folgende Recht nötig:

• Erweiterte KI verwenden (wenn die Funktion KI-Antwortvorschlag genutzt werden soll)
• Intelligente Klassifizierung verwenden

Im Grunde sollten alle nötigen benutzerdefinierten Felder automatisch angelegt sein. Bei Bestandskunden kann dies allerdings unter Umständen nicht der Fall sein. Wenn Daten aus Drittsystemen / Addons abgerufen und via KI ausgeliefert werden sollen (zum Beispiel der Versandstatus via Chatbot), dann sind zusätzlich folgende Felder nötig:

Damit KI-Antwortvorschläge sinnvoll generiert werden können, müssen ähnliche Antworten im System analysiert werden. Dazu kann mittels des Regelknotens “OpenAI Embedding erstellen” eine Art Index aus dem gesammelten Wissen, das in GREYHOUND schlummert, erstellt werden, das dann für alle zukünftigen Zuweisungen und Antwortvorschläge genutzt werden kann.

Die Embeddings-Regel ist also eine Art Grundvoraussetzung, damit KI in GREYHOUND möglich wird.

Gibt man keinen Kontext mit, kann es unter Umständen sein, dass auch kein Antwortvorschlag erstellt wird, da ein einfaches “Rumgerate” seitens der KI in der Praxis einen erfahrungsgemäß keinen wirklichen Mehrwert bietet. Dadurch wird verhindert, dass unnötig OpenAI API Kosten entstehen, wobei die Antwort in den meisten Fällen eh nicht brauchbar ist.

Indem man der KI vorab einen Text “mitgibt”, lässt sich die Art der Antwort steuern. Denn erfahrungsgemäß entstehen ansonsten oftmals Antworten, die in der Praxis untauglich sind, da die KI immer die Antwort geben würde, die das Gegenüber zu erwarten scheint – Nachlässe von 100%? Rücksendung eines individualisierten Artikels? “Klar, überhaupt kein Problem!!”, würde die KI sagen, wenn wir ihr hier keinen Kontext für die Antwort mitgeben.

Mithilfe der Regelknoten Intelligente Bearbeiterklassifizierung, Belegtypklassifizierung, Gruppenklassifizierung, Kennzeichnungsklassifizierung und Themenklassifizierung kann, sofern die Funktion wie hier beschrieben im GREYHOUND Admin aktiviert ist, genannte Werte durch die GREYHOUND-eigene KI vollautomatisch vergeben lassen:

Mit dem Regelknoten “Automatische KI Antwort” können durch die GREYHOUND-KI gesteuerte Antwortvorschläge generiert und (Empfehlung!) als Entwurf angelegt werden. Optional kann in diesem Regelknoten auch eine KI eines Drittanbieters angebunden werden. Dazu ist im zweiten Feld von oben ein Benutzer auszuwählen, der als Absender gelten soll.

Elemente vom KI-Training auszuschließen, z. B. wenn aus Datenschutzgründen Personaldokumente nicht berücksichtigt werden sollen, ist entweder manuell im Einzelfall oder regelbasiert möglich:

• Um einzelne Elemente manuell vom GREYHOUND integrierten KI-Training auszuschließen, ist ein Rechtsklick auf das jeweilige Element zu machen und „Bearbeiten“ zu wählen, um dann anzuhaken, welche Rückgabewerte ausgeschlossen werden sollen – für einen kompletten Ausschluss sind also alle Haken zu setzen bei “KI Ausschluss”:

• Ein KI Ausschluss mehrerer Elemente, z. B. aller Elemente mit dem Thema „Statusnachrichten“ per Regel, ist ebenfalls möglich. Dazu gibt es den Regelknoten „KI Ausschluss“. Auch hier kann man individuell festlegen, welche Rückgabekanäle ausgeschlossen werden sollen. Es gilt also: Alle Haken gesetzt = kompletter KI-Ausschluss.

Mit diesem Regelknoten lassen sich zum Beispiel alle eBay Statusnachrichten vom Training exkludieren. Das kann dann so aussehen:

Hinweis
Dieser Ausschluss gilt nicht für OpenAI, sondern nur für die GREYHOUND-eigene KI!

Der Regelknoten „OpenAI Absicht erkennen“ versucht anhand des Gesprächsinhalts zu erkennen, was die Absicht des Absenders ist: Geht es um eine Reklamation? Will der Kunde wissen, wo sein Paket ist? Hat er Fragen zu einem Produkt?

Für den Regelknoten ist es nötig, ein benutzerdefiniertes Feld namens „Gesprächsinhalt“ zu haben. Falls dieses noch nicht vorhanden ist, muss es manuell angelegt werden. Das benutzerdefinierte Feld ist im oberen Dropdrown Menü auszuwählen. Die Auswahl “gpt-3.5-turbo” bezieht sich auf das ChatGPT-Sprachmodell, das verwendet wird. Hier stehen verschiedene Modelle zur Auswahl. Im Text-Eingabefeld unten gibt an durch Enter getrennt pro Zeile jeweils einen Wert an, der im benutzerdefinierten Feld ausgegeben werden sollen als Ergebnis, also die vermeintlichen Absichten wie z. B. “Reklamation”, “Preise” oder “Produkt”.

Sinnvoll in einer Regel eingebaut kann dieser Regelknoten beispielsweise so aussehen:

Hier würde durch die ChatGPT-Anbindung versucht, die Absicht einer Anfrage zu erkennen und diese – sofern erkannt – in ein benutzerdefiniertes Feld “Gesprächsinhalt” zu schreiben. Kann keine Absicht erkannt werden und ist das benutzerdefiniertes Feld leer, dann soll bitte eine weitere Regel ausgeführt würden namens “Frage nicht verstanden”. Dieses Szenario ist sowohl bei Mails als auch bei Chat-Bots, also schnelllebiger Kommunikation, denkbar.

Der Regelknoten “OpenAI Embedding erstellen” erstellt eine Art Index über all das Wissen, das im eigenen GREYHOUND liegt und sendet dieses an OpenAI, damit sinnvolle, unternehmensbezogene Antworten möglich sind. Standardmäßig hat OpenAI zwar das sogenannte Weltwissen, aber keine spezifischen Informationen zum eigenen Unternehmen und seinen Produkten – das lässt sich mit Embeddings ändern.

Die Embeddings-Regel ist die Grundvoraussetzung für das das effektive Funktionieren der KI-Antwortvorschläge, denn durch sie können ähnliche Antworten gefunden werden.

Mit den Regelknoten “Embedding Bearbeiterklassifizierung”, “Embedding Gruppenklassifizierung”, “Embedding Kennzeichnungsklassifizierung” und “Embedding Themenklassifizierung” lässt sich das gesammelte Wissen aus GREYHOUND für die KI-gestützte Klassifizierung von Bearbeitern / Gruppen / Kennzeichnungen und/oder Themen herangezogen und verwendet, um etwaige Zuweisungen vollautomatisch vorzunehmen.

Diese Regelknoten durchsuchen also den gesamten GREYHOUND Bestand nach ähnlichen Elementen und weisen – wenn möglich – automatisch KI-gesteuert passende Themen, Kennzeichnungen, Bearbeiter und Gruppen zu. Dabei spielt die Sprache keine Rolle – ähnliche Elemente werden von OpenAI sprachübergreifend erkannt. Ob der Kunde “Wo ist mein Paket?”, “Where is my parcel?” oder “¿Dónde está mi paquete?” fragt, spielt also keine Rolle – es würde beispielweise immer das Thema “Zustellung” zugewiesen werden, sofern vorherigen Elementen dieses Thema zugewiesen bekommen haben.

Damit dies funktioniert, muss zuvor einmal mit dem Regelknoten “OpenAI Embedding erstellen” ein solcher Embedding-Index erstellt werden.

Mit dem Regelknoten „OpenAI Antwort (nur Messenger Nachrichten)“ hat man die Möglichkeit, einen Chat-Bot “zum Leben zu erwecken”.

Dieser Regelknoten ist nur anwendbar für Messenger-Nachrichten, wie der Name schon sagt. Die Konfiguration des Regelknotens ist recht einfach: Im oberen Feld wird das gewünschte Sprachmodell ausgewählt und im Freitext-Feld darunter wird die sogenannte Prompt, also die Anweisung eingeben, die ChatGPT mitgegeben wird. Hier sind Anweisungen an das System selbst (z. B. “Du bist ein hilfreicher, freundlicher und geduldiger Service Assistent, der Deutsch und Englisch spricht“), aber auch direkte Ausgaben möglich, die der Chat-Bot “sagen” soll (z. B. “Hi, ich bin Bo, der Chat-Bot von GREYHOUND. Wie kann ich Dir heute helfen?“).

Einmal eingerichtet, kann der ChatBot so mit Kunden via Messenger-Nachricht kommunizieren und dabei auf das sogenannte Weltwissen, das OpenAI gesammelt hat, zurückgreifen.

Tipp: Im Praxiseinsatz ist es sinnvoll, einen Chat-Bot um einen sogenannten Human Takeover zu erweitern, der immer dann Tragen kommt, wenn der Chat-Bot die Anfrage des Gegenübers einmal nicht verstanden hat. In dem Fall könnte der Bot das Angebot machen, das Anliegen an einen ‘echten’ Service-Mitarbeiter weiterzugeben und hierfür die E-Mail-Adresse und/oder Telefonnummer sowie das gewünschte Anliegen des Chat-Partners abfragen und die getätigten Eingaben dann per E-Mail an eine definierte Mail-Adresse, z. B. service@musterfirma, zu senden, sodass ein zu bearbeitendes Element offen im Kundenservice-Filter landet, das dann von Kundenservice-Mitarbeitern aus Fleisch und Blut bearbeitet werden kann.

Ganz klares: Nein! Die KI-Funktionen ersetzen keinen echten Menschenverstand, sondern erleichtern lediglich lästige Trivialaufgaben, die immer wieder anfallen und können bei der Formulierung helfen – der Einsatz spart also letztlich Zeit, der dafür genutzt werden kann, jedem Kunden die Zeit widmen zu können, die für herausragenden Service nötig ist. Wenn KI immer mehr Einzug in unseren Alltag hält, wird die Bedeutung der menschlichen Komponente als Gegenpart aller Voraussicht nach weiter steigen.

Wir raten dringendst davon ab, automatische Antworten auf das Gros der eingehenden Anfragen „blind“ anzuwenden. Ratsam ist eher, die KI-Auto-Antworten ganz deutlich einzugrenzen, z. B. auf ein bestimmtes Thema, das in GREYHOUND gesetzt ist, um die Antwortqualität zunächst zu prüfen und erste Tests vorzunehmen. Denn wir dürfen nicht vergessen: KI steckt noch in den Kinderschuhen und ist keinesfalls unfehlbar.

Die KI kann keine individuellen Antworten geben zum Sendungsstatus etc., sondern lediglich helfen in Bezug auf allgemeine Produktanfragen oder Ähnliches. Und auch hier gilt: Die KI hat vielleicht allgemeines Wissen über Faltzelte – welches die USP eines speziellen Produkts sind, dessen Hersteller vielleicht GREYHOUND einsetzt, das wird die KI niemals so wiedergeben können, wie es ein Mitarbeiter aus Fleisch und Blut kann, der tagtäglich mit den Produkten zu tun hat. Zudem gilt es zu bedenken, dass der Einfluss auf die verwendete Sprache der KI niedrig ist, d.h. die Einhaltung gewisser Sprachstandards und Normen zur Schreibweise

Um die KI-Trainingsdaten komplett zu löschen ist es nötig, den GREYHOUND Server zu stoppen und dann auf dem Server den Ordner „AutoClassification“ komplett zu löschen. Dies ist nur möglich für Eigenbetriebler; Hosting-Kunden wenden sich bitte an unseren Kundenservice.

Es ist möglich, einzelne Elemente manuell vom GREYHOUND integrierten KI-Training auszuschließen. Dazu ist ein Rechtsklick auf das jeweilige Element zu machen und „Bearbeiten“ zu wählen:

Hinweis: Dieser Ausschluss gilt nicht für OpenAI, sondern nur für die GREYHOUND-eigene KI.

Ein KI-Ausschluss mehrerer Elemente, z. B. aller Elemente mit dem Thema „Statusnachrichten“ per Regel, ist ebenfalls möglich. Dazu gibt es den Regelknoten „KI Ausschluss“:

Ab GREYHOUND 5.5.217 build 3591 verfügt die Automatisierung über eine Anbindung von OpenAI Embeddings, die im Gegensatz zu den bisherigen, nur auf lexikalischer Analyse basierenden Methoden nun auch einen Textvergleich auf semantischer also Bedeutungs-/Inhalts-Basis berechnen können. Damit lässt sich Wissen aus gesendeten Elementen, die in GREYHOUND stecken, an die künstliche Intelligenz geben zum Lernen. Gepaart mit dem natürlichen Sprachwissen von ChatGPT entstehen so Antwortvorschläge, die aus dem in GREYHOUND steckenden Wissen formuliert sind.

Die dazugehörige Standard-Regel heißt ” Workflow: OpenAI Embeddings erstellen” und kann hier heruntergeladen werden. Als Kriterium für das Erstellen eines Embeddings wird die Mitgliedschaft eines Bearbeiters in einer neuen Benutzergruppe namens “Zusatz: KI-Training” (muss gffs. manuell nachträglich ergänzt werden) geprüft. Nur wenn der Bearbeiter eines Elements Mitglied dieser Benutzergruppe ist, wird ein Embedding erstellt. Damit ist es möglich, das Erstellen von Embeddings auf Schlüsselpersonen zu fokussieren, deren Antwortqualität als besonders gut eingestuft wird. Weitere Kriterien können in der Regel individuell ergänzt werden.

Die dateibasierten Vektordatenbank befindet sich unterhalb der Server Verzeichnisses im Ordner EmbeddingIndex:

Der Index kann (entsprechende Profilrechte vorausgesetzt) über die Administrationsfunktionen zurückgesetzt werden:

Achtung: Jede Berechnung dauert einige Sekunden und kann den Queueserver erheblich ausbremsen – diese Funktion ist deshalb nur für größere Kunden mit mindestens 2 Queueserver-Threads zu empfehlen!

Im GREYHOUND Server lässt sich einstellen, ob und wie oft die künstliche Intelligenz „angetriggert“ werden soll, zu lernen. Standardmäßig lernt die GREYHOUND-interne KI alle 7 Tage neu. Wo man diese Konfiguration findet, ist je nach Betriebsart unterschiedlich, wie hier beschrieben.

Welcher Wert hier richtig ist, lässt sich nicht pauschal beantworten. Ähnlich wie beim Lernen für eine Abschlussprüfung kann es einen Punkt geben, an dem der Schüler einfach genug gelernt hat – das Ergebnis wird nicht besser, wenn er noch mehr lernt. Ebenso wäre es ziemlich schmerzhaft, die Erkenntnis, dass die Herdplatte heiß ist, jeden Tag neu erlangen zu wollen – von Intelligenz könnte man da wohl nicht sprechen 😉

So ähnlich ist es auch mit der KI: Möglichst oft und viel zu lernen führt nicht unbedingt zu den die besten Ergebnissen, auch wenn man das vielleicht zunächst annehmen würde Zumal der Wissensstand sich ja womöglich gar nicht erheblich geändert hat und ein erneutes Anlernen somit unnötig Ressourcen verbrauchen würde. Zu selten führt definitiv irgendwann dazu, dass das Wissen veraltet. Auch uns fehlen an der Stelle Langzeiterfahrungen, dafür ist die KI-Technologie schlichtweg noch zu jung – einmal die Woche ist also ein Standardwert, den es zu beobachten gilt. Wer mag, kann gerne mit diesem Wert „herumspielen“ und uns an den Erfahrungen teilhaben lassen.

Soll (vorerst) überhaupt kein erneutes Training stattfinden, kann man den Haken bei “Zeitgesteuertes Training aktivieren” einfach entfernen. Über den Wert “Elementalter für Training” lässt sich bei Bedarf zudem steuern, wie alt ein Element sein in Tagen sein muss, damit es vom Training berücksichtigt wird.

Diese Informationen beziehen sich ausschließlich auf die GREYHOUND-eigene KI – was OpenAI hinsichtlich der Daten und des Trainings macht, liegt außerhalb unseres Einfluss- und Kenntnisbereichs.

Ab GREYHOUND Version 5.5.229 build 3636 stehen in PascalScript auf LowLevel-Ebene sämtliche in GREYHOUND verfügbare OpenAI-Funktionen zur Verfügung:

S.AddTypeS('TFbmOpenAIVector', 'array of Single');


S.AddTypeS('TFbmOpenAIVectors', 'array of TFbmOpenAIVector');


S.AddDelphiFunction('function FbmOpenAIGenerateCompletion(const Model, Prompt: string; const Temperature, FrequencyPenalty, PresencePenalty: Double; MaxTokens: Integer; Echo: Boolean; const Stop: array of string): string;');


S.AddDelphiFunction('function FbmOpenAIGenerateChatCompletion(const Model: string; const Messages: TStringList; const Temperature, FrequencyPenalty, PresencePenalty: Double; MaxTokens: Integer): string;');


S.AddDelphiFunction('function FbmOpenAIGetEmbeddings(const Model: string; const Input: string): TFbmOpenAIVector;');


S.AddDelphiFunction('function FbmOpenAIGetEmbeddingsEx(const Model: string; const Inputs: TStringList): TFbmOpenAIVectors;');


S.AddDelphiFunction('function FbmOpenAIGetMaxTokensFromModel(const Model: string): Integer;');


S.AddDelphiFunction('function FbmOpenAITrimInputForModel(const Model, Input: string; MaxAnswerTokens: Integer): string;');

Wenn die Fehlermeldung “Error calling OpenAI endpoint (Code 400 Bad request) No message” auftaucht, prüfe bitte in den Zahlungseinstellungen bei OpenAI, ob hier eine gültige Kreditkarte hinterlegt ist oder die Zahlweise korrekt ist (Pre- oder Postpaid).

Ja, es gibt ab GREYHOUND Version 5.5.245 build 3760 die Möglichkeit, OpenAI Calls mit protokollieren zu lassen. In der Sektion “OpenAI” in der GreyhoundServer.ini kann der Debug-Modus aktiviert werden. Alle JSON Requests an OpenAI werden dann vor dem Absenden an die Datei “OpenAIDebug.json” angehangen.