Künstliche Intelligenz & Automation in GREYHOUND

Der Regelknoten „Intelligente Textklassifizierung“ basiert auf der GREYHOUND eigenen künstlichen Intelligenz. Er lässt sich nutzen, um den Text automatisch zu “durchleuchten” und entsprechendes Wissen ins dafür vorgesehene benutzerdefinierte Felder zu schreiben, z. B. die Textsprache:

1. Für die Verwendung des Regelknotens ist ein Klassifikator nötig, der im ersten Dropdown-Feld ausgewählt werden muss. Die über den Klassifikator ermittelten Werte / Ergebnisse lassen sich dann über diesen Regelknoten in GREYHOUND überführen – und zwar an verschiedene Stellen, die im darunter liegenden Feld ausgewählt werden:
2. Wohin sollen die von der KI ermittelten Ergebnisse geschrieben werden? Wie soll das Wissen angewendet werden? Wohin mit den Ergebnissen? Zur Auswahl hier stehen: Keines, Benutzerdefiniertes Feld, aber auch auf Gruppen, Benutzer, Themen und Kennzeichnungen. Beispiel: Wenn durch den Klassifikator “Textsprache” eine Sprache ermittelt werden konnte, soll die ermittelte Sprache (aka die Klasse) bitte in das dazugehörige benutzerdefinierte Feld “Textsprache” geschrieben werden. Wählt man hingegen Gruppe, Benutzer, Thema oder Kennzeichnung aus, dann werden diese Werte in GREYHOUND durch den Regelknoten automatisch “intelligent” vergeben.
3. Wählt man “Benutzerdefiniertes Feld” aus, ist Feld Nr. überhaupt nur 3 aktiv, ansonsten ist es ausgegraut. Denn an dieser Stelle legt man das benutzerdefiniertes Feld fest, in das der von der KI ermittelte Ausgabewert geschrieben werden soll.

Elemente vom KI-Training auszuschließen, z. B. wenn aus Datenschutzgründen Personaldokumente nicht berücksichtigt werden sollen, ist entweder manuell im Einzelfall oder regelbasiert möglich:

• Um einzelne Elemente manuell vom GREYHOUND integrierten KI-Training auszuschließen, ist ein Rechtsklick auf das jeweilige Element zu machen und „Bearbeiten“ zu wählen, um dann anzuhaken, welche Rückgabewerte ausgeschlossen werden sollen – für einen kompletten Ausschluss sind also alle Haken zu setzen bei “KI Ausschluss”:

• Ein KI Ausschluss mehrerer Elemente, z. B. aller Elemente mit dem Thema „Statusnachrichten“ per Regel, ist ebenfalls möglich. Dazu gibt es den Regelknoten „KI Ausschluss“. Auch hier kann man individuell festlegen, welche Rückgabekanäle ausgeschlossen werden sollen. Es gilt also: Alle Haken gesetzt = kompletter KI-Ausschluss.

Mit diesem Regelknoten lassen sich zum Beispiel alle eBay Statusnachrichten vom Training exkludieren. Das kann dann so aussehen:

Hinweis
Dieser Ausschluss gilt natürlich nicht für OpenAI, sondern nur für die GREYHOUND-eigene KI! Bei Nutzung von OpenAI / ChatGPT hat man (derzeit noch?) keinerlei Handhabe, was mit den Daten geschieht, die an das System übergeben werden.

Der Regelknoten „OpenAI Absicht erkennen“ versucht anhand des Gesprächsinhalts zu erkennen, was die Absicht des Absenders ist: Geht es um eine Reklamation? Will der Kunde wissen, wo sein Paket ist? Hat er Fragen zu einem Produkt?

Für den Regelknoten ist es nötig, ein benutzerdefiniertes Feld namens „Gesprächsinhalt“ zu haben. Falls dieses noch nicht vorhanden ist, sollte es wie hier beschrieben angelegt werden. Das benutzerdefinierte Feld ist im oberen Dropdrown Menü auszuwählen. Die Auswahl “gpt-3.5-turbo” bezieht sich auf das ChatGPT-Sprachmodell, das verwendet wird. Mehr dazu hier. Im Text-Eingabefeld unten gibt an durch Enter getrennt pro Zeile jeweils einen Wert an, der im benutzerdefinierten Feld ausgegeben werden sollen als Ergebnis, also die vermeintlichen Absichten wie z. B. “Reklamation”, “Preise” oder “Produkt”.

Sinnvoll in einer Regel eingebaut kann dieser Regelknoten beispielsweise so aussehen:

Hier würde durch die ChatGPT-Anbindung versucht, die Absicht einer Anfrage zu erkennen und diese – sofern erkannt – in ein benutzerdefiniertes Feld “Gesprächsinhalt” zu schreiben. Kann keine Absicht erkannt werden und ist das benutzerdefiniertes Feld leer, dann soll bitte eine weitere Regel ausgeführt würden namens “Frage nicht verstanden”. Dieses Szenario ist vor allem bei Chat-Bots, also schnelllebiger Kommunikation, denkbar.

Der Regelknoten “OpenAI Embedding erstellen” erstellt eine Art Index über all das Wissen, das im eigenen GREYHOUND liegt und sendet dieses an OpenAI, damit sinnvolle, unternehmensbezogene Antworten möglich sind. Standardmäßig hat OpenAI zwar das sogenannte Weltwissen, aber keine spezifischen Informationen zum eigenen Unternehmen und seinen Produkten – das lässt sich mit Embeddings ändern.

Die Embeddings-Regel ist die Grundvoraussetzung für das das effektive Funktionieren der KI-Antwortvorschläge, denn durch sie können ähnliche Antworten gefunden werden.

Mehr zum Thema Embeddings ist hier in den FAQ beschrieben.

Der Regelknoten Automatische OpenAI Antwort (nur E-Mails)“ dient dem vollautomatischen Versenden von Antworten für E-Mails auf Basis von OpenAI. Oder anders gesagt: Mit diesem Regelknoten lassen sich KI-generierte Auto-Antworten für E-Mails generieren und versenden – Mailanfragen beantworten wie von Zauberhand.

Im Praxiseinsatz kann das dann wie auf dem Screenshot gezeigt aussehen: Wenn eine Mail eingeht, schicke bitte eine Antwort raus, die unter Einsatz der künstlichen Intelligenz formuliert wurde, verwende dafür bitte die Vorlage „Standardvorlage [E-Mail]“. Die Vorlage, die hier im Regelknoten ausgewählt wird, ist zum einen für die Optik relevant. Will man wirklich Mail von der KI vollautomatisch beantworten lassen, müsste eine eigene Vorlage zu diesem Zweck angelegt werden, in der zudem eine feste Signatur gesetzt ist ohne den Einsatz von Variablen.

ACHTUNG
Diese Funktion sollte natürlich niemals auf den gesamten Mail-Posteingang angewendet werden! Die Antworten der KI mögen zwar bereits gut formuliert sein, aber wenn ein Kunde fragt, ob er seine Bestellung stornieren kann, würde ChatGPT auf diese Anfrage nett formuliert antworten, dass man die Bestellung natürlich stornieren könne und er dies bereits soeben erledigt habe. Aber Moment mal – die Anfrage wäre dann aus dem Posteingang verschwunden, der Kunde würde denken, die Bestellung sei storniert, dabei würde das überhaupt nicht der Wahrheit entsprechen! Womöglich ist der Artikel sogar von der Reklamation ausgeschlossen – ChatGPT hat hierzu keinerlei Informationen und kann solche Anfrage entsprechend gar nicht korrekt beantworten. Die KI liefert lediglich die Antwort, von der zu erwarten ist, das das Gegenüber sie hören möchte. Wenn solche automatischen Antworten rausgesendet werden soll, dann lediglich in bestimmten Fällen zu bestimmten Zwecken!

Denkbar wäre zum Beispiel folgendes Szenario: Über eine vorherige Regel wird versucht, die Absicht von Anfragen zu erkennen (siehe Regelknoten “OpenAI Absicht erkennen”). Ist das benutzerdefinierte Feld “Gesprächsinhalt” nun gleich “Produktfrage: Kinderwagen“, dann sende über den Regelknoten “OpenAI Antwortvorlage [E-Mail]” eine Mail raus in einem bestimmten Design, die den Interessenten auf eine informative Landingpage über Kinderwagen weist, die tolle-kinderwagen.de lautet. Anschließend setze das Element in den Status “Beantwortet”.

Der Regelknoten “Automatische OpenAI Antwort (nur E-Mails)” sollte also eher als Möglichkeit für individuelle Autoantworten anstelle von anonymen Massenmails angesehen werden – keinesfalls als Alternative für echte Service-Mitarbeiter. Denn: Die KI wird alles mögliche behaupten, wenn der Tag lang ist – “Na klar kannst Du Dein gekauftes Haus stornieren, ich habe dies soeben für Dich erledigt...”

Mit dem Regelknoten “Automatische OpenAI Antwort mit Kontext (nur E-Mails)” ist eine Verknüpfung von bestehenden, benutzerdefinierten, kontextrelevanten Daten und dem OpenAI-Sprachmodell möglich. Er erlaubt es, kontextsensitiv über benutzerspezifische Themen automatisiert via Mail intelligent zu “sprechen”.

Hierbei muss ein Klassfikator ausgewählt werden. So lässt sich produkt- oder autftragsspezifisches Wissen an OpenAI übergeben. So entsteht aus internem Wissen und natürlichem Sprachmodell eine Mail-Antwort mit echtem Mehrwert für den Kundenservice: Mit spezifischem, korrekten Wissen aus dem eigenen Unternehmen, verpackt in “schöne Sprache”.

Typisches Beispiel für die Verwendung dieses Regelknotens: In einem Klassifikator namens “FAQ” würden häufig gestellte Fragen von der Website eingepflegt werden zu Versandzeiten, Lieferkosten und so weiter. Wenn eine Mail eingeht, wird geschaut, ob hierzu in den FAQ eine Antwort vorliegt. OpenAI formuliert dann das Wissen aus dem FAQ-Eintrag um in eine Mail-Antwort.

Hinweis zur Vorlage: Die Vorlage, die hier im Regelknoten ausgewählt wird, ist zum einen für die Optik relevant. Will man wirklich Mail von der KI vollautomatisch beantworten lassen, müsste eine eigene Vorlage zu diesem Zweck angelegt werden, in der zudem eine feste Signatur gesetzt ist ohne den Einsatz von Variablen.

Der Regelknoten ist konzipiert als Abfrage. Bedeutet, dass er zwei Ausgänge hat, wie man weiter verfahren möchte. So besteht die Möglichkeit, sofern nichts Zutreffendes gefunden wurde, in den KI-gesteuerten Prozess einzugreifen, wenn beim roten X entsprechende Aktionen eingefügt werden.

Mit dem Regelknoten „OpenAI Antwort (nur Messenger Nachrichten)“ hat man die Möglichkeit, einen Chat-Bot “zum Leben zu erwecken”.

Dieser Regelknoten ist nur anwendbar für Messenger-Nachrichten, wie der Name schon sagt. Die Konfiguration des Regelknotens ist denkbar einfach: Im oberen Feld wird das gewünschte Sprachmodell ausgewählt (mehr dazu hier) und im Freitext-Feld darunter wird die sogenannte Prompt, also die Anweisung eingeben, die ChatGPT mitgegeben wird. Hier sind Anweisungen an das System selbst (z. B. “Du bist ein hilfreicher, freundlicher und geduldiger Service Assistent, der Deutsch und Englisch spricht“), aber auch direkte Ausgaben möglich, die der Chat-Bot “sagen” soll (z. B. “Hi, ich bin Bo, der Chat-Bot von GREYHOUND. Wie kann ich Dir heute helfen?“).

Einmal eingerichtet, kann der ChatBot so mit Kunden via Messenger-Nachricht kommunizieren und dabei auf das sogenannte Weltwissen, das OpenAI gesammelt hat, zurückgreifen, sodass er sogar Wissensfragen wie “Was ist die Hauptstadt von Frankreich?” problemlos beantworten kann.

Im Praxiseinsatz ist es sinnvoll, den Chat-Bot um einen sogenannten Human Takeover zu erweitern, der immer dann Tragen kommt, wenn der Chat-Bot die Anfrage des Gegenübers einmal nicht verstanden hat. In dem Fall könnte der Bot das Angebot machen, das Anliegen an einen ‘echten’ Service-Mitarbeiter weiterzugeben und hierfür die E-Mail-Adresse und/oder Telefonnummer sowie das gewünschte Anliegen des Chat-Partners abfragen und die getätigten Eingaben dann per E-Mail an eine definierte Mail-Adresse, z. B. service@musterfirma, zu senden, sodass ein zu bearbeitendes Element offen im Kundenservice-Filter landet, das dann von Kundenservice-Mitarbeitern aus Fleisch und Blut bearbeitet werden kann.

Mit dem Regelknoten “OpenAI Antwort mit Kontext (nur Messenger Nachricht)” ist eine Verknüpfung von bestehenden, benutzerdefinierten, kontextrelevanten Daten und dem OpenAI-Sprachmodell möglich. Er erlaubt es, kontextsensitiv über benutzerspezifische Themen intelligent zu “sprechen”.

Dieser Regelknoten ist, wie der Name schon sagt, nur im Chat, also bei Messenger-Nachrichten anwendbar und sorgt dafür, dass der Chat-Bot “sinnvolle” Gespräche führen kann, weil er in der Lage ist, den Gesprächskontext zu erhalten und somit Folgefragen stellen oder Bezug auf voran Geschriebenes zu nehmen kann.

Hinweis: Der Regelknoten ist konzipiert als Abfrage. Bedeutet, dass er zwei Ausgänge hat, wie man weiter verfahren möchte. So besteht die Möglichkeit, sofern nichts Zutreffendes gefunden wurde, in den KI-gesteuerten Prozess einzugreifen, wenn beim roten X entsprechende Aktionen eingefügt werden.

Ab GREYHOUND 5.5.229 build 3636 stehen folgende Embedding Regelknoten zur Verfügung:

• Embedding Themenklassifizierung
• Embedding Kennzeichnungsklassifizierung
• Embedding Bearbeiterklassifizierung
• Embedding Gruppenklassifizierung

Diese Regelknoten durchsehen den gesamten GREYHOUND Bestand nach ähnlichen Elementen und weisen – wenn möglich – automatisch KI-gesteuert passende Themen, Kennzeichnungen, Bearbeiter und Gruppen zu. Dabei spielt die Sprache keine Rolle – ähnliche Elemente werden von OpenAI sprachübergreifend erkannt. Ob der Kunde “Wo ist mein Paket?”, “Where is my parcel?” oder “¿Dónde está mi paquete?” fragt, spielt also keine Rolle – es würde beispielweise immer das Thema “Zustellung” zugewiesen werden, sofern vorherigen Elementen dieses Thema zugewiesen bekommen haben.

Hinweis: Die im Standard ausgelieferte OpenAI Klassifizierungs-Regel kann mithilfe von Embeddings ebenfalls ähnliche Anfragen finden und dann deren Thema übernehmen. Sollte damit kein Thema gefunden werden, dann wird der Nachricht in einem zweiten Schritt mithilfe von OpenAI ein Thema zugeordnet.

Ganz klares: Nein! Die KI-Funktionen ersetzen keinen echten Menschenverstand, sondern erleichtern lediglich lästige Trivialaufgaben, die immer wieder anfallen und können bei der Formulierung helfen – der Einsatz spart also letztlich Zeit, der dafür genutzt werden kann, jedem Kunden die Zeit widmen zu können, die für herausragenden Service nötig ist. Wenn KI immer mehr Einzug in unseren Alltag hält, wird die Bedeutung der menschlichen Komponente als Gegenpart aller Voraussicht nach weiter steigen.

Wir raten dringendst davon ab, automatische Antworten auf das Gros der eingehenden Anfragen „blind“ anzuwenden. Ratsam ist eher, die KI-Auto-Antworten ganz deutlich einzugrenzen, z. B. auf ein bestimmtes Thema, das in GREYHOUND gesetzt ist, um die Antwortqualität zunächst zu prüfen und erste Tests vorzunehmen. Denn wir dürfen nicht vergessen: KI steckt noch in den Kinderschuhen und ist keinesfalls unfehlbar.

Die KI kann keine individuellen Antworten geben zum Sendungsstatus etc., sondern lediglich helfen in Bezug auf allgemeine Produktanfragen oder Ähnliches. Und auch hier gilt: Die KI hat vielleicht allgemeines Wissen über Faltzelte – welches die USP eines speziellen Produkts sind, dessen Hersteller vielleicht GREYHOUND einsetzt, das wird die KI niemals so wiedergeben können, wie es ein Mitarbeiter aus Fleisch und Blut kann, der tagtäglich mit den Produkten zu tun hat. Zudem gilt es zu bedenken, dass der Einfluss auf die verwendete Sprache der KI niedrig ist, d.h. die Einhaltung gewisser Sprachstandards und Normen zur Schreibweise

Derzeit werden die folgenden GPT-Modelle von GREYHOUND unterstützt:

• gpt-3.5-turbo
• gpt-3.5-turbo-16k

Hier sind weitere Informationen zu den Sprachmodellen auf der Website von OpenAI zu finden.

Der Importfilter ist bei der Erstellung von eigenen Klassifikatoren relevant. Anstatt manuell Daten zum Anlernen der KI einzufügen, ist es auch möglich, einen Filter in GREYHOUND anzulegen bzw. einen bestehenden Filter zu nutzen, der genau die Datenmenge enthält, die man klassifizieren will. Um das zu tun, ist im Bereich “Importfilter” der entsprechende Filter auszuwählen und den Icon rechts zum Importieren zu klicken. Wenn das dazugehörige Datenfeld „Thema“ ausgewählt ist, dann werden nun alle Themen der Elemente aus dem Importfilter in den Klassifikator übernommen – jeweils im bekannten Schema “Klassifikator” getrennt vom Semikolon gefolgt von Beispieldaten.

Achtung: Es ist immer vorher zu prüfen, ob die Datenmenge „sauber“ ist. Ähnlich wie beim Spamfilter kann man durch eine Datenmenge, die Fehler enthält, die KI nämlich ansonsten auch falsch trainieren.

Der Screenshot zeigt ein Beispiel, bei dem anhand des benutzerdefinierten Feldes “Textsprache” im Filter “Kundenservice” gesucht wurde:

Um die KI-Trainingsdaten komplett zu löschen ist es nötig, den GREYHOUND Server zu stoppen und dann auf dem Server den Ordner „AutoClassification“ komplett zu löschen. Dies ist nur möglich für Eigenbetriebler; Hosting-Kunden wenden sich bitte an unseren Kundenservice.

Es ist möglich, einzelne Elemente manuell vom GREYHOUND integrierten KI-Training auszuschließen. Dazu ist ein Rechtsklick auf das jeweilige Element zu machen und „Bearbeiten“ zu wählen:

Hinweis: Dieser Ausschluss gilt nicht für OpenAI, sondern nur für die GREYHOUND-eigene KI.

Ein KI-Ausschluss mehrerer Elemente, z. B. aller Elemente mit dem Thema „Statusnachrichten“ per Regel, ist ebenfalls möglich. Dazu gibt es den Regelknoten „KI Ausschluss“:

Ab GREYHOUND 5.5.217 build 3591 verfügt die Automatisierung über eine Anbindung von OpenAI Embeddings, die im Gegensatz zu den bisherigen, nur auf lexikalischer Analyse basierenden Methoden nun auch einen Textvergleich auf semantischer also Bedeutungs-/Inhalts-Basis berechnen können. Damit lässt sich Wissen aus gesendeten Elementen, die in GREYHOUND stecken, an die künstliche Intelligenz geben zum Lernen. Gepaart mit dem natürlichen Sprachwissen von ChatGPT entstehen so Antwortvorschläge, die aus dem in GREYHOUND steckenden Wissen formuliert sind.

Die dazugehörige Standard-Regel heißt ” Workflow: OpenAI Embeddings erstellen” und kann hier heruntergeladen werden. Als Kriterium für das Erstellen eines Embeddings wird die Mitgliedschaft eines Bearbeiters in einer neuen Benutzergruppe namens “Zusatz: KI-Training” (muss gffs. manuell nachträglich ergänzt werden) geprüft. Nur wenn der Bearbeiter eines Elements Mitglied dieser Benutzergruppe ist, wird ein Embedding erstellt. Damit ist es möglich, das Erstellen von Embeddings auf Schlüsselpersonen zu fokussieren, deren Antwortqualität als besonders gut eingestuft wird. Weitere Kriterien können in der Regel individuell ergänzt werden.

Die dateibasierten Vektordatenbank befindet sich unterhalb der Server Verzeichnisses im Ordner EmbeddingIndex:

Der Index kann (entsprechende Profilrechte vorausgesetzt) über die Administrationsfunktionen zurückgesetzt werden:

Achtung: Jede Berechnung dauert einige Sekunden und kann den Queueserver erheblich ausbremsen – diese Funktion ist deshalb nur für größere Kunden mit mindestens 2 Queueserver-Threads zu empfehlen!

Im GREYHOUND Server lässt sich einstellen, ob und wie oft die künstliche Intelligenz „angetriggert“ werden soll, zu lernen. Standardmäßig lernt die GREYHOUND-interne KI alle 7 Tage neu. Wo man diese Konfiguration findet, ist je nach Betriebsart unterschiedlich, wie hier beschrieben.

Welcher Wert hier richtig ist, lässt sich nicht pauschal beantworten. Ähnlich wie beim Lernen für eine Abschlussprüfung kann es einen Punkt geben, an dem der Schüler einfach genug gelernt hat – das Ergebnis wird nicht besser, wenn er noch mehr lernt. Ebenso wäre es ziemlich schmerzhaft, die Erkenntnis, dass die Herdplatte heiß ist, jeden Tag neu erlangen zu wollen – von Intelligenz könnte man da wohl nicht sprechen 😉

So ähnlich ist es auch mit der KI: Möglichst oft und viel zu lernen führt nicht unbedingt zu den die besten Ergebnissen, auch wenn man das vielleicht zunächst annehmen würde Zumal der Wissensstand sich ja womöglich gar nicht erheblich geändert hat und ein erneutes Anlernen somit unnötig Ressourcen verbrauchen würde. Zu selten führt definitiv irgendwann dazu, dass das Wissen veraltet. Auch uns fehlen an der Stelle Langzeiterfahrungen, dafür ist die KI-Technologie schlichtweg noch zu jung – einmal die Woche ist also ein Standardwert, den es zu beobachten gilt. Wer mag, kann gerne mit diesem Wert „herumspielen“ und uns an den Erfahrungen teilhaben lassen.

Soll (vorerst) überhaupt kein erneutes Training stattfinden, kann man den Haken bei “Zeitgesteuertes Training aktivieren” einfach entfernen. Über den Wert “Elementalter für Training” lässt sich bei Bedarf zudem steuern, wie alt ein Element sein in Tagen sein muss, damit es vom Training berücksichtigt wird.

Diese Informationen beziehen sich ausschließlich auf die GREYHOUND-eigene KI – was OpenAI hinsichtlich der Daten und des Trainings macht, liegt außerhalb unseres Einfluss- und Kenntnisbereichs.

Im Zusammenhang mit KI, konkret bei der Erstellung von Klassifikatoren, bezieht sich Wortzerlegung auf die Fähigkeit eines Computers, ein geschriebenes oder gesprochenes Wort in seine Bestandteile (z. B. Buchstaben oder Silben) zu zerlegen, um seine Bedeutung besser zu verstehen. Diese Fähigkeit wird als Teil der NLP (Natural Language Processing) Technologie eingesetzt, um Texte oder Sprache zu analysieren und zu interpretieren.

Die Wortzerlegung wird oft auch als “Tokenisierung” bezeichnet und ist ein wichtiger Schritt in der Verarbeitung von Sprachdaten durch KI-Systeme. Sie hilft dabei, die Bedeutung von Texten oder Sprache zu verstehen und sie in eine Form zu bringen, die von der KI weiterverarbeitet werden kann. Dies ist insbesondere bei der Textanalyse oder der automatischen Übersetzung von Sprache von Bedeutung.

Welcher Wert hier der Richtige ist, würde an dieser Stelle den Rahmen sprengen. Unser Tipp: Probieren geht über Studieren 😉

Beide Dinge – Trainingsintervall im GREYHOUND Server und das Trainieren des Klassifikators – sind zwei völlig unterschiedliche Mechanismen. Die Klassifikatoren werden ausschließlich manuell trainiert.

Mittels Feature-Hashing lässt sich Wissen aus gesendeten Elementen, die in GREYHOUND stecken, an die künstliche Intelligenz geben zum Lernen. Gepaart mit dem natürlichen Sprachwissen von ChatGPT entstehen so Antwortvorschläge, die aus dem in GREYHOUND steckenden Wissen formuliert sind.

Das Feature-Hashing lässt sich unter Einstellungen > Text-Klassifikatoren für einen Klassifikator anhaken, der das Modell “Vektor Ähnlichkeitssuche” oder “Vektor Klassifikator”:

auch spannend: Was sind OpenAI-Embeddings?

Ab GREYHOUND Version 5.5.229 build 3636 stehen in PascalScript auf LowLevel-Ebene sämtliche in GREYHOUND verfügbare OpenAI-Funktionen zur Verfügung:

S.AddTypeS('TFbmOpenAIVector', 'array of Single');


S.AddTypeS('TFbmOpenAIVectors', 'array of TFbmOpenAIVector');


S.AddDelphiFunction('function FbmOpenAIGenerateCompletion(const Model, Prompt: string; const Temperature, FrequencyPenalty, PresencePenalty: Double; MaxTokens: Integer; Echo: Boolean; const Stop: array of string): string;');


S.AddDelphiFunction('function FbmOpenAIGenerateChatCompletion(const Model: string; const Messages: TStringList; const Temperature, FrequencyPenalty, PresencePenalty: Double; MaxTokens: Integer): string;');


S.AddDelphiFunction('function FbmOpenAIGetEmbeddings(const Model: string; const Input: string): TFbmOpenAIVector;');


S.AddDelphiFunction('function FbmOpenAIGetEmbeddingsEx(const Model: string; const Inputs: TStringList): TFbmOpenAIVectors;');


S.AddDelphiFunction('function FbmOpenAIGetMaxTokensFromModel(const Model: string): Integer;');


S.AddDelphiFunction('function FbmOpenAITrimInputForModel(const Model, Input: string; MaxAnswerTokens: Integer): string;');

Wenn die Fehlermeldung “Error calling OpenAI endpoint (Code 400 Bad request) No message” auftaucht, prüfe bitte in den Zahlungseinstellungen bei OpenAI, ob hier eine gültige Kreditkarte hinterlegt ist oder die Zahlweise korrekt ist (Pre- oder Postpaid).

Ja, es gibt ab GREYHOUND Version 5.5.245 build 3760 die Möglichkeit, OpenAI Calls mit protokollieren zu lassen. In der Sektion “OpenAI” in der GreyhoundServer.ini kann der Debug-Modus aktiviert werden. Alle JSON Requests an OpenAI werden dann vor dem Absenden an die Datei “OpenAIDebug.json” angehangen.