Künstliche Intelligenz oder Dampfplauderin: Der Kardinalschnittentest

Die Kardinalschnitte ist eine beliebte Süßspeise der Wiener Küche und schmeckt himmlisch – im wahrsten Sinne des Wortes. Den Namen hat das Wienerische Dessert nämlich seiner Optik zu verdanken. Der Biskuitteig in Kombination mit Eischnee spiegelt die katholischen Kirchenfarben – gelb und weiß – wider. – Kardinalschnitten (Wien Info)

Um LLMs (Large Language Models) auf die Probe zu stellen, frage ich sie gerne – neben anderen Dingen – auch danach, wie man Kardinalschnitten macht. Dahinter stecken ein paar Überlegungen:

Kochrezepte haben eine relativ starr vorgegebene Form. Ich erwarte mir eine Liste der Zutaten und eine Liste der Zubereitungsschritte. Alle Zutaten aus der Liste müssen verwendet werden. Alle Zutaten, die in den Zubereitungsschritten vorkommen, müssen auch auf der Zutatenliste stehen. Die Mengen auf der Zutatenliste müssen den Mengen in den Zubereitungsschritten entsprechen, sofern diese gegeben sind. Oft stehen die Zutaten in jener Reihenfolge auf der Liste, in der sie bei der Zubereitung verwendet werden.

Die Abfolge der Zubereitungsschritte muss logisch sein. Eine Komponente (hier z.B. der Eischnee), die in einem Schritt verwendet wird, muss in einem der vorigen Schritte zubereitet worden sein.

Das Endergebnis soll ein gewisses Aussehen haben. Auf Bildern sehen alle relativ ähnlich aus. Die auf Texte trainierte KI sieht das natürlich nicht. Wenn sie ein Rezept liefert, das als oberste Schicht Buttercreme oder eine Schokoglasur hat, hat sie den Test nicht bestanden.

Die KI soll hier nicht viel erfinden. Sie könnte sie eines der Rezepte aus ihren Trainingsdaten in eigenen Worten wiedergeben und vielleicht ein paar Tipps zu Varianten geben. Sie könnte aber auch schreiben, dass sie kein Rezept dafür kennt.

Wie gut schlagen sich einige verschiedene LLMs bei dieser Aufgabe?

Mehr lesen
Künstliche Intelligenz lokal mit Ollama und AnythingLLM

Künstliche Intelligenz lokal mit Ollama und AnythingLLM

Ich hab’s ganz gerne, wenn neue Technologien so gestaltet und aufbereitet sind, dass man selbst damit herumspielen kann. Large Language Models wie OpenAIs ChatGPT machen das schon nicht schlecht: man kann sich dort einfach registrieren und dann ein paar Fragen an die KI stellen. Allerdings ist alles dahinter quasi eine Black Box. Man weiß nicht, wie ChatGPT zu seinen Antworten kommt, und man weiß auch nicht, was OpenAI mit den Fragen macht. Wenn ich GPT-4 nach einem Kochrezept frage, ist das nicht weiter problematisch. Wenn ich der KI aber Dokumente mit vertraulichen oder personenbezogenen Daten zum Analysieren gebe, möchte ich nicht, dass diese Daten später als Trainingsdaten oder für andere Zwecke verwendet werden können, da dann die Gefahr bestünde, dass die Daten irgendwo wieder auftauchen.

Es geht aber auch anders.

Mehr lesen