Künstliche Intelligenz lokal mit Ollama und AnythingLLM

Künstliche Intelligenz lokal mit Ollama und AnythingLLM

Ich hab’s ganz gerne, wenn neue Technologien so gestaltet und aufbereitet sind, dass man selbst damit herumspielen kann. Large Language Models wie OpenAIs ChatGPT machen das schon nicht schlecht: man kann sich dort einfach registrieren und dann ein paar Fragen an die KI stellen. Allerdings ist alles dahinter quasi eine Black Box. Man weiß nicht, wie ChatGPT zu seinen Antworten kommt, und man weiß auch nicht, was OpenAI mit den Fragen macht. Wenn ich GPT-4 nach einem Kochrezept frage, ist das nicht weiter problematisch. Wenn ich der KI aber Dokumente mit vertraulichen oder personenbezogenen Daten zum Analysieren gebe, möchte ich nicht, dass diese Daten später als Trainingsdaten oder für andere Zwecke verwendet werden können, da dann die Gefahr bestünde, dass die Daten irgendwo wieder auftauchen.

Es geht aber auch anders.

Ollama

Ollama ist ein recht einfacher Weg, LLMs auf Windows, Linux oder Mac OS herunterzuladen und laufen zu lassen.

Nach der Installation kann man Ollama über die Kommandozeile (z.B. die Windows PowerShell) aufrufen. Ollama hat einen ganzen Katalog verschiedener Open-Source-LLMs online, die wiederum in verschiedenen Größen und mit unterschiedlich vielen Milliarden Parametern angeboten werden. Die Modelle unterscheiden sich auch in ihren Fähigkeiten und in den unterstützten Sprachen.

Metas llama3.1 in der Größe 8B ist ein ganz brauchbares Modell zum Anfangen. Es braucht etwa 4,7 Gigabyte auf der Platte und läuft schon auf PCs mit 8GB RAM halbwegs gut.

Um das Modell laufen zu lassen, führt man in der Kommandozeile ollama run llama3.1:8b aus. Sollte das Modell noch nicht installiert sein, lädt Ollama es automatisch herunter. Danach kann man mit dem Modell chatten:

PS C:\Users\daniel> ollama run llama3.1
>>> Wie schnell fliegt eine afrikanische Schwalbe?
Die Afrikanische Schwalbe (Hirundo daurica) ist ein kleiner Vogel, der eine Fluggeschwindigkeit von bis zu 35 km/h
erreichen kann. Bei Stürmen und wildem Fliegen können sie jedoch Geschwindigkeiten von über 50 km/h erreichen.

>>> Send a message (/? for help)

Mit /bye kann man die interaktive Chat-Session beenden.

Auf der Kommandozeile kann man sich mit ollama list die installierten LLMs anzeigen lassen. ollama ps listet die gerade laufenden LLMs auf und ollama stop [LLM] beendet eine davon.

PS C:\Users\daniel> ollama list
NAME               ID              SIZE      MODIFIED
llama3.1:latest    42182419e950    4.7 GB    2 days ago
llama3.2:latest    a80c4f17acd5    2.0 GB    2 days ago
PS C:\Users\daniel> ollama ps
NAME               ID              SIZE      PROCESSOR    UNTIL
llama3.1:latest    42182419e950    6.2 GB    100% CPU     4 minutes from now
PS C:\Users\daniel> ollama stop llama3.1

AnythingLLM

Chatten auf der Kommandozeile ist ganz nett. Wenn man aber ein bisserl mehr machen möchte, kann man AnythingLLM verwenden. In AnythingLLM kann man Arbeitsbereiche definieren und in diese Arbeitsbereiche Dateien laden, die dann den LLMs für Chats zur Verfügung stehen. AnythingLLM kann dafür sowohl lokale LLMs (Ollama) als auch cloudbasierte LLMs (z.B. GPT-4) verwenden.

Funktioniert das alles?

Ja und nein. Nicht immer, nicht verlässlich, nicht immer schnell. llama3.1 in der Größe 8B liefert mir auf meinem Laptop ähnlich schnell Antworten wie ChatGPT online. Die kleineren Modelle llama3.2 sind noch schneller, aber auch weniger genau. In jedem Fall sollte man unbedingt schon eine Ahnung davon haben, wonach man fragt, damit man beurteilen kann, ob das LLM Dinge halluziniert.

AnythingLLM kann PDFs und andere Textdateien verarbeiten. Ein Excel-Arbeitsblatt, das ich ihm hochlud, konnte es noch nicht lesen. Das sollte sich aber schnell beheben lassen.

Das Ende der Geldbörse

Wann auch immer jemand das Thema „Abschaffung von Bargeld“ anrührt – eine sehr lebhafte Diskussion ist quasi vorprogrammiert. Darum soll’s aber hier nicht gehen.

Wer kennt die Situation nicht: man geht aus dem Haus, und nach ein paar Metern kommt man drauf: „Mist, ich habe die Geldbörse daheim vergessen!“ Noch vor ein paar Jahren war das für mich ein Grund, umzukehren. Mittlerweile ist das – zumindest für mich – nicht mehr so.

Ein Blick auf verschiedene Dinge, die man normalerweise in einer Geldbörse findet, die Alternativen dazu, und in naher Zukunft geplante Änderungen:

Eine Bankomatkarte/Kreditkarte

Bezahlen per Smartphone ist nichts neues – das hat auch schon 2016 einigermaßen zufriedenstellend funktioniert. Es hat aber einige Zeit gebraucht, bis es gängig wurde, bis Kartenlesegeräte durch kontaktlose Kartenleser ersetzt wurden, und bis auch kleinere Betriebe des täglichen Bedarfs Kartenzahlung zu akzeptieren begonnen haben. Mittlerweile kann ich auch in der Bäckerei mit dem Smartphone bezahlen.

Kundenkarten

Ich mochte die vielen Kundenkarten eigentlich nie. Die meisten habe ich stets daheim aufbewahrt und nur nach Bedarf in die Geldbörse gesteckt. Als vor vielen Jahren die ersten Apps zum Speichern von (vielen verschiedenen) Kundenkarten auftauchten, war ich schnell überzeugt. Dass immer mehr Läden darauf bestehen, dass man die eigene App installiert, ist ärgerlich. Aber hey, man braucht auch nicht von jedem Laden eine Kundenkarte.

Ausweise

Für Reisen ins Ausland braucht man noch einen physischen Personalausweis oder Reisepass und eventuell einen physischen Führerschein. Im Inland kann man den Führerschein schon digital mit der eAusweise-App der Bundesregierung vorzeigen, vorausgesetzt, man hat einen Scheckkartenführerschein. Alle, die noch einen rosa Lappen haben, müssen noch ein bisserl warten, denn hier fehlt dem Staat ein digitalisiertes Foto in der Führerscheinkartei.

Die selbe App bietet auch einen digitalen Identitätsnachweis und einen digitalen Altersnachweis. Auch Zulassungsscheine für KFZ kann man bereits jetzt digital in der eAusweise-App mitnehmen. Allerdings gibt’s hier noch einen Haken: der Zulassungsschein kann derzeit nicht an andere Personen weitergegeben werden. Diese Funktionalität soll noch kommen.

Der digitale Personalausweis soll noch 2024 kommen.

Die digitalen Ausweise sollen bis voraussichtlich 2026 auch in den anderen EU-Staaten anerkannt werden, in manchen eventuell schon früher. Hinter all diesen Terminen steht ein gewisses Fragezeichen, denn der zuständige Digitalisierungsstaatssekretär Florian Tursky, der der APA im November 2023 diese Termine genannt hat, ist wegen des vergeblichen Versuchs, Innsbrucker Bürgermeister zu werden, nicht mehr im Amt.

Die e-Card (Sozialversicherungskarte)

Wer in den letzten Monaten in einer Arztpraxis war, wird vielleicht bemerkt haben, dass die Lesegeräte für die e-Card durch solche ersetzt wurden, die NFC-fähig sind. Auch die e-Card soll laut Tursky noch 2024 aufs Smartphone kommen, als Ergänzung zur physischen App. Hier erwies sich angeblich Apple als Bremse, durften doch Apps am iPhone nicht auf die NFC-Schnittstelle zugreifen. Das e-Rezept kann man digital am Smartphone abrufen und auch an andere Personen weiterleiten, damit diese Medikamente in der Apotheke abholen können.

Eine Jahreskarte für den öffentlichen Verkehr/Klimaticket

Das ist erledigt. Die Unternehmen verkaufen gerne Tickets digital und daher kann man auch die Jahreskarten in deren Apps anzeigen. Offiziell sind die Tickets nur in Verbindung mit einem Lichtbildausweis gültig. Ob die Unternehmen dafür einen digitalen Ausweis akzeptieren, weiß ich nicht. In Wien und in der ÖBB werde ich normalerweise nicht nach einem zusätzlichen Ausweis gefragt.

Zutrittskarten von Firmen und Vereinen

Das ist noch offen. Einerseits basieren mittlerweile viele dieser Systeme auf NFC. Andererseits gibt es für viele davon keine Apps. Als Alternative kann man eventuell die Karte durch einen Schlüsselanhänger mit NFC-Tag ersetzen – aber das erfordert die Mitwirkung der Firma bzw. des Vereins.

Bargeld

Ja klar. Die Marktstandler, der Eissalon und der Würstelstand mögen lieber Bargeld.

Münzen brauche ich nicht mehr so oft wie früher. Die Münzen, die ich fallweise als Wechselgeld bekomme, landen daheim meist in einer Dose, deren Inhalt ich alle paar Monate auf mein Konto einzahle. Zum Entsperren der Einkaufswagen im Supermarkt verwende ich einen Einkaufswagenlöser für den Schlüsselbund. (Die sind hier in Wien mittlerweile so weit verbreitet, dass kaum mehr Einkaufswagen angehängt sind.)

Nicht selten sieht man, dass jemand einen Geldschein in die Handyhülle gesteckt hat. Fans des EDC (everyday carry) können ein, zwei Scheine und Münzen dort hineingeben. Für Notfälle gibt es auch Schlüsselanhänger, in denen man eine gefaltete und gerollte Banknote unterbringen kann. Seltsame Blicke der Eisverkäuferin, der man einen total zerknitterten 20€-Schein überreicht, sind einem ziemlich sicher – daher nur als Notlösung geeignet. Übrigens: die Bankomatkarte am Smartphone kann man auch verwenden, um am Bankomat Bargeld abzuheben.

Fazit

Für immer mehr von uns wird es in nächster Zeit möglich werden, die Geldbörse im Alltag daheim zu lassen.

Die Genese einer Chronik-Meldung

Heute war ein besch…eidener Tag für die Wien-PR. Der Standard warnte: „Wer in Österreichs Hauptstadt eine öffentliche Toilette besucht, muss oft mit dem Schlimmsten rechnen„. Der ORF schrieb: „Wiens WCs unter den dreckigsten in Europa“. Die Presse titelte „Wien unter Top-Ten der schmutzigsten öffentlichen WCs“, meinte aber dann doch nicht die ganze Stadt.

Irgenwie kamen mir diese Meldungen vertraut vor.

Eine der Nebenwirkungen dessen, dass ich diesen Blog hier schon eine ganz Weile lang betreibe, ist, dass meine E-Mailadresse auf dem einen oder anderen Presseverteiler gelandet ist. Das ist nicht unerwünscht. Ich habe dafür eine eigene E-Mailadresse eingerichtet.

Die meisten der E-Mails, die dort eintrudeln, sind Presseaussendungen von PR-Agenturen – und tendenziell eher uninteressant. Eine britische Uni schickt mir immer wieder Presseaussendungen über neue naturwissenschaftliche Erkenntnisse, komplett mit Sperrfrist. Meistens denke ich mir: „Schon nicht ganz uninteressant – aber sie können froh sein, wenn überhaupt jemand darüber schreibt“.

Eine ganze Menge von E-Mails kommt von einer Firma namens journalistic.org, die Teil einer Digital-PR-Agentur ist. Diese Firma hat sich offenbar darauf spezialisiert, Texte zu schreiben und Datenauswertungen zu generieren. Dann schreiben sie den Namen einer Firma drauf und verschicken das ganze als Presseaussendung. Das Ziel dürfte sein, so Backlinks und Aufmerksamkeit für die Firma zu generieren.

Einige Erkenntnisse aus deren Presseaussendungen:

Mehr lesen

Ausprobiert: ÖBB SimplyGo

„Fahrkartenverkauf ist eigentlich Kundenbelästigung“ hat man mir in der ÖBB-Zentrale schon vor einigen Jahren gesagt. Das klingt seltsam, aber es steckt einiges an Wahrheit dahinter. Die Dienstleistung, die die Bahn verkauft, ist der Transport von A nach B. Bequeme Sitze und pünktliche Züge gehören dazu. Dass man sich dafür vorher eine Fahrkarte kaufen muss, ist bloß ein notwendiges Übel. Für die Bahn ist es also sinnvoll, den Kunden den Fahrkartenkauf so einfach wie möglich zu machen.

Also SimplyGo. Wie funktioniert’s? Man öffnet die App, swiped vor Fahrtbeginn nach rechts und nach Ende der Fahrt nach links. Die App erkennt Abfahrtsort, Zielort und Verkehrsmittel und berechnet am Ende des Tages automatisch den günstigsten Preis. Wird man während der Fahrt nach dem Fahrschein gefragt, zeigt man die laufende App her. Funktioniert gut, in der Theorie. Mehr lesen

Trööt!

Logo von MastodonMastodon hat ein ausgestorbenes Mammut als Namensgeber und Maskottchen. Von denjenigen, die in den letzten Wochen von Twitter zu Mastodon gewechselt sind, und denjenigen, die dort schon seit längerem sind, denken aber viele, dass der Dienst mit dem Vogel zuerst aussterben wird. Schließlich ist Mastodon Open Source, als dezentrales Social Network auf ganz vielen Servern daheim und überhaupt und auch deswegen super. Außerdem feuert der neue Chef bei Twitter Angestellte en masse, vertreibt Werbekunden und vergrault die eigenen Nutzer. Oder so.

Ich habe seit Mai diesen Jahres ein eigenes Mastodon-Profil unter @danimrich@mastodon.social. Damit bin ich dort relativ neu und trotzdem länger dabei als die Hälfte aller User: Mastodon gibt’s schon seit 2016, aber ab dem Nationalfeiertag Ende Oktober 2022 schwappte die große Welle enttäuschter Twitterati über die verschiedenen großen und kleineren Mastodon-Instanzen herein. Mastodon ist die naheliegende Alternative zu Twitter. Es ist ähnlich – jeder hat ein Profil, es gibt Tröts (statt Tweets), Threads und Kommentare – aber doch anders. Die Neuen empfanden es gewissermaßen als Landnahme, die bestehenden NutzerInnen reagierten mit einer Mischung aus Freude, Hilfsbewusstsein und Angst um die Gesprächskultur. Wie bei den meisten Onlineforen gilt: durch’s Reden kommen die Leut‘ z’samm – und auch die Regeln werden dabei geschaffen und erlernt.

Wir werden sehen, wie das alles funktioniert. Wer möchte, kann mir folgen. Es freut mich.