Workshop: KI auf eigener Hardware. Vom Smartphone bis zum Server

Sobald Kundendaten, Angebote oder Personalunterlagen ins Spiel kommen, stellt sich dieselbe Frage: 

Wo landen diese Daten eigentlich? Die Antwort muss nicht „auf einem Server in den USA" lauten. Sprachmodelle lassen sich heute auf eigener Hardware betreiben, und das schon in einer Größenordnung, die für viele Aufgaben im Betrieb ausreicht.

In diesem Workshop sehen Sie das nicht auf Folien, sondern im Betrieb. Auf dem Tisch stehen mehrere Geräteklassen nebeneinander, vom Smartphone über einen Mini-PC und einen Laptop bis zu einem dedizierten KI-Rechner. Sie probieren selbst aus, was auf welchem Gerät läuft, wie schnell es antwortet und wo die Grenzen liegen.

Danach geht es darum, wie so ein Modell überhaupt auf ein Gerät kommt und wie es sich in vorhandene Abläufe einfügen lässt. Wer möchte, bringt einen eigenen Laptop mit und bringt gemeinsam mit uns ein kleines Modell zum Laufen, das auch ohne eigene Grafikkarte auf dem Prozessor arbeitet. Ein fertiges System für den Produktivbetrieb entsteht dabei nicht, wohl aber ein funktionierender erster Versuch, auf dem sich aufbauen lässt.
 

Am Ende wissen Sie, was lokal realistisch möglich ist, wo die Grenzen der jeweiligen Hardware liegen und für welche Aufgaben sich der Aufwand lohnt.