Wie wir Eventkategorien mit KI und echten Daten verbessert haben

Warum gibt es so viele verschiedene Kategoriebäume? 

Und wieso funktionieren manche besser als andere? Alle, die sich schon einmal damit beschäftigt haben, sind auf einige häufige Schwierigkeiten gestoßen:

• Ein Event passt in mehrere Kategorien, welche ist aber die Hauptkategorie? Gehört "Mozart-Dinner" zu klassischer Musik oder zu Kulinarik?
• Keine Kategorie passt so richtig. Gehört das Jazz-Konzert zu Rock? Zu Klassik? Wieso gibt es keine Kategorie Jazz. Einfach alles in "Musik" ohne weitere Filter? Gibt es eine Kategorie "diverses"? Wann würde aber ein Gast unter "diverses" nachschauen?
• Ist "familienfreundliche Events" eine Kategorie? Oder eigentlich ein anderes Attribut?

Wie findet man nun eine Liste an Kategorien, die wirklich gut funktioniert? 

Bei Appica sind wir schrittweise vorgegangen:

1) Erstentwurf mit KI: Klar, heutzutage ist der erste Gedanke, fragen wir eine KI. Schnell sieht man aber, dass der erhaltene Kategoriebaum noch lange nicht dort ist, wo er sein sollte, und die vorher genannten Probleme enthält: Einige offensichtliche Kategorien fehlen, einiges überschneidet sich. Ein Beispiel: Die von der KI vorgeschlagenen Kategorien "Film", "Arthouse-Film" und "Kino & Filmabende" überschneiden sich eindeutig. Kurz gesagt: Wir haben eine Liste an Kategorien erhalten, die statistisch gesehen häufig und üblich sind, wir wollen es aber besser machen.

2) Manuelle Überarbeitung: Wie auch wir hat der oder die geneigte Leser:in einen Erfahrungsschatz, den man unbedingt einfließen lassen sollte: Also, Kategorien streichen, hinzufügen, umbenennen. An dieser Stelle wird häufig der Prozess beendet, aber: Haben wir wirklich an alles gedacht?

3) Evaluation mit KI: Wenn man viele Events in der eigenen Datenbank hat, eignen sich diese perfekt zum Überprüfen des Kategoriebaums. Händisch zigtausende davon zu überprüfen, ist aber mühsam. Hier kommt die KI ins Spiel: Ein kleines Computerskript hat bei Appica jedes Event zusammen mit dem vollständigen Kategoriebaum an eine KI geschickt und gefragt, ob keine, eine oder mehrere Kategorien dazu passen. Bei Interesse schicke ich gerne das in der Programmiersprache "Ruby" geschriebene Skript oder den verwendeten Prompt zu.

Was kam beim ersten Durchgang mit 500 zufällig gewählten Events raus? 

➡️ 361 Events hatten eine Kategorie, 111 keine und 28 mehrere. Das Ergebnis inklusive den nicht korrekt zugeordneten Beispielen haben wir dann eine KI analysieren lassen:

Dieser Prozess wurde mehrmals wiederholt. Die KI-Vorschläge haben wir nicht immer 1:1 übernommen, zum Beispiel haben wir uns dagegen entschieden, zig Kategorien für alle möglichen Musikgenres einzuführen, um dem Kategorienbaum kompakt zu halten. Dennoch waren die KI-Vorschläge hilfreich, potenzielle Probleme im Kategoriebaum zu entdecken. Nach vielen Umbenennungen zwecks Eindeutigkeit, Hinzufügen und Entfernen von Kategorien kamen wir schließlich zu einer Version, die mit dem aktuellen Eventbestand souverän umgehen konnte. Den fertigen Kategoriebaum findet ihr auf https://appica.events/events im Event-Filter-Bereich:

Fertig? 

Kann unsere Liste an Kategorien wirklich "fertig" sein? Fast – aber hin und wieder taucht eine Veranstaltung auf, die trotzdem nicht so recht zu unseren Kategorien passen will. Um das zu bemerken und darauf reagieren zu können, überprüft unsere Software, Appica, auch im laufenden Betrieb den Kategoriebaum anhand jedes neu angelegten Events und informiert uns bei Bedarf. Gegen eine automatische Anpassung der Kategorien haben wir uns aber bewusst entschieden, da immer noch ein Mensch mit dessen Erfahrungen und Intuition die Entscheidung zu Änderungen am besten abwägen kann.

Übrigens: Wer Appica zum Event-Import nutzt, kann, muss aber nicht auf unseren Kategoriebaum zurückgreifen - Appica kann Events auch jeder beliebigen externen Liste an Kategorien zuordnen und bei Interesse Tipps zu möglichen Verbesserungen geben.

Bei Fragen zum Prompt, unserem Vorgehen oder allem anderen, meldet euch gerne jederzeit bei mir. 📧