Mit iART ist ein neuartiges Tool zur Bildsuche entstanden, das auf ein von der Deutschen Forschungsgemeinschaft finanziertes Projekt zurückgeht. Verantwortlich hierfür waren Informatiker und Kunsthistoriker der Universitäten Hannover, Paderborn und München, programmiert haben es Matthias Springstein, Javad Rahmana und Stefanie Schneider. „Neuartig“ nenne ich es deswegen, weil es nicht mehr (oder nur noch indirekt) wie traditionelle Suchmaschinen nach Metadaten sucht, die vom Menschen eingegeben wurden. Stattdessen adressiert es die Bilder selber. Was heißt „nicht mehr (oder nur noch indirekt)“?
iART basiert neben spezifisch kunsthistorischen Quellen auf dem von der amerikanischen OpenAI-Initiative erzeugten neuronalen Netzwerk CLIP, in dem 30 Millionen Text-Bild-Kombinationen verwendet wurden, um ein Bilderkennungssystem zu trainieren. Es handelt sich also um eine Künstliche Intelligenz, die hier eingesetzt wird, eine KI, die mit englischen Begriffen gefüttert wurde, weswegen das System z.Z. mit englischen Eingaben zu verwenden ist, die aber in einem späteren Projektstadium durch alternativsprachliche Optionen ergänzt werden. Zusammen mit allen möglichen anderen Faktoren gehen diese Trainingsdaten in sogenannte Embeddings ein, auf deren Basis die Suche erfolgt. Es entsteht dadurch eine Suchmaschine, die zwar auf textlichen Metadaten aufsetzt, aber nicht unmittelbar nach diesen sucht.
Die Ergebnisse sind vor allem dort interessant, wo man unscharfe Suchen anstellt, das Material von z. Z. ca. einer Millionen Bildern also exploriert und weniger mit präzisen Benennungen eines oder mehrere Objekte aus dem Bestand herausfiltert. „Victims of a mortal disease“ etwa liefert mir Dutzende von Krankenbettszenen quer durch die profane und christliche Ikonographie. Noch wichtiger ist, dass man auch mit Bildern nach Bildern suchen, also den Bestand auf der Basis eines bestimmten Werkes nach einem diesem ähnlichen durchforsten kann. Beispielsweise nehme ich van Goghs „Kartoffelesser“ zum Ausgangspunkt, und das System gibt alle möglichen bäuerlichen Mahlzeiten aus, die dem nordeuropäisch-niederländischen Bereich entstammen - zudem die Abwandlungen des van Goghschen Bildes selber. Das Gelieferte (worunter sich auch eine Menge Blödsinn befindet, oder sagen wir vorsichtiger: Ergebnisse, deren Sinn sich nicht unmittelbar erschließt) muss mehr noch als üblich als Angebot verstanden werden, aus dem Forscher*in dann das auswählt, was passt. Hinzu kommen Clusterungs- und Facettierungsmöglichkeiten, die eine stärkere Fokussierung der Suchergebnisse ermöglichen.
Wichtig für die Benutzung dürfte zudem sein, dass jeder Nutzer*in eigene Werke hochladen und analysieren lassen kann. Urheberrechtlich ist das inzwischen übrigens problemlos. Solange ein forscherisches Interesse besteht – was wir über eine Registrierung absichern – erlaubt das neue Urheberrechtsgesetz (§60d) genau diese Massendatenanalysen, die in iART im Zentrum des Interesses stehen.
Wir freuen uns über alle, die das System ausprobieren und dann vielleicht auch noch über Twitter (#iart) kommentieren.
0 Kommentar(e)