dahblog.arthistoricum.net
#arthistoCast Folge 4: Visuelles Flanieren – Mit Computer Vision in großen Bildmengen suchen
Im Zuge der Digitalisierung von Museums- und Archivbeständen sind wir in der Kunstgeschichte mit einer enormen Menge heterogener Bilddatenbanken konfrontiert. Aber wie können wir uns diese großen Bilddatenmengen erschließen? Was ist visuelles Suchen und wie funktioniert die Technik dahinter?
In dieser Folge spricht Jacqueline Klusik-Eckert mit Prof. Dr. Peter Bell und Stefanie Schneider, M.Sc., über das visuelle Suchen in großen Bilddatenmengen. Dabei geht es neben einer Reflexion über unsere Suchstrategien in der Kunstgeschichte auch um Prototypen für das visuelle Suchen. Hierbei werden in experimentellen Anwendungen unterschiedliche Verfahren des Computersehens, Computer Vision, erprobt. Angefangen bei der Frage, ob es visuelles Suchen überhaupt schon gibt, werden unterschiedliche Suchverhalten und Routinen besprochen, wie man sich großen Datenmengen nähern kann. Dabei wird klar, dass das visuelle Suchen mittels Computer Vision Verfahren eher einem mäanderndem Flanieren ähnelt und hilft, über unsere menschlichen Wahrnehmungsgrenzen hinauszugehen. Welche Rolle diese Hilfsmittel bei der Erschließung von unkategorisierten Datenmengen spielen und wie man sie auch zur Inspiration für neue Forschungsideen nutzen kann, wird im gemeinsamen Gespräch erörtert.
Dabei gewinnt man einen Einblick in die Technik hinter der Benutzeroberfläche. Denn oft ist nicht klar, was ein Algorithmus als “ähnlich” betrachtet oder warum gewisse Werke miteinander in eine Art Punktwolke, dem Skatterplot, gruppiert werden. Die beiden Experti*innen erklären die dahinterliegenden Verfahren und zeigen auch ihre Grenzen auf. Es wird klar, dass der Einsatz dieser digitalen Werkzeuge als Hilfsmittel auch immer mit einer Diskussion über facheigene etablierte Verfahren und Methoden des Recherchierens und Suchens einhergeht.
Prof. Dr. Peter Bell ist Professor für Kunstgeschichte und Digital Humanities an der Philipps-Universität Marburg. In seiner Forschung beschäftigt er sich schon länger mit den Einsatzszenarien von Computer Vision für die Kunstgeschichte. In seiner Arbeitsgruppe wurde u.a. die Bildsuche imgs.ai von Fabian Offert entwickelt.
Stefanie Schneider, M.Sc., ist Wissenschaftliche Assistentin für Digitale Kunstgeschichte an der Ludwigs-Maximilians-Universität München. Als Fachinformatikerin und ausgebildete Anwendungsentwicklerin hat sie schon einige Prototypen für die Digitale Kunstgeschichte entwickelt und spricht über das Projekt „iART – Ein interaktives Analyse- und Retrieval-Tool zur Unterstützung von bildorientierten Forschungsprozessen“
Unseren Podcast kann man auf vielen Wegen hören. Der auf dieser Seite eingebundene Player ist nur eine davon.
Die Folge ist mit persistentem Identifier im Repositorium heidICON abgelegt und kann nach Belieben heruntergeladen und nachgenutzt werden:
https://heidicon.ub.uni-heidelberg.de/#/detail/23729794
Man kann den Podcast aber auch gerne über die Plattform des Vertrauens hören. Folge einfach den Links auf den Icons.
Bei Fragen, Anregungen, Kritik und gerne auch Lob kannst du gerne per Mail an uns schicken unter
podcast@digitale-kunstgeschichte.de
Visuelles Suchen selbst ausprobieren nach oben
Die Prototypen für das Visuelle Suchen stehen allen zum Ausprobieren zur Verfügung
iArt
iArt is an e-research tool is being developed for the utilisation and evaluation of image data in humanities-related research processes. The aim of “iART” is to optimise research in electronic image databases and thus increase the performance of existing scientific information systems.
Link zum Interface https://www.iart.vision/
Github https://github.com/TIBHannover/iart
imgs.ai
imgs.ai is a fast, dataset-agnostic, deep visual search engine for digital art history based on neural network embeddings.
Link zum Interface https://imgs.ai/interface
Github https://github.com/zentralwerkstatt/imgs.ai
Weiterführende Literatur
Bell, Peter, Sehen lernen mit Sehen lernenden Maschinen. Computer Vision und Visualisierung als didaktisches Instrument in der Kunstgeschichte. In: Hubert Locher/ Maria Männing (Hg.): Lehrmedien der Kunstgeschichte. Geschichte und Perspektiven kunsthistorischer Medienpraxis, München 2022, S. 384-401.
Hunger, Francis, Punktwolken. Scatterplots und Tabellen als User-Interfaces Künstlicher „Intelligenz“, in: Training the Archive - Working Paper Series /5, 2023, https://zenodo.org/record/7554463 (letzter Zugriff am 28.6.2023).
Schneider, Stefanie; Springstein, Matthias; Rahnama, Javad; Kohle, Hubertus; Ewerth, Ralph; Hüllermeier, Eyke, iART. Eine Suchmaschine zur Unterstützung von bildorientierten Forschungsprozessen, DHd 2022. Kulturen des digitalen Gedächtnisses. Konferenzabstracts, S. 142–147, DOI: 10.5281/zenodo.6304590.
Du kennst noch andere Literatur zu dem Thema Visuelles Suchen? Dann poste das gerne in die Kommentare und die Liste wird sukzessive ergänzt.
0 Kommentar(e)