dahblog.arthistoricum.net

Das digitale Bild. Eine Herausforderung für die Kunstgeschichte

Das digitale Bild. Eine Herausforderung für die Kunstgeschichte

Vortrag gehalten am 6.2.2018 an der Humboldt-Universität/ Berlin

I

Wenn man sich mal ein wenig genauer ansieht, mit welchen Schwerpunkten die Digital Humanities an deutschen Universitäten vertreten sind, dann ist das Ergebnis relativ einheitlich. An der Universität Würzburg wird ein entsprechender Studiengang mit Bachelor- und Masterabschluss angeboten. Beim Bachelor heißt es in der Kurzbeschreibung: „Ziel des Studiengangs ist die Vermittlung von Kenntnissen der wichtigsten Teilgebiete der Computerphilologie sowie der Methoden der Computerphilologie, also des fachspezifischen Denkens und Arbeitens.“ Die Ausrichtung auf die Philologie ist damit unverkennbar, und wenn man bedenkt, dass der Lehrstuhl am Institut für deutsche Philologie angesiedelt ist, dann ist das alles andere als erstaunlich. Beim Master öffnet sich das Feld dann, und es ist die Rede davon, dass er „die Anwendung von computergestützten Verfahren und die systematische Verwendung von digitalen Ressourcen in den Geistes- und Kulturwissenschaften“ vermitteln will. Bei der Aufzählung der Einzelaspekte aber steht dann wieder die Sprache im Vordergrund.

Die Universität zu Köln bietet schon lange einen einschlägigen Studiengang an, der folgende Varianten zulässt: einmal geht es um „historisch-kulturwissenschaftliche Informationsverarbeitung“, ein anderes Mal um „sprachliche Informationsverabeitung“. Bei letzterer wird kommentiert: „Geistes- und kulturwissenschaftliche Daten sind vorwiegend sprachlich - in Texten - codiert.“ Immerhin „vorwiegend“, aber die Ausrichtung am Wort ist hier nicht nur eine, die sich ganz selbstverständlich aus der Denomination des Studienganges ergibt, sondern sie wird auch noch systematisch begründet. Etwas anders sieht es bei der „historisch-kulturwissenschaftlichen Informationsverarbeitung“ aus, wo auf der Homepage ausgeführt wird: „Zahlreich vorhandene und neu entstehende Objekte der unterschiedlichen Kulturen in Form von Text und gesprochener Sprache, Kunst und Musik, als Bild oder Film, alte oder neue geografische Karten sowie Objektivationen des Alltags bieten eine breite Basis für Analysen und Interpretationen.“ Die kulturelle Überlieferung ist hier tatsächlich breiter gefasst und schließt auch visuelle und auditive Formen mit ein. In der Tat war der an diesem Institut tätige Manfred Thaller z.B. auch an der Entwicklung des verteilten Bildarchivs prometheus beteiligt, heute der Standard für die kunsthistorische Lehre.

Weiter nach Trier, wo es einen Studiengang  Digital Humanities im Rahmen des Faches Computerlinguistik und Digital Humanities gibt. Trier ist im übrigen bekannt für sein Trier Center for Digital Humanities, das vor allem in der digital gestützten Editionsphilologie auf sich aufmerksam gemacht hat. Der Studiengang ist breit angelegt und adressiert alle relevanten Medien. Er scheint sich aber noch in der Planung zu befinden, und eine der Professuren ist gerade erst besetzt worden. Der soeben berufene Stelleninhaber, Christof Schöch, kommt aus der Würzburger Computerphilologie.

Änliches gilt für die Universität Paderborn, wo soeben eine W3-Professur für Digitale Kulturwissenschaften besetzt wurde. Die Stelleninhaberin ist Computerlinguistin. Ich will das übrigens gar nicht weiter kritisieren, aber immerhin gibt es das Fach Computerlinguistik ja auch noch als eigenständiges, und in ihm werden entsprechende Professuren vergeben. Dass jetzt für die allgemeine digitale Kulturwissenschaft ebenfalls auf die Computerlinguistik zurückgegriffen wird, belegt vor allem eines: Offenbar ist aus den klassischen Kultuwissenschaften keine qualifizierte Rekrutierung möglich, und das haben sich diese sich in erster Linie selber zuzuschreiben.

In Niedersachsen gibt es das Göttingen Centre for Digital Humanities, das als Institution gedacht ist, die quer zu den Fakultäten die digitalen Aktivitäten bündelt. Neben dem nun schon geläufigen textphilologischen Schwerpunkt  kommen hier einige eher ungewöhnliche Akzente hinzu, etwa ein Projekt zum virtuellen Museum, aber auch eine eigene Professur mit der originellen Denomination Klassische Archäologie und ihre digitale Methodik. Es liegt nahe, dass die Archäologie mit ihrem erheblichen Rekonstruktionsbedarf als ein Fach gelten kann, das in den Digital Humanities immer wieder avancierte Lösungen präsentiert.

In Passau ist ein Lehrstuhl für Digital Humanities eingerichtet worden, der sein Angebot verschiedenen Bachelor- und Masterstudiengängen aus dem geisteswissenschaftlichen Bereich anbietet, mittelfristig aber wohl auch einen eigenen Studiengang plant. Der dortige Lehrstuhlinhaber ist Historiker, eingebunden aber ist er in ein Passauer Centre for eHumanities, das wie im Fall Göttingen ganz offensichtlich auf eine Querschnittsfunktion abzielt und die universelle Bedeutung des Digitalen auch für die Geisteswissenschaften belegen will.

Die Liste ist nicht vollständig. Gerade aktuell passiert eine ganze Menge. Aber auch, wenn sich bei den zuletzt genannten Beispielen eine Öffnung der digital humanities erkennen lässt: Das Fach ist sehr weitgehend auf sprachliche Artefakte fokussiert. Ganz allgemein gesagt, dürfte das mit der Dominanz der Sprache in der logozentrischen europäischen Kultur zu tun haben, spezieller aber wohl auch mit der Tatsache, dass die Philologien im europäischen Wissenschaftssystem institutionell dominieren. Bilder und Töne sind unter ferner liefen angesiedelt, als Kunstmedien werden sie in der Kunstgeschichte und Musikwissenschaft abgehandelt. Auch wenn etwa die Kunstgeschichte mit ihrer Erweiterung von der Kunst ins Bild einen gewissen Universalitätsanspruch formuliert, bleibt sie institutionell doch marginal, obwohl die Bildwissenschaft eigentlich ein geeignetes Einfallstor hätte liefern können. Stattdessen wird jetzt in allen möglichen anderen Wissenschaften von Bildern geredet. An dieser Stelle spiegelt die Situation in den digital humanities nur die generelle Konstellation. Die Musikwissenschaft hat es trotz ihres in Deutschland insgesamt eher konservativen Charakters immerhin geschafft, als Teildisziplin des neuen Max-Planck-Institutes für empirische Ästhetik in Frankfurt/Main Anschluss an zeitgenössische, auch computergeprägte Methoden zu finden, und in der Tat stellt man fest, dass Töne in den DH eindeutig im Aufwind liegen. Bei der Kunstgeschichte, die leider auch in Frankfurt nicht auftritt, ist dagegen wenig zu finden, auch wenn ganz aktuell in Erlangen und Graz Juniorprofessuren für Digitale Kunstgeschichte eingerichtet wurden. Zwar hat sie ganz früh avancierte digitale Methoden für sich entdeckt, aber diese Ansätze sind dann im Sande verlaufen und nicht in pragmatische Fachpolitik überführt worden. William Vaughan in England etwa hat schon in den späten 1970er Jahren mit Verfahren der direkten Bildadressierung begonnen und sein Morelli genanntes System, egal, was man über seine Funktionsfähigkeit sagen will, zu einem Zeitpunkt eingeführt, als der Gegenstand sogar in der allgemeinen Informatik noch ziemlich randständig war. Übrigens in seiner Eigenschaft als renommierter Romantik-Forscher und Professor am Londoner Birkbeck-College, also nicht irgendwo an einer verschrobenen Peripherie. Oder Lutz Heusinger, der zum gleichen Zeitpunkt in Marburg eine komplexe, elektronisch gestützte Bilddatenbank-Struktur einführte, die zum Ausgangspunkt vielfältiger Überlegungen unter Eingeweihten geworden ist. Hingewiesen worden ist auch auf die ideologiekritischen, aus heutiger Sicht teilweise einigermaßen skurrilen Diskussionen im Umkreis des Ulmer Vereins, des alternativen Fachverbandes der Kunstgeschichte. Daneben auf noch weiter zurückliegende Tagungsaktivitäten, die auf eine Initiative von IBM zurückgingen, dessen Bedeutung bei der Entstehung der Digital Humanities als solcher ja auch häufig beschrieben wurde. Stichwort Father Busa. Und das Getty Research Institute in Los Angeles mit seinen großen, seit den 1980er Jahren entwickelten Thesauri und Provenienzkatalogen kann vielleicht auch hierhin gerechnet werden, obwohl man hier wie im Marburger Fall eher von einer digitalen Bildphilologie als von einer digitalen Bildphänomenologie reden sollte.

II

Wenn auch immer noch eher am Rande, ist das Bild als Gegenstand der digitalen Analyse zuletzt aber gerade auch im deutschsprachigen Raum neu entdeckt worden. Es gibt hier einen Arbeitskreis digitale Kunstgeschichte, vor kurzem wurde bei der DFG ein Antrag auf Einrichtung eines Schwerpunktprogrammes Das digitale Bild gestellt. Visual computing ist in der Informatik ein großes Thema. Und auch in der Kunstgeschichte ist die eine oder andere Professur zum Gegenstand eingerichtet worden. In den Museen kümmert man sich verstärkt um den Aufbau von digital gestützten Inventaren, museale Sammlungen haben sich auch schon relativ früh für Experimente der Informatikindustrie zur automatischen Bildanalyse zur Verfügung gestellt. Selbst Bibliotheken widmen sich Bildkatalogen, teilweise auf informatisch avanciertestem Niveau. So etwa die Bayerische Staatsbibliothek, die in Zusammenarbeit mit einem Fraunhofer-Institut hier in Berlin fast 50 Millionen Buchillustrationen aus ihrem herausragenden Bestand extrahiert und mit einem Ähnlichkeitsalgorithmus suchbar gemacht hat, der nicht auf Metadaten, sondern auf direkter Bildadressierung beruht. Diese direkte Bildadressierung, etwas missverständlich auch Content based image retrieval genannt, ist hier im übrigen auch ganz unverzichtbar, weil man beim besten Willen 50 Millionen Bilder nicht manuell annotieren kann, um sie suchbar zu machen. Sie werden vielleicht sagen, Bild ist nicht Kunstgeschichte, aber dagegen ist zu halten, dass jede künstlerische Gattung dem Betrachter in der Kunstgeschichte in der Form des Bildes entgegentritt, wenigstens dort, wo sie als eine Wissenschaft nach Reproduktionen daherkommt. Und bei allen Appellen an unsere Studierenden - und an uns selber -, immer wieder die Originale in den Mittelpunkt zu stellen, ist jener Zugriff der gängige. Paradox und ein wenig überzogen könnte man sogar formulieren: Die Kunstgeschichte ist in dem Moment aufgeblüht, als sie ihre Reproduktionsmedien entdeckte - in einem ersten Schub mit der Druckgraphik seit dem 16., dann verstärkt mit der Erfindung der Photographie seit dem 19. Jahrhundert. Dafür, dass in der Kunstgeschichte bzw. den Bildwissenschaften das Interesse an den digitalen Medien erst relativ spät (wieder)erwachte, gibt es im übrigen natürlich auch technische Gründe. Konnte Vaughan seine revolutionäre Methode noch kaum in der Praxis testen, weil es, unter anderem aufgrund des mangelnden Speicherplatzes, keine großen bildlichen Datenmengen gab, auf die er sein Verfahren hätte anwenden können, ist dieser Hinderungsgrund heute praktisch weggefallen, obwohl das konkrete Rechnen mit Bilddaten immer noch sehr aufwändig ist. Immerhin muss man sich ja klar machen, dass selbst ein einziges, nur mittelmäßig aufgelöstes Bild, also etwa eines, das qualitativ dem alten Kleinbild-Diapositiv entspricht, leicht eine Dateigröße erreichen kann, die den Umfang von einem Dutzend Büchern erreicht. Demzufolge gibt es heute hunderte von Bilddatenbanken, vielfach auch solche musealen Ursprungs, die Zehntausende bis Millionen Bilddatensätze enthalten. In jedem Fall wird es sich als lohnend erweisen, das abbildende Bild gegenüber dem symbolisierenden Wort stärker in den Vordergrund zu rücken, was im übrigen nicht heißen soll, dass nicht auch Bilder symbolisieren können. In erster Linie aber muss es darum gehen, das Bild auch institutionell wenigstens ansatzweise so in den Digital Humanities zu verankern, wie das den Sprach- und Literaturwissenschaften längst gelungen ist. Denn so traurig das aus anderer Perspektive gesehen auch sein mag: Ein Forschungsgebiet, das keine institutionelle Fundierung besitzt, ist praktisch nicht vorhanden. Und wenn ich mir diese kleine Unverschämtheit hier auch noch erlauben darf: Digital Humanities ist nicht Medientheorie. Eine Berufungskommission, die eine digital humanities Professur besetzen soll, wird sich nicht mit Bewerbern abgeben, die reine Theorieproduzenten sind. Ein wenig programmieren werden sie wohl auch können müssen.

III

Selbst wenn es gemäß der provokant formulierten Bestimmung von Claus Pias „das digitale Bild“ im eigentlichen Sinn „nicht gibt“, lässt sich dieses gleichwohl als ein auf der Grundlage eines digitalen Codes generiertes bildhaftes Phänomen mit konkreten Eigenschaften näherungsweise beschreiben. Dabei stechen in meinen Augen drei grundlegende Eigenschaften hervor

- Erstens seine Granularität: Das digitale Bild ist im Unterschied zum analogen in seiner Binnenorganisation als Ansammlung von Pixeln adressierbar, wobei deren Granularität nur von der Auflösung des aufnehmenden und des wiedergebenden Gerätes abhängt. Das bedingt ein grundlegend verändertes Verhältnis von wissenschaftlich-analytischem Text und dem zu analysierenden Gegenstand, also dem Bild. Entspricht das Bild sogar noch in der deutlich aus der analogen Vorgeschichte konzipierten relationalen Datenbank einer untergeordneten Beigabe zum schriftlich verfassten Textdatensatz, so wird es als digitales autonomisiert und damit nicht mehr nur sprachlich beschreib-, sondern benennbar. Festgestellt wird hier, dass sich unter diesen Bedingungen das Bildnerische vom Textlichen befreit, dort etwa, wo es sich semantischen Bestimmungen entzieht und zum schlichten Farbverlauf wird. Radikale, häufig aus der Kittler-Schule stammende Vertreter einer digitalen Medientheorie (und da wäre unter anderem auch der eben schon zitierte Claus Pias erneut aufzurufen) münzen dies in die These aus, die Historizität des Bildes sei eine Markierung, die an Sprache gebunden sei und die in der Ordnung des Digitalen wegfalle. Zu fragen ist hier aber vor allem, in welchem Verhältnis Form und Inhalt stehen und ob dem formalen Farbverlauf sekundär, also im Zusammenspiel mit anderen Kennzahlen wieder (historischer) Sinn zuzuweisen ist.

- Zweitens seine Manipulierbarkeit: Das digitale Bild ist in einer spezifischen Weise veränderbar: Es ist verfälschbar und optimierbar, und zwar so, dass es auf der Oberfläche keine leicht nachweisbaren Spur hinterlässt. Lebensweltlich hat dies weithin spürbare, die Grundfesten gesellschaftlichen und politischen Lebens erschütternde Konsequenzen, die auch künstlerisch reflektiert werden. Stichwort fakenews. Bildpraktisch wandelt es das Visuelle vom Abbildlichen mehr und mehr hin zum Konstruierten, wenn nicht zur Simulation. Dies gilt selbst dann, wenn auch die Abbildlichkeit des Analogen nicht als schlichte Kopie der Realität zu verstehen ist, sondern medienarchäologisch genauso als ein Vermittelndes, eben Mediales, zu gelten hat. Der (kultur)wissenschaftlichen Arbeitsweise kommt die Manipulierbarkeit dadurch entgegen, dass sie das digitale Bild zu einem experimentellen Medium macht, das vielfältig rekonfigurierbar ist, vergangene Zustände restituieren, nicht mehr vorhandene wieder sichtbar machen, eventuell auch zukünftige präformieren, vorahmen kann. Auch dies würde ich übrigens nicht als schlichten Bruch sehen, sondern eher als verschärfende Fortsetzung des Reproduktionsprinzips. Meine nicht übermäßig originelle These war ja eben schon, dass die Rekonfigurierbarkeit der Reproduktion immer schon Voraussetzung für die Kunstgeschichte als Wissenschaft war. Es bestätigt sich hier erneut die dramatisch vorgetragene Behauptung Foucaults, dass man „den Diskurs als eine Gewalt begreifen (muss), die wir den Dingen antun.“

- Drittens seine Ubiquität: Der digitale Bildcode ist augenblicklich, weltweit und gleichzeitig an unterschiedliche Adressaten zu verbreiten, was nicht nur für dessen Wirkmacht von Bedeutung ist, sondern auch für seine wissenschaftliche Verwendbarkeit. Zu fragen ist hier einerseits nach der viralen Verbreitung von Bildern, wie sie wiederum selber in Kunstprojekten manifest wird und die im Erfolgsfall dem Bild den Charakter eines „Memes“ verleihen. Andererseits steht hier das in einem Wandel begriffene Verhältnis von Laien- und Expertentum auf dem Prüfstand, da auch Bilder Gegenstand von delokalisierten wie zahlenmäßig umfangreichen Bearbeitenden werden können (Stichwort Crowdsourcing). Dass mehrere Forschende an verschiedenen Stellen der Welt über Datenbrillen zusammen in einem virtualisierten Gebäude diskutieren, ist keine Zukunftsvision mehr und hat möglicherweise Konsequenzen für die Spezifik des Forschungsdesigns.

Alle drei genannten Eigenschaften, die Granularität, die Manipulierbarkeit und die Ubiquität haben Einfluss auf die Rolle des digitalen Bildes im allgemeinen, vor allem aber auch in der Kunstgeschichte. Das gilt zum Beispiel für einen mir wichtig erscheinenden Bereich, den der Ähnlichkeitsbestimmung von Bildern, wie wir ihn auch schon in dem erwähnten Projekt der Bayerischen Staatsbibliothek angetroffen haben. Da das Verfahren im übrigen für die hier zu diskutierende Problematik in meinen Augen in hohem Maße signifikant ist, möchte ich es in meinem Vortrag in den Mittelpunkt stellen. Alternativ zur an der BSB praktizierten direkten Bildadressierung läßt sich Ähnlichkeit auch auf der Grundlage von Metadaten bestimmen, dazu gleich mehr. Zuerst vielleicht etwas zu dem Begriff der Ähnlichkeit selber.

Aussagen über Ähnlichkeits- und Unähnlichkeitsverhältnisse werden z.B. in einem klassischen Feld der kunsthistorischen Methodologie getroffen, dem des Vergleichenden Sehens. Heinrich Wölfflin diente dieses 1915 in seinem extrem einflussreichen Buch über die Kunstgeschichtlichen Grundbegriffe zu einer objektorientierten Neukonstituierung des Faches, indem er Renaissance- und Barockstil jeweils vergleichend nebeneinander stellte. Die eine Stilstufe fand dabei ihre Identität gerade im Gegensatz zu der anderen, wurde von Wölfflin also gerade im Vergleich mit dem Konträren konstituiert. Wissenschaftstheoretisch ist die Ähnlichkeitsbestimmung nach einer berühmten Diskussion in Foucaults Les mots et les choses eigentlich eine Qualität der vormodernen Episteme, insofern Ähnlichkeit eine Eigenschaft der in sich stimmigen Welt darstellte. Neuere wissenschaftsgeschichtliche Ansätze betonen aber, dass auch in der Moderne das Auffinden von Ähnlichkeiten zu den Kernprozeduren auch der Naturwissenschaften gehört. In einem eher populärwissenschaftlich geprägten Buch des amerikanischen Kultautors Douglas Hofstadter (Gödel, Escher, Bach) wird die Analogiebildung als „Herz des Denkens“ definiert - Analogie und Ähnlichkeit ist ja begrifflich affin, wenn es jetzt nicht komplett verwirren würde, müsste ich sagen, die Konzepte ähneln sich. Und auch wenn die neuere Philosophie Ähnlichkeit und Analogie zugunsten von Identität und Differenz eher vernachlässigt, haben die anticartesianischen Akzente der Postmoderne hier doch für eine gewisse Rehabilitation gesorgt. Die Faszination des Ähnlichen ist seine Ungreifbarkeit. Sie ist nicht ganz das Gleiche, aber auch nicht ganz das Andere. Sie ist etwas irgendwo dazwischen. Wenn wir die Geisteswissenschaften im Unterschied zu den Naturwissenschaften als Disziplinen bestimmen, die es mit Uneindeutigkeit, Grauwerten und Paradoxien zu tun haben, dann verorten wir uns eben „irgendwo dazwischen“. Das heißt übrigens nicht, dass die Naturwissenschaften es nicht auch mit diesen Werten zu tun hätten, aber immerhin doch, dass diese sie eher minimieren wollen.

 

Um zum Digitalen zurückzukommen, gebe ich Ihnen zwei Beispiele für die gegensätzlichen Herangehensweisen einmal der pixelbasierten, das andere Mal der Metadaten-basierten Ähnlichkeitsbestimmung. In der Anwendung der BSB steht die direkte Bildadressierung im Vordergrund. Wie Sie sehen, können die Ergebnisse in diesem Feld gut sein, müssen es aber nicht. Auf der Abbildung sehen wir eine gelungene Recherche und eine, die zum Kopfschütteln veranlasst. Oben das positive Beispiel, das auf eine Anfrage mit einem Brustbild lauter weitere Brustbilder ausgibt, unten dagegen ein Reiter auf einem Pferd, dessen Komplementbilder zwar untereinander zuweilen ausgesprochen ähnlich aussehen, aber keine wie auch immer geartete Nähe zum Ausgangsbild aufweisen. Die mir nur sehr oberflächlich verständliche Technik dahinter beruht auf Farb- und Kantenanalysen, zur Steigerung der Geschwindigkeit werden die Bilder in nur 96 Byte große sogenannte Deskriptoren umgerechnet, die über ein Distanzmaß auf ihre Ähnlichkeit hin befragt werden. Ich kann Ihnen nicht sagen, warum es bei den Porträts klappt, bei dem Reiter aber nicht. Vielleicht ist ein graphisches Porträt die bildnerisch einfachere Gestalt. Und eventuell ist schon diese Frage einschließlich ihrer Weiterungen das Problem einer zukünftigen digitalen Kunst- oder Bildgeschichte.

 

Nun zur Metadaten-Analyse. Da kann ich auf eine eigene Unternehmung zurückgreifen, die in Zusammenarbeit mit der LMU-Informatik (Prof.Dr. F. Bry) entstanden ist. Vor 10 Jahren, intensiver dann ab 2010 haben wir damit begonnen, im Rahmen einer crowdsourcing-Anwendung, genannt artigo, Annotationsdaten zu Bildern zu sammeln. Vor kurzem haben wir die Zahl 10.000.000 erreicht, zu den 50.000 Bildern gibt es also inzwischen durchschnittlich jeweils 200 Bildbeschreibungsdaten. Erzeugt wurden sie von mehreren Zehntausend Mitspielern in unterschiedlichen Spiellogiken. Wenn man genauer hinsieht, haben die sich aber in einem typischen long tail betätigt, also einige Hundert von ihnen haben für den Großteil der Annotationen gesorgt. Mit diesen Annotationen kann man nach Bildern suchen und erhält z.B. folgende Werkgruppe (Ausschnitt aus ingesamt über 200 Bildern), wenn man nach „Napoleon“ sucht. Weniger interessant in bestimmter Hinsicht, wenn auch die Effektivität des Verfahrens belegend, sind dabei die Bilder, die tatsächlich eine Abbildung Napoleons beinhalten als vielmehr die falschen. Z.B. diejenigen, die Männer mit der Hand in der Weste zeigen, die ansonsten überhaupt nicht wie Napoleon aussehen, aber belegen, dass dieser Gestus offenbar für ein eindeutiges Merkmal eines Napoleon gehalten wird.

 

Behandeln wir die Datenbank als big data, dann können wir die Annotationen auch für die Ähnlichkeitsbestimmung verwenden. Zu diesem Zweck hat eine Mitarbeiterin von mir, die Informatikerin und Statistikerin Stefanie Schneider, im Rahmen unserers dhvlab ein Analyse-Zentrum entwickelt, in dem sie auf der Basis des open source Statistik-Programms R unterschiedliche Formen von Ähnlichkeiten zwischen Bildkunstwerken messen kann. Das dhvlab, hier nur in Parenthese, ist eine Umgebung, mit der es ermöglicht wird, digital gestützte Seminare in der cloud abzuhalten, also insbesondere ohne Sorge um vergleichbare digitale Voraussetzungen bei den Teilnehmern, die z.B. aus unterschiedlichen Software-Umgebungen resultieren. Bei dieser Ähnlichkeitsanalyse werden die in artigo für Kunstwerke vergebenen tags in Vektoren umgerechnet, die eine bestimmte Richtung haben und in ihrer Summe mit denen von anderen Kunstwerken verglichen, so dass sich deren Nähe oder Ferne ergibt.

 

 

Auch hier zeige ich Ihnen einige Ergebnisse. Während bei der direkten Bildadressierung radikal formalistisch vorgegangen und ein pixelbasierter Vergleich vorgenommen wird, ist artigo eher ikonographisch orientiert. Das hat mit der einfachen Tatsache zu tun, dass die Mitspieler gewöhnlich eher in Bildern dargestellte Gegenstände annotieren, als dass sie die Form benennen würden, in der dies passiert. Die Resultate sind auch hier sehr unterschiedlich, manches ist unverständlich, anderes überzeugt. Grundsätzlich kann ich einzelne Bilder vergleichen oder Künstler. Gerade letzteres ist unbefriedigend, was aber wohl vor allem mit der sehr ungleichmäßig verteilten Vollständigkeit der Erfassung dieser Künstler zu tun hat. Dabei muss ich insgesamt betonen, dass die zugrundeliegende Bilddatenbank einen Schwerpunkt im 18. und 19. Jahrhundert hat, also von einem massiven bias betroffen ist. Bei Bildvergleichen ist es besser. So ist doch erwähnenswert, dass z.B. bei der Ähnlichkeitsanalyse auf Basis eines Bildes von Gauguin alle vorne gerankten ebenfalls von diesem Maler stammen oder doch von einem ihm auch historisch nahen. Die Ergebnisse variieren allerdings nach den verwendeten mathematischen Methoden und Gewichtungen, ohne dass man immer sagen könnte, welche besser geeignet ist als welche andere. Mag sein, dass man das über umfangreiche empirische Untersuchungen je nach Bildfall näher bestimmen kann, aber sicher ist das keinesfalls. In dem hier gezeigten Fall – Gauguins „Anna die Javanerin“ von 1893 - scheinen sich besser und schlechter geeignete Verfahren herauszukristallisieren. Bei der binären Projektion ohne Gewichtung sind drei der 10 ähnlichsten Bilder ebenfalls von Gauguin - was ich hier für ein Anzeichen der Legitimität des Vergleiches halte - die meisten anderen sind historisch wenigstens nicht so weit weg. Ähnliches gilt für die normalisierte Suchwortdichte ohne Gewichtung, wobei hier auch noch der historische outlier wegfällt. Bei normalisierter Suchwortdichte in Kombination mit Entropie sind schon fünf der zehn ähnlichsten von Gauguin. Am besten schneidet die normalisierte Suchwortdichte zusammen mit der inversen Dokumenthäufigkeit ab: Hier sind außer der ähnlichsten (Corinth) alle anderen von Gauguin selber. Man wird allerdings fragen müssen, was in diesem Zusammenhang schon gutes und schlechtes Ergebnis heißt. Gemessen habe ich das an meinen Erwartungen, und hier würde Pias wohl einwenden, dass diese Erwartungen historisch bestimmt sind und von der elektronischen Analyse eben gerade nicht bedient werden. Das gilt in seinen Augen weniger bei der zuletzt thematisierten Metadatenanalyse, aber sicherlich bei der direkten Bildadressierung. Hinzufügen möchte ich allerdings, dass das Verfahren immerhin die Weisheit der Menge belegt, die man in jedem Fall für die Filterung von großen Bildmengen verwenden kann. Das Gleiche gilt übrigens für ein Alternativverfahren, das unter dem Rubrum des „unsupervised learning“ läuft. Hierbei überlässt man es dem Rechner, die ihm vorliegenden Annotationsdaten zu einer eigenständigen Clusterung der gesamten Bildmenge zu verwenden. Die dabei entstehenden Gruppen entsprechen klassischen Gattungseinteilungen, gehen darüber an manchen Stellen aber auch hinaus und generieren Zuordnungen, die sinnvoll scheinen, obwohl sie überraschende Einteilungen vornehmen. So gesehen stellt sich hier das Ergebnis ähnlich dar wie bei der Werkähnlichkeitsanalyse. Einerseits kann die Erwartbarkeit der Ergebnisse, die aus der Passgenauigkeit in traditionelle Kriterien resultiert, die Legitimität der Verfahrensweise bestätigen. Andererseits wäre auch zu überlegen, ob nicht gerade die unerwarteten Ergebnisse die wertvolleren sind, weil sie auf Objekte verweisen, die über das Geläufige hinausgehen und gerade deshalb innovativ wirken.

 

 

 

 

 

 

Wofür soll das Ganze gut sein? Mir selber gefällt es so gut, weil es exakt den Bedingungen gehorcht, die ich an fruchtbare Verfahrensweisen der Digital Humanities stelle. Diese nämlich scheinen mir vor allem dort zu hermeneutischen Ansätzen zu passen, wie sie in den Geisteswissenschaften dominieren, wo man sie als Empfehlungen, als Fingerzeige, als Hinweis auf erklärungsbedürftige Stellen verwenden kann. Das zerstört einerseits nicht die Autonomie geisteswissenschaftlichen Procederes, andererseits integriert es sinnvoll quantifizierende Verfahren in unsere Sphären, ohne dass wir als Geisteswissenschaftler nun selber unsere Identität aufgeben müssten. Bei der hier vorgestellten Ähnlichkeitsanalyse heißt das, dass dem Forscher und der Forscherin Vergleichsmaterial zur Verfügung gestellt wird, das im Sinne der kurz eingeführten Epistemologie der Ähnlichkeit Erkenntnisprozesse auslösen kann. Die Vergleichsexemplare müssten dabei, wenn sie diese Prozesse auslösen sollen, einerseits hinreichend ähnlich sein, um Ausgangspunkt zu sein, aber auch hinreichend unähnlich, um die Grenzen des Bekannten zu überwinden. Bildlich gesprochen wären zwei Kabel, durch die der Strom fließt, so nahe aneinander zu halten, dass der Funken überspringt. Entscheidend dabei ist, dass eben dieser Punkt nicht geregelt erreicht werden kann, sondern dass in ihm der Zufall eine Rolle spielt. Das scheint mir eine Menge mit dem zu tun zu haben, was seit Horace Walpoles berühmter Aussage unter dem Schlagwort der serendipity läuft. Aus systematischen Gründen kann die serendipity nicht erzwungen werden, aber man kann ihr immer neue Nahrung geben, indem man ihr Material zuführt, das - um im genannten Bild zu bleiben - die Funken sprühen lässt. Eben dies geschieht in einem Analysezentrum wie dem geschilderten, in dem wir zuletzt auch noch begonnen haben, direkte Bildadressierungsalgorithmen wie das vorhin genannte Morelli zur Verfügung zu stellen. In einem iterativen Vorgehen müssten die verschiedenen mathematischen Verfahrensweisen durchgegangen und unterschiedlich gewichtete Kombinationen von Metadaten- und Pixelanalysen appliziert werden, um dem Forscher die Gegenstände zur Verfügung zu stellen, die ihn eventuell weiterbringen. Das Entscheidende dabei ist die Offenheit der Vorgehensweise, die sichere Ergebnisse ausschließt. Aber so wie ich das gelernt habe, ist dies ein Charakteristikum der Wissenschaften allgemein.

Übrigens lassen sich solche Ähnlichkeitsbestimmungen natürlich nicht nur für Bilder, sondern auch für Texte durchführen. Die genannte Frau Schneider hat das ebenfalls probiert und sich dabei von der bekannten Plagiatssoftware anregen lassen. Das klingt destruktiv, aber so etwas kann eben auch in diesem Feld durchaus produktiv genutzt werden. Zwischen einer 100% Ähnlichkeit = Identität und 0% Ähnlichkeit = maximale Unähnlichkeit lassen sich Zwischenstufen definieren, deren Nützlichkeit empirisch zu erschließen wäre. Ich habe mich aus lauter Verzweiflung, weil mir zu dem angefragten Thema nichts mehr einfiel, mal selber abgeschrieben und drumherum nur ein paar dem Anlass entsprechende Sätze eingefügt. Dabei kam 85 % Ähnlichkeit heraus. Wenig überraschend ist 85% übrigens auch der Wert, der bei Bildern in einer artigo-Analyse darauf hinweist, dass es sich um dasselbe Bild, nur eben in einer anderen Reproduktion handelt. Aber mir geht es eben nicht um Plagiatfeststellung, sondern um die Identifikation von Texten, die – wie eben bei den Bildern beschrieben – hinreichend ähnlich, aber auch ausreichend unähnlich sind, um den Funken überspringen zu lassen. Das sind vielleicht 50 oder 60%. Mir scheint, dass so etwas z.B. für Repositorien mit maschinenlesbaren Volltexten durchaus nützlich ist, weil es dem Interessierten Anregungen zur Lektüre gibt, die das eigene Interesse bedienen, aber gleichzeitig über es hinausgehen.

IV

Wenn man genauer hinsieht, spielt die Ähnlichkeit auch in anderen Ansätzen der digitalen Bildanalyse eine wichtige Rolle, so wie sie nach Douglas Hofstadter ja allgemein das „Herz unseres Denkens“ darstellt. Um mal ein wenig Glamour in den Vortrag zu bringen, zeige ich Ihnen einen Ausschnitt aus einem 2016 gehaltenen Ted Talk (ab Minute 10:30 bis ca. 12) von Amid Sood, dem Direktor von googles Cultural Institute and Art Project. Das lohnt sich, auch wenn es Ihnen vielleicht ein wenig komisch vorkommt, dass ich jetzt in einem Vortrag einen Vortrag vorführe. Kurz zur Erinnerung: Das google Cultural Institute ist vor allem dadurch hervorgetreten, dass es die Bestände von berühmten Museen in extrem hochauflösenden Reproduktionen zur Verfügung stellt.

Ich bin gerade dabei, ein Buch über die Anwendungen des Digitalen im Museum zu schreiben und würde voll und ganz bestätigen, dass dies eine hervorragende Art ist, Kinder und Jugendliche nicht nur in schulischen Zwangsveranstaltungen ins Museum zu lotsen, sondern sie dazu zu bringen, schon vor der Einlasszeit ungeduldig am Eingang zu warten. Mit einer Anwendung wie der von Sood demonstrierten funktioniert das in jedem Fall, obwohl man sich noch überlegen müsste, wie man sie sinnvoll mit den Originalen im Museum in Verbindung setzt. Aber vor allem glaube ich, dass man das Potential für solche radikal vom Bild ausgehenden Zugangsweisen auch in der kunsthistorischen Wissenschaft ausloten könnte. Nehmen Sie dafür erstens dieses Porträtspiel nur als Beispiel für alle möglichen Ansätze und überlegen Sie, wie man die Angelegenheit über Verschaltung mit Metadatenkatalogen historisieren könnte. Dass das strenge Profil eine antike und frühneuzeitliche Konjunktur kannte, ist bekannt, aber wer weiß, ob solches „bildnerisches big data“ nicht auch andere Korrelationen kennt, sowohl in zeitlicher als auch in räumlicher Hinsicht. Dabei beruht die ganze Logik dieses Poträtspiels auf einer Ähnlichkeitsfeststellung.

Das Gleiche gilt auch für Bemühungen der Informatiker, über deep learning-Methoden, die man dem Bereich der künstlichen Intelligenz zuzählen kann, Stil- bzw. Gattungszugehörigkeit von Kunstwerken und deren Autorschaft zu automatisieren. Ein Ansatz, der zuletzt auch in der Kunstgeschichte registriert wurde, ist der der beiden Rutgers-Mitarbeiter Babak Saleh und Ahmed Elgammal, die über einen Fundus von ca. 80.000 Kunstbildern verfügten, den sie aus wikiart bezogen. Auf der Basis von low level und high level features dieser Bilder gelangen ihnen erstaunliche Ergebnisse im Hinblick auf Zuordnung zu Stil, Bildthema und Künstler-Benennung. Mit low level features sind etwa Textur und Farbhistogramm gemeint, high level adressiert vor allem Objekte im Bild. Immer geht es um die Herausarbeitungen von Ähnlichkeiten, die die Zuordnung bestimmen, und wenn ihre Kollegen Li, Yao, Hendriks und Wang „rhythmische Pinselstriche“ als Unterscheidungsmerkmal für originale van Goghs identifizieren, so geht es dabei ebenfalls um die Identifikation von ähnlichen Eigenheiten.

Mit der Fälschungsbestimmung bin ich schlussendlich bei einem für das Image und das Selbstbewusstsein der klassischen Kunstgeschichte bedeutsamen Punkt angekommen. Gerade im Kunsthandel spielt das unterscheidende Auge des Connaisseurs weiterhin eine wichtige Rolle, auch wenn es in der akademischen Kunstgeschichte inzwischen weit im Abseits steht. Nichtsdestoweniger bleibt diese kennerschaftliche Dimension für das Image des Faches in der Öffentlichkeit von einiger Bedeutung. Der eben erwähnte Elgammal von der Rutgers Universität in New Jersey hat zuletzt eine Reihe von Zeichnungen von berühmten Vertretern der Kunstgeschichte - Picasso, Schiele, Modigliani, Matisse - mit Fälschungen aus der Hand von extra damit beauftragten Zeitgenossen untersuchen lassen. Und zwar, wie nicht anders zu erwarten, vom Computer. Vorläufer hierbei sind schon im 19. Jahrhundert Kenner wie Morelli, der sich für die Attribution mit großem Erfolg auf nebensächliche Details stützte, weil er gerade dort, wo sich habitualisierte, ja geradezu automatisierte malerische Zugriffe realisierten, besonders große Individualität erkennen zu können glaubte. Zum Einsatz kamen bei Elgammal die erwähnten Techniken, vor allem aber auch Deep Learning Methoden und sogenannte Convolutional Neural Networks. Deep ist das Deep Learning, weil es komplexe Probleme dadurch einer Lösung zuführt, dass es input und output-Ebene durch eine Reihe von hidden layers vermittelt. Dabei wurde vorher ein Trainingssample eingegeben, dessen Ergebnis wir kennen und auf dessen Basis wir die Fehler in den diversen layers minimieren. Das Verfahren lehnt sich an die Funktionsweise des Gehirns an, wo Neuronen, je nachdem, mit welchem sinnlichen Input sie versehen werden, entweder feuern oder nicht feuern und im gelayerten Zusammenspiel mit anderen Transmittern auch schwierige Signalverarbeitungen übernehmen.

Richtig verstehen werde ich das in diesem Leben sowieso nicht mehr, aber wie dem auch sei: Bei Elgammal sind die Ergbnisse erstaunlich. Schon die rechnergestützte Analyse einer einzigen Linie führt zu einer Erkennungsrate von über 70 %, bei Kombination von mehreren Linien bzw. der ganzen Zeichnung kommt er schon auf über 80%, und ich vermute, dass er mit weiteren Forschungen auch über 90% kommen wird. Anstatt nun hinzugehen und der Kunstgeschichte die letzten 10 - bis 30% anheimzustellen - das wäre so, als würde die deutsche Autoindustrie jetzt ihr ausschließliches Heil darin suchen, die letzten 5% Effizienz-Steigerungsmöglichkeiten des Dieselmotors zu erkunden - sollten wir uns auch in der Kunstgeschichte auf die berühmt-berüchtigten disruptiven Prozesse einstellen. Das heißt konkret: Verlagerung des Schwerpunktes weg von allem Feststellendem und Faktographischen hin zu Verständnisprozessen, die nach Auskunft vieler Philosophen grundsätzlich nicht von Computern zu erbringen sind. Wenn der Computer so etwas wie die reine Händescheidung besser machen kann, sollten wir ihn nicht daran hindern, aber danach kommt noch einiges. Das heißt nicht, dass wir uns der reinen Fakteneruierung nicht mehr widmen sollten, aber wir sollten dies mit entschiedenem und gekonntem Einsatz des Digitalen tun. Das ist anspruchsvoll genug. Übrigens wird von fachwissenschaftlicher Seite diesem Vorgehen der Computerwissenschaft gerne vorgehalten, es würde längst obsolete Verfahrensweisen der Kunstgeschichte wieder restituieren. Aber das scheint mir ein Missverständnis bzw. nur dann zutreffend, wenn man sie für das eigentliche Ziel kunstgeschichtlicher Forschung halten würde, was manche Computerwissenschaftler vielleicht tatsächlich tun. Wir Geisteswissenschaftler aber - das wäre mein Appell zum Schluss - müssen in dem vorhin beschriebenen Sinn insistieren, dass die eigentliche Forschung, also Deutungsforschung, erst im Anschluss an solche Quantifizierungen, diese aber dankbar als Anregungen aufnehmend, stattfindet. Hermeneutische Verfahren werden also in keinem Fall überflüssig, der Computer in der Geisteswissenschaft wird somit auf eine Rolle festgelegt, die man im besten Sinne als Hilfswissenschaft beschreiben könnte.

 

0 Comment(s)

Kommentar

Kontakt

Kommentar

Absenden

dahblog.arthistoricum.net und Arbeitskreis Digitale Kunstgeschichte

Die Digitale Kunstgeschichte bloggt ab sofort unter dahblog.arthistoricum.net.
Hier kommen Sie zurück zum Netzwerk des Arbeitskreis Digitale Kunstgeschichte.