Colloque International – La généalogie des formes dans la perspective du Deep Learning

L’apport principal des instruments computationnels utilisés aujourd’hui dans la Digital Art History et, plus généralement, dans les Humanités Numériques consacrées aux questions patrimoniales, est de renouer avec le projet d’une généalogie des formes qui remonte aux noms du mathématicien et biologiste D’Arcy Thompson (1917) et des historiens de l’art Heinrich Wölfflin (1915) et Henri Focillon (1934) — sans oublier la notion de migration des motifs chez Aby Warburg (1924-29). Or, le projet d’une généalogie des formes, malgré des reprises et des intégrations diverses qui sont aujourd’hui valorisées notamment dans le travail de Didi-Huberman (2013), est resté inaccompli en raison de la difficulté de détecter des patterns dans des très grands corpus, venant de musées et de collections dispersées et disparates (tant au niveau des époques que des médiums). 

À présent, la numérisation croissante des œuvres d’art, les bases de données disponibles en ligne et le traitement informatique de larges corpus d’images rendent ce projet techniquement réalisable. Plusieurs études aux États-Unis et en Europe engagées dans les approches du Deep Learningutilisant les réseaux de neurones à convolution (Convolutional Neural Networks, CNN) ont démontré leur efficacité dans la reconnaissance visuelle de séries au sein de larges collections de documents visuels en construisant des signatures des objets d’intérêt ou des images dans leur ensemble(Feature Vector Signature). Le Deep Learning (Le Cun 2015) a ainsi démontré sa performance inégalée par rapport aux méthodes des mots visuelsou plus généralement aux méthodes basées sur des extractions de caractéristiques localesdes images. On peut également mentionner les travaux de Lev Manovich (Manovich, Douglass, Zepel 2011) qui ont dressé des analyses de larges collections d’images via des visualisations permettant de faire émerger les trajectoires en diachronie des carrières de plusieurs peintres et de les comparer (Manovich, 2015, 2017 ; Dondero 2017), ainsi que le projet Replica du Digital Humanities Lab de l’EPFL. Replicavise à renouer avec le projet de Focillon (di Lenardo, Seguin, Kaplan 2016) en utilisant les instruments de l’apprentissage profond et notamment en exprimant des requêtes algébriques combinant des exemples positifs et négatifs pour définir les caractéristiques des images recherchées. L’objectif est de faire émerger des motifs et des formes similaires dans des groupes d’images qui n’ont pas encore été mis en relation par les méthodes classiques de l’histoire de l’art et mettre à jour la cartographie des influences croisées. 

Si la plupart de ces recherches visent à répondre aux questions soulevées par Focillon dans les années 1930, d’autres poursuivent le travail sur la survivance des motifs et des formes de Warburg (Hristova 2016). 

Un nouveau projet, qui associe la Belgique, la France et le Luxembourg, est en train de voir le jour et se donne pour objectif la reprise théorique et méthodologique du programme de recherches sur la généalogie des formes. Il a pour objectif de croiser les recherches dans le domaine des technologies de pointe en data-visualisation avec les travaux en sémiotique qui se sont penchées sur la transmigration des formes (Basso Fossali 2013 ; Basso Fossali 2014 ; Dondero & Klinkenberg 2018-2019) et avec le renouvellement profond des études en histoire de l’art qui renouent avec le formalisme de ses fondateurs tout en le reconnectant à l’étude du sens et en l’ouvrant à une meilleure compréhension du pouvoir des images. 

Ces deux journées de colloque visent ainsi à favoriser le dialogue entre historiens de l’art, sémioticiens et informaticiens sur le classement de larges bases de données d’images en comparant les objectifs et les instruments de chaque perspective disciplinaire.


The main contribution of the computational instruments used today in Digital Art History and, more generally, in the Digital Humanities devoted to heritage issues, is to reconnect with the project of a genealogy of forms that goes back to the mathematician and biologist D'Arcy Thompson (1917) and art historians Heinrich Wölfflin (1915) and Henri Focillon (1934) – and of course the notion of the migration of motifs in the work of Aby Warburg (1924-29). Yet the project of a genealogy of forms, despite various revisions and inclusions that are now taken into consideration, especially in the work of Didi-Huberman (2013), has remained unfinished because of the difficulty of detecting patterns in very large corpora obtained from museums and collections that are both dispersed and disparate (in terms of periods and media).

The increasing digitization of works of art, the availability of databases online and the computer processing of big corpora of images make this project technically feasible. Several studies in the United States and Europe involved in Deep Learning approaches using Convolutional Neural Networks (CNN) have demonstrated their effectiveness in visually recognizing series within large collections of visual documents by building signatures of objects of interest or of images as a whole (Feature Vector Signature). Deep Learning (Le Cun 2015) has thus demonstrated its unparalleled performance compared to visual word methods or more generally to methods based on extraction of local image characteristics.

We can also mention the work of Lev Manovich (Manovich, Douglass, Zepel 2011) who analysed large collections of images through visualizations, thus making it possible to highlight the diachronic trajectories of the careers of several painters and to compare them (Manovich, 2015, 2017; Dondero 2017). Another example is the Replica project of the EPFL Digital Humanities Lab, which aims to reconnect with Focillon's project (di Lenardo, Seguin, Kaplan 2016) by using deep learning tools and, in particular, by expressing algebraic requests combining positive and negative examples to define the characteristics of the images sought. The objective is to reveal similar patterns and forms in groups of images that have not yet been linked by classical art history methods, and to update the mapping of cross influences.

While most of this research aims to answer the questions raised by Focillon in the 1930s, some studies focus on the survival of Warburg patterns and forms (Hristova 2016).: A new project, involving Belgium, France and Luxembourg, is being launched with the aim of taking up the theoretical and methodological aspects of the research programme on the genealogy of forms. The objective is to combine research in the field of advanced data-visualization technologies with semiotics research that has focused on the transmigration of forms (Basso Fossali 2013; Basso Fossali 2014; Dondero & Klinkenberg 2018-2019), and with the profound renewal of art history studies that embrace the formalism of their founders while reconnecting it to the study of meaning and opening it to a better understanding of the power of images.

The aim of this two-day conference is to foster dialogue between art historians, semioticians and computer scientists on the classification of large image databases, based on comparison between the objectives and instruments of each disciplinary perspective.

PROGRAMME

Salle de l'Horloge, le 7 Novembre 2019

9h30-9h45: Accueil par les organisateurs

  • 9h45-10h00: Allocution d'ouverture de M. le Prof. Jean Winand, Premier Vice-Recteur de l'université de Liège
  • 10h00-10h30: Maria Giulia Dondero (FNRS/ULiège) - Introduction
  • 10h30-11h15: Lev Manovich (CUNY / Graduate Center) - Is Genealogy of Forms Possible? (Yes and No)
  • 11h45-12h30: Harald Klinke (LMU) - Similarity, Difference and Gaps in the Visual Arts - Président de séance: Ralph Dekoninck
  • 14h30-15h15: Michela Passini (CNRS): Plasticité de la vision et généalogie des formes. Les catégories optiques chez Wölfflin, Berenson et Focillon
  • 15h15-16h00: Benoit Seguin (EPFL) - Learning to Track Patterns by Operationalizing Visual Similarity
  • 16h30-17h15: Véronique Adam (Université de Grenoble) - La reconnaissance automatique des images scientifiques médiévales et classiques: le Deep Learning à l'épreuve des formes symboliques
  • 17h15-18h00: Pierre Geurts, Raphael Marée, Mattia Sabatelli (ULiège/ SystMod) - Cytomine, un logiciel libre et générique pour l'analyse collaborative d'images: de la reconnaissance de cellules et de tissus aux œuvres d'art

Salle de l'Horloge, le 8 Novembre 2019

Présidente de séance: Maria Giulia Dondero

  • 9h30-10h15: Pierluigi Basso Fossali (Lyon 2 / ICAR) - Systèmes d'exclusion et classes de "synonymie" visuelle
  • 10h15-11h00: Serge Miguet (Lyon 2 / LIRIS) - Visual Recognition: from shape signatures to Deep Learning
  • 11h30-12h15: Gérald Régimbeau (Montpellier 3/ LERASS-CERIC) - Mots et images clés dans la documentation des formes: repères pour une indexologie - Président de séance: Pierluigi Basso Fossali
  • 14h30-15h15: Pierre Leclercq et Vincent Delfosse (ULiège/LUCID) - Le graphe à la croisée des sens
  • 15h15-16h00: David Strivay (ULiège) - Titre à venir

16h00-16h15: Conclusions