"La généalogie des formes dans la perspective du Deep Learning / The genealogy of forms from the perspective of Deep Learning"
Colloque international
"La généalogie des formes dans la perspective du Deep Learning"
Université de Liège, 7-8 novembre 2019
*
DESCRIPTION :
[English version below]
L’apport principal des instruments computationnels utilisés aujourd’hui dans la Digital Art History et, plus généralement, dans les Humanités Numériques consacrées aux questions patrimoniales, est de renouer avec le projet d’une généalogie des formes qui remonte aux noms du mathématicien et biologiste D’Arcy Thompson (1917) et des historiens de l’art Heinrich Wölfflin (1915) et Henri Focillon (1934) — sans oublier la notion de migration des motifs chez Aby Warburg (1924-29). Or, le projet d’une généalogie des formes, malgré des reprises et des intégrations diverses qui sont aujourd’hui valorisées notamment dans le travail de Didi-Huberman (2013), est resté inaccompli en raison de la difficulté de détecter des patterns dans des très grands corpus, venant de musées et de collections dispersées et disparates (tant au niveau des époques que des médiums).
À présent, la numérisation croissante des œuvres d’art, les bases de données disponibles en ligne et le traitement informatique de larges corpus d’images rendent ce projet techniquement réalisable. Plusieurs études aux États-Unis et en Europe engagées dans les approches du Deep Learningutilisant les réseaux de neurones à convolution (Convolutional Neural Networks, CNN) ont démontré leur efficacité dans la reconnaissance visuelle de séries au sein de larges collections de documents visuels en construisant des signatures des objets d’intérêt ou des images dans leur ensemble(Feature Vector Signature). Le Deep Learning (Le Cun 2015) a ainsi démontré sa performance inégalée par rapport aux méthodes des mots visuelsou plus généralement aux méthodes basées sur des extractions de caractéristiques localesdes images. On peut également mentionner les travaux de Lev Manovich (Manovich, Douglass, Zepel 2011) qui ont dressé des analyses de larges collections d’images via des visualisations permettant de faire émerger les trajectoires en diachronie des carrières de plusieurs peintres et de les comparer (Manovich, 2015, 2017 ; Dondero 2017), ainsi que le projet Replica du Digital Humanities Lab de l’EPFL. Replicavise à renouer avec le projet de Focillon (di Lenardo, Seguin, Kaplan 2016) en utilisant les instruments de l’apprentissage profond et notamment en exprimant des requêtes algébriques combinant des exemples positifs et négatifs pour définir les caractéristiques des images recherchées. L’objectif est de faire émerger des motifs et des formes similaires dans des groupes d’images qui n’ont pas encore été mis en relation par les méthodes classiques de l’histoire de l’art et mettre à jour la cartographie des influences croisées.
Si la plupart de ces recherches visent à répondre aux questions soulevées par Focillon dans les années 1930, d’autres poursuivent le travail sur la survivance des motifs et des formes de Warburg (Hristova 2016).
Un nouveau projet, qui associe la Belgique, la France et le Luxembourg, est en train de voir le jour et se donne pour objectif la reprise théorique et méthodologique du programme de recherches sur la généalogie des formes. Il a pour objectif de croiser les recherches dans le domaine des technologies de pointe en data-visualisation avec les travaux en sémiotique qui se sont penchées sur la transmigration des formes (Basso Fossali 2013 ; Basso Fossali 2014 ; Dondero & Klinkenberg 2018-2019) et avec le renouvellement profond des études en histoire de l’art qui renouent avec le formalisme de ses fondateurs tout en le reconnectant à l’étude du sens et en l’ouvrant à une meilleure compréhension du pouvoir des images.
Ces deux journées de colloque visent ainsi à favoriser le dialogue entre historiens de l’art, sémioticiens et informaticiens sur le classement de larges bases de données d’images en comparant les objectifs et les instruments de chaque perspective disciplinaire.
ENG : The main contribution of the computational instruments used today in Digital Art History and, more generally, in the Digital Humanities devoted to heritage issues, is to reconnect with the project of a genealogy of forms that goes back to the mathematician and biologist D'Arcy Thompson (1917) and art historians Heinrich Wölfflin (1915) and Henri Focillon (1934) – and of course the notion of the migration of motifs in the work of Aby Warburg (1924-29). Yet the project of a genealogy of forms, despite various revisions and inclusions that are now taken into consideration, especially in the work of Didi-Huberman (2013), has remained unfinished because of the difficulty of detecting patterns in very large corpora obtained from museums and collections that are both dispersed and disparate (in terms of periods and media).
The increasing digitization of works of art, the availability of databases online and the computer processing of big corpora of images make this project technically feasible. Several studies in the United States and Europe involved in Deep Learning approaches using Convolutional Neural Networks (CNN) have demonstrated their effectiveness in visually recognizing series within large collections of visual documents by building signatures of objects of interest or of images as a whole (Feature Vector Signature). Deep Learning (Le Cun 2015) has thus demonstrated its unparalleled performance compared to visual wordmethods or more generally to methods based on extraction of local image characteristics.
We can also mention the work of Lev Manovich (Manovich, Douglass, Zepel 2011) who analysed large collections of images through visualizations, thus making it possible to highlight the diachronic trajectories of the careers of several painters and to compare them (Manovich, 2015, 2017; Dondero 2017). Another example is the Replica projectof the EPFL Digital Humanities Lab, which aims to reconnect with Focillon's project (di Lenardo, Seguin, Kaplan 2016) by using deep learning tools and, in particular, by expressing algebraic requests combining positive and negative examples to define the characteristics of the images sought. The objective is to reveal similar patterns and forms in groups of images that have not yet been linked by classical art history methods, and to update the mapping of cross influences.
While most of this research aims to answer the questions raised by Focillon in the 1930s, some studies focus on the survival of Warburg patterns and forms (Hristova 2016).
A new project, involving Belgium, France and Luxembourg, is being launched with the aim of taking up the theoretical and methodological aspects of the research programme on the genealogy of forms. The objective is to combine research in the field of advanced data-visualization technologies with semiotics research that has focused on the transmigration of forms (Basso Fossali 2013; Basso Fossali 2014; Dondero & Klinkenberg 2018-2019), and with the profound renewal of art history studies that embrace the formalism of their founders while reconnecting it to the study of meaning and opening it to a better understanding of the power of images.
The aim of this two-day conference is to foster dialogue between art historians, semioticians and computer scientists on the classification of large image databases, based on comparison between the objectives and instruments of each disciplinary perspective.
*
Bibliographie :
Pierluigi Basso Fossali (2013), Il Trittico 1976 di Francis Bacon. Con note sulla semiotica della pittura, Pise, ETS.
Pierluigi Basso Fossali (2014), « Histoire des formes entre diachronie et archéologie », Actes du congrès 2013 de l’Association Française de Sémiotique « Sémiotique et diachronie », [En ligne] URL : http://afsemio.fr/?p=208, repris dans Vers une écologie sémiotique de la culture, Limoges, Lambert-Lucas, pp. 264-276.
George Didi-Huberman (2013), L’album de l’art à l’époque du « Musée imaginaire », Paris, Hazan.
Isabella di Lenardo, Benoit Seguin, & Frédéric Kaplan (2016), « Visual Patterns Discovery in Large Databases of Paintings », Digital Humanities,DH 2016: Krakow, Poland, July 11-16, pp. 169-172. https://infoscience.epfl.ch/record/220638/files/diLenardo-Seguin-Kaplan-DH2016.pdf.
Maria Giulia Dondero (2017), « The Semiotics of Design in Media Visualization: Mereology and Observation Strategies », Information Design Journal, 23/2, pp. 208-218. DOI: https://doi.org/10.1075/idj.23.2.09don. https://www.academia.edu/35306814/The_semiotics_of_design_in_media_visualization._Mereology_and_observation_strategies_Information_Design_Journal_2017_Farias_and_Queiroz_eds_FULL_TEXT.
Maria Giulia Dondero & Jean-Marie Klinkenberg (2018-2019), « Après Greimas. Des tâches pour la sémiotique visuelle », La part de l’œil, n° 32, Dossier « Greimas et la sémiotique de l’image » (Dondero & Klinkenberg dirs), pp. 230-235.
Henri Focillon (1934), « Vie des formes », Vie des formessuivi de Éloge de la main, Paris, Presses Universitaires de France, 1943.
Stefka Hristova (2016), « Images as Data: Cultural Analytics and Aby Warburg’s Mnemosyne », International Journal for Digital Art History – DAH, 2. https://journals.ub.uni-heidelberg.de/index.php/dah/article/view/23489.
Yann Le Cun, Yoshua Bengio & Geoffrey Hinton (2015), “Deep learning”, Nature, vol. 521, pp. 436–444.
Lev Manovich, Jeremy Douglass & Tara Zepel (2011), “How to Compare One Million Images?”, inB. David (dir.), Understanding Digital Humanities, London, Palgrave Macmillan, pp. 249-278. http://softwarestudies.com/cultural_analytics/2011.How_To_Compare_One_Million_Images.pdf
Lev Manovich (2015), “Data Science and Digital Art History”, International Journal for Digital Art History, 1, 13–35.
Lev Manovich (2017), “The Science of Culture? Social Computing, Digital Humanities and Cultural Analytics”, The Datafied Society. Studying Culture through Data, Schäfer & van Es (Eds), AUP.
Aby Warburg (1924-29), L’Atlas mnémosyne, Paris, Éditions Atelier de l’écarquillé, 2012.
Heinrich Wölfflin (1915), Principes fondamentaux de l’histoire de l’art, Éditions Parenthèses 2017.
D’Arcy Thompson (1917), Forme et croissance, trad. de D. Teyssié, Paris, Seuil, 2009.
***
PROGRAMME :
Salle de l’Horloge, le 7 novembre 2019
9h30-9h45 Accueil par les organisateurs
9h45-10h00 Allocution d’ouverture de M. le Prof. Jean Winand,
Premier Vice-Recteur de l’université de Liège
10h00-10h30 Maria Giulia Dondero (FNRS/ULiège)
Introduction
10h30-11h15 Lev Manovich (CUNY / Graduate Center)
Is Genealogy of Forms Possible? (Yes and No)
11h15-11h45 Pause
11h45-12h30 Harald Klinke (LMU)
Similarity, Difference and Gaps in the Visual Arts
Président de séance : Ralph Dekoninck
14h30-15h15 Michela Passini (CNRS)
Plasticité de la vision et généalogie des formes. Les catégories optiques chez Wölfflin, Berenson et Focillon
15h15-16h00 Benoit Seguin (EPFL)
Learning to Track Patterns by Operationalizing Visual Similarity
16h00-16h30 Pause
16h30-17h15 Véronique Adam (Université de Grenoble)
La reconnaissance automatique des images scientifiques médiévales et classiques : le Deep Learning à l'épreuve des formes symboliques
17h15-18h00 Pierre Geurts, Raphael Marée, Mattia Sabatelli (ULiège/ SystMod)
Cytomine, un logiciel libre et générique pour l'analyse collaborative d'images: de la reconnaissance de cellules et de tissus aux œuvres d'art
Salle de l’Horloge, le 8 novembre 2019
Présidente de séance : Maria Giulia Dondero
9h30-10h15 Pierluigi Basso Fossali (Lyon 2 / ICAR)
Systèmes d’exclusion et classes de « synonymie » visuelle
10h15-11h00 Serge Miguet (Lyon 2 / LIRIS)
Visual Recognition : from shape signatures to Deep Learning
11h30-12h15 Gérald Régimbeau (Montpellier 3/ LERASS-CERIC)
Mots et images clés dans la documentation des formes : repères pour une indexologie
Président de séance : Pierluigi Basso Fossali
14h30-15h15 Pierre Leclercq et Vincent Delfosse (ULiège/LUCID)
Le graphe à la croisée des sens
15h15-16h00 David Strivay (ULiège)
Titre à venir
16h00-16h15 Conclusions