Catégorie
Conferences / Workshops
Date de tri

WORKSHOP | "Fondements Mathématiques de l'IA"

Bandeau image
Workshop | "Fondements Mathématiques de l'IA"

WORKSHOP | "Fondements Mathématiques de l'IA"

  • Contexte
  • Programme
  • Events on the same topic

Partager

twlkfbml
Lieu de l'événement
Sorbonne Center for AI (SCAI), 4 place Jussieu, 75005 Paris
Date de l'événement (intitulé)
31 janvier 2024 - 9h à 18h
Chapo
Rendez-vous le 31 janvier prochain dans les locaux de SCAI (Paris), pour la deuxième édition de la journée consacrée aux fondements des mathématiques de l'IA !
Contenu
Ancre
Contexte
Corps de texte

La journée “Fondements Mathématiques de l’IA”, organisée conjointement par l'Institut DATAIA et SCAI, en association avec les sociétés scientifiques : la Fondation Mathématique Jacques Hadamard (FMJH), la Fondation Sciences Mathématiques de Paris-FSMP, le groupe MALIA de la Société Française de Statistique et la Société Savante Francophone d'Apprentissage Machine (SSFAM) vise à proposer un panorama de quelques directions de recherche prometteuses à l’interface entre l’apprentissage statistique et l’IA.

Pour cette nouvelle édition, un focus particulier sera fait sur un domaine "hot topic" à la fois dans la communauté de l’apprentissage et des mathématiques appliquées, les PINNs (Physically Informed Neural Networks). La matinée sera consacrée à des exposés pléniers donnés par des chercheurs renommés et spécialistes du sujet. L’après-midi sera l’opportunité pour de jeunes chercheurs de présenter leurs travaux via des posters ou des exposés courts.


Comité d'organisation

  • Marianne Clausel (Univ. Lorraine)
  • Emilie Chouzenoux (INRIA Saclay, Institut DATAIA)

Comité scientifique

  • Stéphane Chrétien (Univ. Lyon 2)
  • Sylvain Le Corff (Sorbonne Université)
  • Konstantin Usevich (CNRS)
  • Myriam Tami (CentraleSupélec)
Ancre
Programme
Corps de texte
  • 9h-10h | Keynote 1 : Claire Boyer (Sorbonne Université, IUF)
  • 10h-10h45 | Pause café
  • 10h45-12h15 | Short contributive talks

10h45-11h05 : Abdel-Rahim Mezidi - A Bilevel Optimization Framework for Training Bregman Neural Operators

11h15-11h35 : Thi Nguyen - Geometry-aware framework for PINNs-based deep energy method: an application to structural mechanics with hyperelastic materials

11h35-11h55 : Blaise Delatre - From dynamical system perspective on deep learning

11h55-12h15 : Bastien Batardière - Finite-sum optimization: adaptivity to smoothness and loopless variance reduction

  • 12h15-13h45 | Pause déjeuner
  • 13h45-14h45 | Keynote 2 : Emmanuel Franck (INRIA Grand Est)
  • 14h45-15h30 | Pause goûter
  • 15h30-16h30 | Keynote 3 : Tony Silvetti Falls (CVN, CentraleSupélec, Université Paris-Saclay)
  • 16h30-18h | Short contributive talks

16h30-16h50 : Matthieu Terris - Lipschitz neural networks for image restoration

16h50-17h10 : Yuan Yin - Deep Learning for Physical Dynamics: Physics-DL Hybrid Modeling and Continuous Modeling

17h10-17h30 : Sydney Besnard - Simulation-Augmented Physics-Informed Neural Networks for Enhanced Performance in Nonlinear Inverse Problems

17h30-18h : Frédéric Barbaresco - Flot métriplectique des TINN (Thermodynamics-Informed Neural Networks) et apprentissage machine sur les groupes de Lie

Nom de l'accordéon
Keynote 1 : Claire Boyer (Sorbonne Université, IUF)
Texte dans l'accordéon

Titre

Some statistical insights into PINNs

Présentation

Résumé

Les réseaux neuronaux informés par la physique (PINN) combinent l'expressivité des réseaux neuronaux avec l'interprétabilité de la modélisation physique. Leurs bonnes performances pratiques ont été démontrées à la fois dans le contexte de la résolution d'équations différentielles partielles et dans le contexte de la modélisation hybride, qui consiste à combiner un modèle physique imparfait avec des observations bruitées. Cependant, la plupart de leurs propriétés théoriques restent à établir. Nous proposons quelques lignes directrices statistiques pour l'utilisation correcte des PINNs.

Biographie

Claire Boyer est maîtresse de conférences au laboratoire de probabilités, statistique et modélisation de Sorbonne Université, et lauréate junior de l'Institut Universitaire de France. Ses thématiques de recherche s'inscrivent en mathématiques appliquées à l'apprentissage.

Nom de l'accordéon
Keynote 2 : Emmanuel Franck (INRIA Grand Est)
Texte dans l'accordéon

Titre

Représentation neurales implicites et méthodes numériques hybrides

Présentation

Résumé

Depuis quelques années ont émergées plusieurs méthodes pour approcher les solutions d'EDP à l'aide de réseaux de neurones comme les PINNs, la méthode Neural Galerkin, ou les méthodes de réductions d'ordre continues. Dans un premier temps se propose de montrer que ces méthodes peuvent être vues comme de nouvelles méthodes numériques très proches dans l'esprit des méthodes numériques usuelles, mais avec des qualités et des défauts très différents des techniques usuelles. Dans un second temps, on proposera des nouvelles approches qui essayent de combiner les forces de ces méthodes neurales et des méthodes classiques. On illustrera ses approches sur plusieurs exemples.

Biographie

Emmanuel Franck a obtenu son doctorat en Mathématiques appliquées a Sorbonne Université  en 1992. Après 2 ans de post-doctorat au Max Planck de Physique des Plasmas il a rejoint INRIA en 2014 comme chargé de recherche dans l'équipe TONUS. Il a obtenu son HDR en 2023 et maintenant, il est responsable de l'équipe TONUS. Ses recherches actuelles portent sur les méthodes numériques, les modèles réduits et le contrôle optimal pour les équations hyperboliques et cinétiques. Dans ce cadre, il a étudié principalement l'hybridation des approches classiques avec des approches issues de l'apprentissage profond afin d'obtenir des approches plus efficientes avec des garanties.

Nom de l'accordéon
Keynote 3 : Tony Silvetti Falls (CVN, CentraleSupélec, Université Paris-Saclay)
Texte dans l'accordéon

Titre

Differentiating Nonsmooth Solutions to Parametric Monotone Inclusion Problems

Présentation

Résumé

La compréhension de la différentiabilité et de la régularité de la solution d'un problème d'inclusion monotone est une question importante qui a des conséquences pour l'optimisation convexe, l'apprentissage profond avec des couches implicites, et au-delà. Les tentatives passées pour répondre à cette question ont été faites soit sous des hypothèses très restrictives qui assurent que la solution est continuellement différentiable, soit en utilisant des outils mathématiques qui sont incompatibles avec la différentiation automatique. Dans cet exposé, nous expliquons comment tirer parti de la différentiabilité par chemin et d'un résultat récent sur le calcul de différentiation implicite non lisse pour donner des conditions suffisantes garantissant que la solution d'un problème d'inclusion monotone sera différentiable par chemin et fournir des formules pour le calcul de son gradient généralisé. Notre approche est entièrement compatible avec la différenciation automatique et s'accompagne d'hypothèses faciles à vérifier, à savoir la semi-algébricité et la monotonicité forte. Nous illustrons la portée de nos résultats en considérant trois types de problèmes composites fondamentaux : les problèmes fortement convexes, les solutions duales aux problèmes de minimisation convexe et les solutions primales-duales aux problèmes min-max.

Biographie

Antonio (Tony) Silveti-Falls est maître de conférences au laboratoire CVN et au département de mathématiques de CentraleSupélec. Il a obtenu son doctorat en optimisation à l'université de Caen en 2021 et ses recherches portent sur l'optimisation stochastique non lisse à grande échelle et ses applications à l'apprentissage automatique et à l'intelligence artificielle.

Nom de l'accordéon
Short contributive talk: Yuan Yin (UPMC)
Texte dans l'accordéon

Titre

Deep Learning for Physical Dynamics: Physics-DL Hybrid Modeling and Continuous Modeling

Présentation

Résumé

Over recent years, deep learning has emerged as a promising tool for directly modeling complex nonlinear dynamics from data. Despite its potential, challenges persist, including the absence of robust regularization in solutions and limitations in the flexibility of current neural network architectures. This talk will explore two key areas: firstly, the fusion of physical models with deep learning approaches, and secondly, strategies of continuous modeling in space and time for overcoming the discretization constraints found in prevailing convolutional and graph-based dynamic learning models.

Nom de l'accordéon
Short contributive talk: Bastien Batardière (INRAE)
Texte dans l'accordéon

Titre

Finite-sum optimization: adaptivity to smoothness and loopless variance reduction

Présentation

Résumé

For finite-sum optimization, variance-reduced gradient methods (VR) compute at each iteration the gradient of a single function (or of a mini-batch), and yet achieve faster convergence than SGD thanks to a carefully crafted lower-variance stochastic gradient estimator that reuses past gradients. Another important line of research of the past decade in continuous optimization is the adaptive algorithms such as AdaGrad, that dynamically adjust the (possibly coordinate-wise) learning rate to past gradients and thereby adapt to the geometry of the objective function. Variants such as RMSprop and Adam demonstrate outstanding practical performance that have contributed to the success of deep learning. In this work, we present AdaVR, which combines the AdaGrad algorithm with variance-reduced gradient estimators such as SAGA or L-SVRG. We assess that AdaVR inherits both good convergence properties from VR methods and the adaptive nature of AdaGrad: in the case of $L$-smooth convex functions we establish a gradient complexity of $O(n+(L+\sqrt{nL})/\varepsilon)$ without prior knowledge of $L$. Numerical experiments demonstrate the superiority of AdaVR over state-of-the-art methods. Moreover, we empirically show that the RMSprop and Adam algorithm combined with variance-reduced gradients estimators achieve even faster convergence.

Nom de l'accordéon
Short contributive talk: Matthieu Terris (INRIA)
Texte dans l'accordéon

Titre

Lipschitz neural networks for image restoration

Présentation

Résumé

Plug-and-play algorithms constitute a popular framework for solving inverse imaging problems that rely on the implicit definition of an image prior via a denoiser. These algorithms can leverage powerful neural networks trained as denoisers to solve a wide range of imaging tasks, circumventing the necessity to train models on a per-task basis. However, plug-and-play methods often show unstable behaviors, hampering their promise of versatility and leading to suboptimal quality of reconstructed images. In this talk, we investigate how to stabilize these algorithms through Lipschitz constraints in the denoiser. This presentation builds on [1,2,3].

[1] Building Firmly Nonexpansive Convolutional Neural Networks, Matthieu Terris, Audrey Repetti, Jean-Christophe Pesquet, Yves Wiaux ICASSP 2020
[2] Learning Maximally Monotone Operators for Image Recovery, Jean-Christophe Pesquet, Audrey Repetti, Matthieu Terris, Yves Wiaux SIAM Journal on Imaging Sciences, 2021
[3] Equivariant plug-and-play image reconstruction, Matthieu Terris, Thomas Moreau, Nelly Pustelnik, Julian Tachella, arxiv preprint, 2023

Nom de l'accordéon
Short contributive talk: Sidney Besnard (Greyc unicaen, SAFRAN data systems)
Texte dans l'accordéon

Titre

Simulation-Augmented Physics-Informed Neural Networks for Enhanced Performance in Nonlinear Inverse Problems

Résumé

This paper introduces a novel approach to addressing inverse problems using deep learning techniques. The objective is to determine the internal parameters of a physical system from observed data, where the underlying forward model exhibits highly non-linear behavior. Importantly, the dimensionality of the internal parameters is significantly smaller than that of the observations. The proposed method combines Physics-Informed Neural Networks (PINNs) with a hybrid loss function that integrates observation-only data and simulated data generated by the known physical model. It enables supervised learning by providing pairs of observations and corresponding parameters from the simulated data. Experimental results demonstrate that our Simulation-Driven Physics-Informed Neural Networks outperform traditional PINNs, offering improved accuracy and robustness. The proposed methodology provides a promising solution for effectively solving non-linear inverse problems with a reduced parameter space through the integration of physics-based modeling and data-driven techniques.

Co-auteurs : Frederic JURIE, Jalal FADILI 

Nom de l'accordéon
Short contributive talk: Thi Nguyen Khoa Nguyen (ENS Paris-Saclay)
Texte dans l'accordéon

Titre

Geometry-aware framework for PINNs-based deep energy method: an application to structural mechanics with hyperelastic materials

Résumé

Physics-Informed Neural Networks (PINNs) have gained significant attention in various engineering fields thanks to their ability to incorporate physical laws into the models. Recently, geometry-aware models (GAPINNs) proposed to integrate geometric information into the model using the strong formulation of the physical systems underlying equations. However, the assessment of PINNs in problems involving different geometries remains an ongoing area of research. In this work, we introduce a novel physics-informed framework named the Geometry-Aware Deep Energy Method (GADEM) which uses a weak form of the physical system equations and aims to infer the solution on different shapes of geometries. We investigate different ways to represent the geometric information (using either spatial coordinates of the boundaries or images), and to encode the geometric latent vectors (such as explicit parametric encoding, linear dimensionality reduction (PCA), and non-linear algorithm (VAE)). The loss function minimizes the potential energy of all considered geometries. An adaptive learning method is employed for the sampling of unsupervised points to enhance the performance of GADEM [1]. We present several applications of GADEM to solve solid mechanics problems involving hyperelastic materials. The numerical results of this work demonstrate the capability of GADEM to infer the solution on various shapes of geometries using only one trained model.

[1] Nguyen, T.N.K., Dairay, T., Meunier, R., Millet, C. and Mougeot, M., 2023, June. Fixed-Budget Online Adaptive Learning for Physics-Informed Neural Networks. Towards Parameterized Problem Inference. In International Conference on Computational Science (pp. 453-468). Cham: Springer Nature Switzerland.

(1)Centre Borelli, ENS Paris Saclay, (2) Michelin, (3) CEA DAM-DIF, (4) ENSIIE 

Authors: Thi Nguyen Khoa Nguyen (1,2,3), Thibault Dairay (1,2), Raphaël Meunier (2), Christophe Millet (1,3), Mathilde Mougeot (1,4)

Nom de l'accordéon
Short contributive talk: Abdel-Rahim Mezidi (Université Jean Monnet Saint-Etienne, CNRS, IOGS, Inria, Laboratoire Hubert Curien)
Texte dans l'accordéon

Titre

A Bilevel Optimization Framework for Training Bregman Neural Operators

Présentation

Résumé

This paper extends the framework originally designed for nonlinear data mappings by neural networks to functional mappings by neural operators. More precisely, we show that training a neural operator can be seen as a multilayered bilevel optimization problem. On the one hand, the choice of each lower-level layer loss impacts the architecture of each layer of the neural operator. On the other hand, the upper-level problem tailors the layers' parameters for the task at hand. By leveraging this perspective, we investigate different lower-level losses, each involving a data fidelity term, a prescribed regularizer, linear terms, and a unitary operator. For a quadratic fidelity term, we show that we recover most classical neural operators (e.g., Fourier neural operator) depending on the choice of the unitary operator (e.g., Fourier transformation). Conversely, by substituting the fidelity term with a Bregman divergence, we introduce their Bregman counterparts, incorporating an additional skip connection. Ultimately, we showcase how this bilevel optimization viewpoint can give rise to novel operator layers, wherein the activation operator is applied within the range of the unitary operator instead. Numerical experiments support the added benefits of the proposed architecture for training deeper and more accurate - possibly physics-informed - models.

Nom de l'accordéon
Short contributive talk: Frédéric Barbaresco (Thalès, Segment Leader SMART SENSORS)
Texte dans l'accordéon

Titre

Flot métriplectique des TINN (Thermodynamics-Informed Neural Networks) et apprentissage machine sur les groupes de Lie

Présentation

Résumé

Dans une 1ère partie, nous présenterons le thème "Apprentissage statistique sur les groupes de Lie" [1,2] qui étend les statistiques et l'apprentissage machine aux Groupes de Lie basés sur la théorie des représentations et de la cohomologie de l'algèbre de Lie. A partir des travaux de Jean-Marie Souriau sur la "Thermodynamique des Groupes de Lie" [4] initié dans le cadre des modèles symplectiques de la mécanique statistique, de nouveaux outils statistiques géométriques ont été développés pour définir les densités de probabilité (densité de Gibbs à Maximum d’Entropie) sur les Groupes de Lie ou les variétés homogènes pour les méthodes supervisées, et l'extension de la métrique de Fisher de la Géométrie de l'information pour les méthodes non supervisées (dans les espaces métriques). Dans une 2nd partie, les TINN (Thermodynamics-Informed Neural Networks) [3,5] seront abordés pour des applications d’ingénierie augmentée par l'IA. Les structures géométriques des TINN sont étudiées par leur flot métriplectique (également appelé flot GENERIC) modélisant la dynamique non-dissipative (1er principe thermodynamique de conservation de l'énergie) et la dynamique dissipative (2nd principe thermodynamique de production d'entropie). La Thermodynamique des Groupes de Lie de Souriau permet de caractériser géométriquement le flot métriplectique  par une structure de « tissus » composés de feuilletages symplectiques et en transverse de feuilletages Riemanniens. À partir des symétries du problème, les orbites coadjointes du groupe de Lie génèrent via l’application moment (géométrisation du théorème de Noether) le feuillage symplectique (défini comme les ensembles de niveaux de l’entropie, où l'entropie est une fonction de Casimir invariante sur ces feuilles symplectiques). La métrique sur les feuilles symplectiques est donnée par la métrique de Fisher. La dynamique le long de ces feuilles symplectiques, donnée par le crochet de Poisson, caractérise la dynamique non dissipative. La dynamique dissipative est ensuite donnée par la structure de Poisson transverse et un crochet de flot métrique, avec une évolution de feuille en feuille contrainte par la production d'entropie. Le feuilletage transverse est un feuilletage Riemannien dont la métrique est donnée par la métrique duale de Fisher (hessien de l’Entropie).
Ces outils d'apprentissage machine sur les groupes de Lie et les TINNs sont abordés dans 2 projets européens :
- réseau européen COST CaLISTA [6]
- action européenne Marie-Curie MSCA CaLIGOLA [7].

References

[1] Barbaresco, F. (2022) Symplectic theory of heat and information geometry, chapter 4, Handbook of Statistics, Volume 46, Pages 107-143, Elsevier, https://doi.org/10.1016/bs.host.2022.02.003 https://www.sciencedirect.com/science/article/abs/pii/S0169716122000062
[2] Barbaresco, F. (2023). Symplectic Foliation Transverse Structure and Libermann Foliation of Heat Theory and Information Geometry. In: Nielsen, F., Barbaresco, F. (eds) Geometric Science of Information. GSI 2023. Lecture Notes in Computer Science, vol 14072. Springer, Cham. https://doi.org/10.1007/978-3-031-38299-4_17 ; https://link.springer.com/chapter/10.1007/978-3-031-38299-4_17 
[3] Barbaresco F. (2022). Symplectic Foliation Structures of Non-Equilibrium Thermodynamics as Dissipation Model: Application to Metriplectic Non-Linear Lindblad Quantum Master Equation, submitted to MDPI special Issue "Geometric Structure of Thermodynamics: Theory and Applications", 2022
[4] Souriau, J.M. (1969). Structure des systèmes dynamiques. Dunod.
[5] Cueto E. and Chinesta F. (2022), Thermodynamics of Learning of Physical Phenomena, arXiv:2207.12749v1 [cs.LG] 26 Jul 2022
[6] European COST network CA21109 : CaLISTA  - Cartan geometry, Lie, Integrable Systems, quantum group Theories for Applications ; https://site.unibo.it/calista/en
[7] European HORIZON-MSCA-2021-SE-01-01 project CaLIGOLA - Cartan geometry, Lie and representation theory, Integrable Systems, quantum Groups and quantum computing towards the understanding of the geometry of deep Learning and its Applications; https://site.unibo.it/caligola/en

Nom de l'accordéon
Short contributive talk: Blaise Delatre (Université Paris-Dauphine)
Texte dans l'accordéon

Titre

From dynamical system perspective on deep learning

Résumé

The Lipschitz constant of neural networks has been established as a key quantity to enforce the robustness of adversarial examples. In this paper, we tackle the problem of building 1-Lipschitz Neural Networks. By studying Residual Networks from a continuous time dynamical system perspective, we provide a generic method to build 1-Lipschitz Neural Networks and show that some previous approaches are special cases of this framework. Then, we extend this reasoning and show that ResNet flows derived from convex potentials define 1-Lipschitz transformations, that leads us to define the Convex Potential Layer (CPL).

Événements sur le même thème
Bandeau image
fleche
Catégorie
Conferences / Workshops
Date de l'événement (intitulé)
7 mars 2024
Chapo
Le programme Confiance.ai vous donne rendez-vous le 7 mars 2024 pour la nouvelle édition de Confiance.ai Day, le rendez-vous de l’IA de confiance !

Ouverture des inscriptions : à partir du 7 novembre 2023
Bandeau image
fleche
Catégorie
Conferences / Workshops
Date de l'événement (intitulé)
7 mars 2024
Chapo
Rendez-vous le 7 mars 2024 à Paris La Défense et alimentez vos réflexions IA & GenAI grâce à des tables rondes et témoignages sur les nouveaux enjeux de la GenAI en entreprise !
Bandeau image
fleche
Catégorie
Conferences / Workshops
Date de l'événement (intitulé)
Lundi 18 mars - 11h30 à 12h30
Chapo
De l’acculturation jusqu’à l’expertise, venez découvrir lors d’un webinar exclusif le catalogue de formations en Intelligence Artificielle, porté par des experts de renom au niveau national et l’excellence pédagogique de CentraleSupélec !
Bandeau image
fleche
Catégorie
Conferences / Workshops
Date de l'événement (intitulé)
27 et 28 mars 2024
Chapo
L'intelligence artificielle (IA) hybride englobe toutes les approches qui combinent plusieurs méthodes d'IA, qu'elles soient symboliques ou numériques, qualitatives, semi-qualitatives ou quantitatives. C'est un domaine qui connaît actuellement un regain d'intérêt, notamment parce que l'hybridation est un moyen de remédier aux faiblesses respectives des différentes approches et de relever certains défis actuels de l'IA tels que la confiance et l'explicabilité.