Intitulé de la thèse : Complex-Valued Generative Adversarial Networks for SAR imaging applications

Contexte : Dans le domaine de l'apprentissage automatique, la modélisation générative, que l'on rencontre par exemple dans les réseaux adversariens génératifs, est une tâche d'apprentissage non supervisée qui consiste à découvrir et à apprendre automatiquement les régularités ou les modèles dans les données d'entrée. Ce modèle peut ainsi être utilisé pour générer de nouveaux ensembles de données caractéristiques de l'ensemble de données d'origine.

L'idée d'utiliser ces outils potentiels est de générer des images SAR artificielles (ou un autre type de signal radar) avec une représentation physique et une interprétation solides. À cette fin, nous devons veiller à ce que les développements de l'intelligence artificielle, dits "à conscience physique", garantissent que ce qui est fait est approprié par rapport aux phénomènes physiques. La conservation de l'information de phase est cruciale pour synthétiser de nouvelles images SAR pendant la génération d'images SAR. Les développements de la méthodologie à valeurs complexes sont alors nécessaires pour construire un apprentissage automatique conscient de la physique et ont été récemment développés [J. A. Barrachina 2022]. Ainsi, les images RSO à valeurs complexes générées correspondantes pourraient être construites pour conserver les informations de phase relatives à la largeur de bande de portée, à la largeur de bande d'azimut, à la relation de différence de phase dans les canaux polarimétriques et interférométriques, etc. Un autre intérêt de travailler avec l'image SAR à valeurs complexes est de générer directement le spectre des images SAR dans lequel l'information de phase est fondamentale pour reconstruire l'image spatiale. L'avantage de travailler dans le domaine spectral est qu'il prend effectivement en compte les caractéristiques du radar telles que la largeur de bande et les contraintes de sous-vue qui peuvent potentiellement se rapprocher de l'image SAR réelle.

Les applications radar et SAR pourraient bénéficier de ces nouveaux développements. Il serait alors possible de générer des images SAR réalistes qui tiennent compte de la diversité des images sources :

• Génération de nouvelles images SAR de plus haute résolution (distance et azimut) à partir d'images de plus basse résolution (super-résolution) ;
• Génération d'images partageant différentes sources spatiales d'information : zones urbaines, agricoles, forestières, etc ;
• Génération d'images SAR full-pol et/ou d'images SAR interférométriques à partir d'images SAR monocanal ;
• Génération de nouveaux ensembles de données RSO pour analyser la performance des algorithmes RSO (détection, détection des changements, classification) et pour améliorer la performance des algorithmes d'apprentissage automatique basés sur le RSO (augmentation des données) ;
• Algorithmes d'apprentissage automatique basés sur le SAR (augmentation des données) ;
• Segmentation sémantique (GANs conditionnels comme CycleGAN [T. Karass 2021] ou traduction d'images (par ex. SAR vers RGB).

Cette approche peut être une solution pour limiter les expérimentations SAR. La caractéristique physique des images SAR à valeurs complexes rendra possible des opérations telles que la détection cohérente de cibles, la détection cohérente de changements entre images, l'exploitation d'images SAR en série temporelle, la classification polarimétrique et l'interférométrie.

Ce stage vise à développer des outils dédiés à l'élaboration de nouveaux schémas d'apprentissage automatique non supervisés afin de conserver une représentation physique et une interprétation solides des images SAR générées. Le doctorant s'appuiera sur la bibliothèque open-source (https://github.com/NEGU93) développée précédemment par J. A. Barrachina pour les données radar à valeurs complexes. Grâce à cette bibliothèque, il est possible d'aborder et d'analyser tous les composants récents d'apprentissage automatique tels que les autoencodeurs, les transformateurs, etc. par le biais de méthodologies théoriques stimulantes (transport optimal, distance de Wasserstein, caractérisation des espaces latents, etc.)

Le doctorant sera accueilli au laboratoire SONDRA (CentraleSupélec, ONERA, DSO, National University of Singapore (NUS)) à Gif-sur-Yvette et à l'unité de recherche MATS (Advanced Methods in Signal Processing) du département Electromagnétisme et Radar sur le site de l'ONERA à Palaiseau. Tout au long de sa thèse, il se formera au traitement du signal (détection, estimation), au traitement par apprentissage profond, et à d'autres sujets en suivant les formations proposées par l'école doctorale.

Encadrement SONDRA et ONERA :

• Direction de la thèse : Chengfang REN, (chengfang.ren at centralesupelec.fr) et Jean-Philippe OVARLEZ (jean- philippe.ovarlez at onera.fr) ;
• Superviseurs : Jérémy FIX (jeremy.fix at centralesupelec.fr), Joana FRONTERA-PONS (joana.frontera_pons at onera.fr) et Frédéric BRIGUI (frederic.brigui at onera.fr).

References:

[1] J. A. Barrachina, Complex-Valued Deep Neural Networks for Radar Applications, Ph.D. Thesis, Paris Saclay University, 6 December 2022.

[2] T. Karras, M. Aittala, S. Laine, E. Häarkönen, J. Hellsten, J. Lehtinen and T. Aila, Alias-Free Generative Adversarial Networks, Advances in Neural Information Processing Systems, 34, NeurIPS 2021.

[3] Q. Sun, X. Li, L. Li, X. Liu, F. Liu and L. Jiao, "Semi-Supervised Complex-Valued GAN for Polarimetric SAR Image Classification," IGARSS 2019 - 2019 IEEE International Geoscience and Remote Sensing Symposium, 2019, pp. 3245-3248.

[4] L. Guo, G. Song, H. Wu, Complex-Valued Pix2pix—Deep Neural Network for Nonlinear Electromagnetic Inverse Scattering. Electronics 2021, 10, 752.

[5] B. Vasudeva, P. Deora, S. Bhattacharya and P. M. Pradhan, "Compressed Sensing MRI Reconstruction with Co-VeGAN: Complex-Valued Generative Adversarial Network," 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2022, pp. 1779-1788.

[6] C. Ma, H. Gao, “A GAN based method for SAR and optical images fusion”, in Seventh Asia Pacific Conference on Optics Manufacture (APCOM 2021), 2022, vol. 12166.

[7] C. Grohnfeldt, M. Schmitt and X. Zhu, "A Conditional Generative Adversarial Network to Fuse Sar and Multispectral Optical Data for Cloud Removal from Sentinel-2 Images," IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium, 2018, pp. 1726-1729.

[8] Y. Giry-Fouquet, A. Baussard, C. Enderli, T. Porges, "SAR image generation using GANs with azimuth constraints for target classification," Proc. SPIE 11870, Artificial Intelligence and Machine Learning in Defense Applications III, 118700D (12 September 2021).

Titulaire d’un master 2 ou d’un diplôme d’une école d’ingénieur.

Connaissances requises :

• Traitement du signal, traitement statistique du signal ;
• Méthodes d’apprentissage, Réseau de neurones et apprentissage profond -Matlab, Python.