Les modèles génératifs profonds modernes permettent désormais de produire des échantillons synthétiques de haute qualité, souvent impossibles à distinguer des données d'apprentissage réelles. Un nombre croissant de recherches vise à comprendre pourquoi les méthodes récentes, telles que les techniques de diffusion et d'appariement de flux, se généralisent si efficacement. Parmi les explications proposées figurent les biais inductifs des architectures d'apprentissage profond et la nature stochastique de la perte d'appariement de flux conditionnel. Dans ce travail, nous excluons le caractère bruyant de la perte comme principal facteur de généralisation en appariement de flux. Tout d'abord, nous démontrons empiriquement qu'en contexte de grande dimension, les versions stochastique et fermée de la perte d'appariement de flux produisent des pertes quasiment équivalentes. Ensuite, en utilisant des modèles d'appariement de flux de pointe sur des jeux de données d'images standard, nous démontrons que les deux variantes atteignent des performances statistiques comparables, avec la constatation surprenante que l'utilisation de la forme fermée peut même améliorer les performances.

D'après cette prépublication.

L'échantillonnage à partir d'une distribution inconnue, accessible uniquement par des échantillons discrets, est un problème fondamental au cœur de l'IA générative. Les méthodes actuelles de pointe suivent un processus en deux étapes : d'abord, l'estimation de la fonction de score (le gradient d'une distribution logarithmique lissée), puis l'application d'un algorithme d'échantillonnage par diffusion, tel que les modèles de Langevin ou de diffusion. La justesse de la distribution résultante peut être influencée par quatre facteurs majeurs : les erreurs de généralisation et d'optimisation dans l'appariement des scores, et la discrétisation et l'amplitude minimale du bruit dans la diffusion. Dans cet article, nous explicitons l'erreur d'échantillonnage lors de l'utilisation d'un échantillonneur par diffusion dans un contexte gaussien. Nous fournissons une analyse précise de l'erreur d'échantillonnage de Wasserstein résultant de ces quatre sources d'erreur. Cela nous permet de suivre rigoureusement l'interaction de l'anisotropie de la distribution des données (codée par son spectre de puissance) avec les paramètres clés de la méthode d'échantillonnage de bout en bout, notamment le nombre d'échantillons initiaux, les pas de l'appariement des scores et de la diffusion, et l'amplitude du bruit. Nous montrons notamment que l'erreur d'échantillonnage de Wasserstein peut être exprimée comme une norme de type noyau du spectre de puissance des données, où le noyau spécifique dépend des paramètres de la méthode. Ce résultat fournit une base pour une analyse plus approfondie des compromis nécessaires à l'optimisation de la précision d'échantillonnage.

D'après cette prépublication.