CoPhi: Conditionnement Physique de la génération 3D

Emery Pierson · CEA List / DIASI · SIALV (LVA)

À propos de moi

Expériences de recherche
2020–2023DoctoratUniversité de Lille · CRIStAL · 3D-SAM
Apr–Jul 2023PostdocUniversité de Vienne · Département de Mathématiques
Sep–Dec 2023Research EngineerCHU Lille · LilNCog · INTERACTIONS
2024–2026PostdocÉcole Polytechnique · LIX · GeomeriX
2020–2023 · DoctoratUniversité de Lille · CRIStAL · 3D-SAM · Pr. Mohamed Daoudi

Analyse de forme du corps humain: Comparaison et déformation

Objectifs

  • Construire des outils géométriques pour comparer des formes non rigides.
  • Modéliser les déformations du corps humains.
  • Relier géométrie et analyse de données anatomiques.

Expertise développée : Géométrie

Encadrements : Un stagiaire de M2

Modèles humains 3D étudiés à Lille

À propos de moi

Expériences de recherche
2020–2023DoctoratUniversité de Lille · CRIStAL · 3D-SAM
Apr–Jul 2023PostdocUniversité de Vienne · Département de Mathématiques
Sep–Dec 2023Research EngineerCHU Lille · LilNCog · INTERACTIONS
2024–2026PostdocÉcole Polytechnique · LIX · GeomeriX
April–July 2023 · PostdocUniversité de Vienne · Département de Mathématiques · Pr. Martin Bauer

Analyser de formes (non rigides) non paramétrées

Objectifs

  • Étudier des formes indépendants de leur paramétrisation (discrétisation).
  • Construire des architectures adaptées à cette problèmatiques.
  • Développer des méthodes pour déformer des formes non rigides.

Expertise développée : Geometric deep learning

Encadrements : Un stagiaire de M2

Modèles de mains 3D étudiés à Vienne

À propos de moi

Expériences de recherche
2020–2023DoctoratUniversité de Lille · CRIStAL · 3D-SAM
Apr–Jul 2023PostdocUniversité de Vienne · Département de Mathématiques
Sep–Dec 2023Research EngineerCHU Lille · LilNCog · INTERACTIONS
2024–2026PostdocÉcole Polytechnique · LIX · GeomeriX
September–December 2023 · Research EngineerCHU Lille · LilNCog · INTERACTIONS · Pr. Ali Amad

CALYPSO: Clinique et AnaLYses PSychiatriques Objectives pour la dépression

Objectifs

  • Collecter une base de données objectives de patient dépressifs.
  • Transformer ces observations en marqueurs quantifiables de la dépression.
  • Corréler ces nouveaux marqueurs avec les réponses aux traitements.

Expertise développée : Modèles interprétables

Encadrements : Un stagiaire de M2

CALYPSO project

À propos de moi

Expériences de recherche
2020–2023DoctoratUniversité de Lille · CRIStAL · 3D-SAM
Apr–Jul 2023PostdocUniversité de Vienne · Département de Mathématiques
Sep–Dec 2023Research EngineerCHU Lille · LilNCog · INTERACTIONS
2024–2026PostdocÉcole Polytechnique · LIX · GeomeriX
2024–2026 · PostdocÉcole Polytechnique · LIX · GeomeriX · Pr. Maks Ovsjanikov

Modèles génératifs géométriques

Objectifs

  • Entraîner des modèles génératifs généralistes pour les formes non-rigides.
  • Comprendre le fonctionnement des modèles génératifs en utilisant la géométrie.
  • Inverser et manipuler les modèles génératifs 3D.

Expertise développée : Modèles génératifs géométriques

Encadrements : Un stagiaire de M2, 2 doctorants (occasionnel)

DiffuMatch, modèle génératif de formes 3D

À propos de moi

Expériences de recherche
2020–2023DoctoratUniversité de Lille · CRIStAL · 3D-SAM
Apr–Jul 2023PostdocUniversité de Vienne · Département de Mathématiques
Sep–Dec 2023Research EngineerCHU Lille · LilNCog · INTERACTIONS
2024–2026PostdocÉcole Polytechnique · LIX · GeomeriX

Synthèse

Expertise

Géométrie · Géométric deep learning · Modèles interprétables · Modèles génératifs géométriques

Encadrements

3 stagiaires de M2 · 2 doctorants (occasionnel)

Publications

12conférences internationales
(8 A*)
6venues internationales
(4 journaux)
19Total
(1 preprint)

Contexte

Modèles génératifs 3D

  • +Réalisme
  • +Fidélité visuelle
  • Optimisation purement visuelle
  • Pas de contrôle physique

Comment permettre un conditionnement physique de ces modèles génératifs ?

État de l’art

Transfert fondation 3D

+ Pallie la rareté

Représentation mixte

Structures de contrôle

+ Contrôle bien établi

Généralisation limitée

Guidage par simulation physique

+ Signal physique réel

Objets prédéfinis

Modèles génératifs 3D

  • +Réalisme
  • +Fidélité visuelle
  • Optimisation purement visuelle
  • Pas de contrôle physique

Comment permettre un conditionnement physique de ces modèles génératifs ?

CoPhi est un projet pour une période de 3 ans, au sein du service DIASI et du service SIALV (laboratoire LVA), cherchant à valider l’hypothèse suivante :

« une représentation commune et structurée des formes et des CCP permettra de dépasser les approches actuelles et d’améliorer le réalisme physique des méthodes génératives 3D. »

CCP : caractéristiques et contraintes physiques (CCP)

CoPhi: Conditionnement Physique de la génération 3D

CoPhi vise une génération 3D physique, réaliste et généraliste : à partir d’une consigne ou d’un cahier des charges, produire un objet dont les propriétés peuvent être vérifiées.

CoPhi s’organisera en 3 lots :

LOT 1Données physiques et benchmark multi-fidélité
Profil rougeProfil vertProfil bleu
LOT 2Représentation commune des formes et des CCP
Profil rougeProfil vert
LOT 3Génération 3D conditionnée par les CCP
Profil rougeProfil vert

porteur du projet doctorant stagiaire

LOT 1 : Données physiques

Verrou scientifique et objectif.
Les données communes formes 3D et CCP sont rares. L’objectif est de constituer le socle expérimental nécessaire à CoPhi.

Objectifs

  • Constituer un corpus formes–CCP de grande échelle.
  • Produire un jeu de référence expert et multi-fidélité.
  • Définir le pipeline reproductible et le protocole d’évaluation.

LOT 1 : données physiques et CCP

LOT 2 : Représentation commune

Verrou scientifique et objectif.
Les CCP regroupent des informations hétérogènes que les représentations 3D actuelles ne permettent pas d’exprimer. L’objectif est de donner une représentation commune à l’objet et son cahier des charges.

Objectifs

  • Représenter conjointement formes et CCP.
  • Modifier et optimiser les propriétés physiques dans l’espace latent.
  • Aligner la représentation avec les cahiers des charges textuels.

LOT 2 : représentation commune

LOT 3 : Génération 3D physique

Verrou scientifique et objectif.
La génération 3D actuelle ne peut suivre un cahier des charges physique. Nous conditionnerons un modèle génératif en utilisant notre représentation commune.

Objectifs

  • Adapter un modèle génératif 3D pré-entraîné.
  • Conditionner la génération par les CCP.
  • Évaluer le réalisme physique, la qualité et la diversité des objets générés.

LOT 3 : génération 3D physique

Programme et équipements prioritaires de recherche (PEPR) IA

IA de confiance
et IA distribuée
IA frugale
et IA embarquée
Nouveaux fondements
mathématiques de l’IA

Programme et équipements prioritaires de recherche (PEPR) IA

IA de confiance
et IA distribuée
IA frugale
et IA embarquée
Nouveaux fondements
mathématiques de l’IA

IA frugale

Projets :

SHARP - Principes théoriques et algorithmiques de l’apprentissage frugal
HOLIGRAIL - Approches holistiques pour des architectures plus efficaces pour l’inférence et l’apprentissage

CoPhi privilégiera l’adaptation de modèles préentraînés afin de réduire conjointement les besoins en données et en calcul de l’apprentissage. Ces travaux renforceront les collaborations du CEA List sur ces deux projets.

IA de confiance

Projet :

Géné-Pi - Mathématiques des modèles génératifs

CoPhi rendra les modèles génératifs
plus contrôlables et leurs performances quantifiables. CoPhi ouvrira ainsi une nouvelle voie d’implication du CEA dans le PEPR IA autour de Géné-Pi.

Contexte scientifique

LVA

Génération de formes 3D, conditionnement spatial et physique des contenus visuels.

LASTI

Modèles génératifs visuels, contrôle et explicabilité des modèles génératifs.

LSI

Apprentissage pour la simulation mécanique et modèles monde pour la robotique.

GenφGénération 3D physique consciente

CoPhi développera des synergies naturelles avec Genφ. De plus, il s’intégrera dans un environnement de collaborations déjà établies entre le LVA, le LASTI et le LSI.

Conclusion

  • Contexte : essor rapide des modèles génératifs 3D.
  • Problème : absence de contrôle des propriétés physiques.
  • Approche : une représentation commune formes–CCP pour conditionner la génération.
  • Trois lots : Données, Représentation commune, Modèle conditionné.
  • Positionnement : un contexte scientifique adapté au sein du CEA et dans le cadre du PEPR IA.