CoPhi: Conditionnement Physique de la génération 3D
Analyse de forme du corps humain: Comparaison et déformation
Objectifs
- Construire des outils géométriques pour comparer des formes non rigides.
- Modéliser les déformations du corps humains.
- Relier géométrie et analyse de données anatomiques.
Expertise développée : Géométrie
Encadrements : Un stagiaire de M2
Analyser de formes (non rigides) non paramétrées
Objectifs
- Étudier des formes indépendants de leur paramétrisation (discrétisation).
- Construire des architectures adaptées à cette problèmatiques.
- Développer des méthodes pour déformer des formes non rigides.
Expertise développée : Geometric deep learning
CALYPSO: Clinique et AnaLYses PSychiatriques Objectives pour la dépression
Objectifs
- Collecter une base de données objectives de patient dépressifs.
- Transformer ces observations en marqueurs quantifiables de la dépression.
- Corréler ces nouveaux marqueurs avec les réponses aux traitements.
Expertise développée : Modèles interprétables
Encadrements : Un stagiaire de M2
Modèles génératifs géométriques
Objectifs
- Entraîner des modèles génératifs généralistes pour les formes non-rigides.
- Comprendre le fonctionnement des modèles génératifs en utilisant la géométrie.
- Inverser et manipuler les modèles génératifs 3D.
Expertise développée : Modèles génératifs géométriques
Encadrements : Un stagiaire de M2, 2 doctorants (occasionnel)
Synthèse
Expertise
Géométrie · Géométric deep learning · Modèles interprétables · Modèles génératifs géométriques
Encadrements
3 stagiaires de M2 · 2 doctorants (occasionnel)
Publications
(8 A*)
(4 journaux)
(1 preprint)
- +Réalisme
- +Fidélité visuelle
- −Optimisation purement visuelle
- −Pas de contrôle physique
Comment permettre un conditionnement physique de ces modèles génératifs ?
État de l’art
Transfert fondation 3D
+ Pallie la rareté
− Représentation mixte
Wimmer et al. Back to 3D: Few-shot 3D keypoint detection with back-projected 2D featuresStructures de contrôle
+ Contrôle bien établi
− Généralisation limitée
Mo et al. StructureNet: Hierarchical graph networks for 3D shape generationGuidage par simulation physique
+ Signal physique réel
− Objets prédéfinis
You et al. PhysGen: Physically grounded 3D shape generation for industrial design- +Réalisme
- +Fidélité visuelle
- −Optimisation purement visuelle
- −Pas de contrôle physique
Comment permettre un conditionnement physique de ces modèles génératifs ?
CoPhi est un projet pour une période de 3 ans, au sein du service DIASI et du service SIALV (laboratoire LVA), cherchant à valider l’hypothèse suivante :
« une représentation commune et structurée des formes et des CCP permettra de dépasser les approches actuelles et d’améliorer le réalisme physique des méthodes génératives 3D. »
CCP : caractéristiques et contraintes physiques (CCP)
CoPhi vise une génération 3D physique, réaliste et généraliste : à partir d’une consigne ou d’un cahier des charges, produire un objet dont les propriétés peuvent être vérifiées.
CoPhi s’organisera en 3 lots :
porteur du projet doctorant stagiaire
Les données communes formes 3D et CCP sont rares. L’objectif est de constituer le socle expérimental nécessaire à CoPhi.
Objectifs
- Constituer un corpus formes–CCP de grande échelle.
- Produire un jeu de référence expert et multi-fidélité.
- Définir le pipeline reproductible et le protocole d’évaluation.
::: ## LOT 2 : Représentation commune ::: {.lot1-focus-slide .lot2-focus-slide}Les CCP regroupent des informations hétérogènes que les représentations 3D actuelles ne permettent pas d’exprimer. L’objectif est de donner une représentation commune à l’objet et son cahier des charges.
Objectifs
- Représenter conjointement formes et CCP.
- Modifier et optimiser les propriétés physiques dans l’espace latent.
- Aligner la représentation avec les cahiers des charges textuels.
::: ## LOT 3 : Génération 3D physique ::: {.lot1-focus-slide .lot3-focus-slide}La génération 3D actuelle ne peut suivre un cahier des charges physique. Nous conditionnerons un modèle génératif en utilisant notre représentation commune.
Objectifs
- Adapter un modèle génératif 3D pré-entraîné.
- Conditionner la génération par les CCP.
- Évaluer le réalisme physique, la qualité et la diversité des objets générés.
::: ## Programme et équipements prioritaires de recherche (PEPR) IA ::: {.pepr-slide}et IA distribuée
et IA embarquée
mathématiques de l’IA
et IA distribuée
et IA embarquée
mathématiques de l’IA
Projets :
CoPhi privilégiera l’adaptation de modèles préentraînés afin de réduire conjointement les besoins en données et en calcul de l’apprentissage. Ces travaux renforceront les collaborations du CEA List sur ces deux projets.
::: ## IA de confiance ::: {.pepr-followup}Projet :
CoPhi rendra les modèles génératifs
plus contrôlables et leurs performances quantifiables. CoPhi ouvrira ainsi une nouvelle voie d’implication du CEA dans le PEPR IA autour de Géné-Pi.
LVA
Génération de formes 3D, conditionnement spatial et physique des contenus visuels.
LASTI
Modèles génératifs visuels, contrôle et explicabilité des modèles génératifs.
LSI
Apprentissage pour la simulation mécanique et modèles monde pour la robotique.
CoPhi développera des synergies naturelles avec Genφ. De plus, il s’intégrera dans un environnement de collaborations déjà établies entre le LVA, le LASTI et le LSI.
::: ## Conclusion ::: {.conclusion-slide}- Contexte : essor rapide des modèles génératifs 3D.
- Problème : absence de contrôle des propriétés physiques.
- Approche : une représentation commune formes–CCP pour conditionner la génération.
- Trois lots : Données, Représentation commune, Modèle conditionné.
- Positionnement : un contexte scientifique adapté au sein du CEA et dans le cadre du PEPR IA.