lundi 31 janvier 2011

Compte-rendu de la réunion du 31 janvier 2011

Participants : Xavier, Nicolas, Mathieu et Fabien
  • Méthode d'inversion
Dans le cadre de l'inversion non symbolique, un essai de minimisation par algorithme du simplexe (nelder-Mead) a été réalisé. Le simplexe réalise moins d'estimation de la fonction coût qu'une descente de gradient ou algorithme similaire. Cela peut être avantageux pour l'inversion non symbolique, car estimer la fonction coût consiste à faire un lancer de rayons sur la scène. Néanmoins, cela mène à une instabilité de la minimisation, car le bruit stochastique lié à l'intégration Monte-Carlo change à chaque estimation, alors qu'il était fixé au moment de l'unique lancer de rayons symbolique dans le cas de l'inversion symbolique. De plus, les temps de calcul sont beaucoup plus longs à cause des nombreux lancers de rayons engendrés.
On garde donc a priori le principe de la simulation symbolique, ce qui oblige à l'utilisation d'un modèle de BRDF linéaire par rapport à ses paramètres.

  • Modèles mathématiques de BRDF :
Les modèles utilisés en télédétection ne sont pas valides aux angles rasants (>60° par rapport à la normale) car ils sont dédiés à l'imagerie aérienne et spatiale. Les décompositions mathématiques dans des bases (telles que les harmoniques sphériques, les polynômes de Zernike ou les ondelettes par exemple) demandent beaucoup de paramètres, et ne sont donc pas adaptées à l'inversion. On s'oriente donc plutôt des modèles à noyaux, avec un noyau lambertien, un noyau spéculaire, et un noyau rétrodiffusant. Le réglage de la largeur des lobes donne souvent lieu à une non-linéarité dans le modèle ; on pourrait envisager de discrétiser la largeur du lobe en quelques niveaux seulement, pour ne plus l'estimer comme paramètre continu.
Les matériaux naturels sont actuellement mal représentés par les modèles ; il faudrait néanmoins le vérifier numériquement.

  • Mesures de BRDF :
Les deux principaux problèmes ici sont les visées rasantes et les matériaux fortement spéculaires, car ils sont mal représentés par les modèles classiques actuels, dont il convient alors d'étudier les limites.
Les mesures de la base de données MEMOIRES ont été réalisées à des angles inférieurs à 60°.
Les matériaux disponibles actuellement sont principalement des matériaux de voirie ; il faut trouver de la pierre de façade, des matériaux HQE de façade (profiter du chantier IGN), des plastiques d'enseigne publicitaire, ...
En ce qui concerne le choix des échantillons à mesurer lors de la semaine du 28 février au 4 mars, il faut mesurer en priorité les matériaux les plus représentés sur les scènes à traiter. Il faudrait une dizaine de matériaux de façades (sur 20 éch.). Les échantillons disponibles sont consultables sur le google doc suivant.
La surface mesurée sur le banc Mélopée a un diamètre de 1 à 2 pouces ; c'est l'ordre de grandeur de la résolution des images terrestres Stéréopolis. Il n'y a pas encore de publication sur les mesures de BRDF à de telles résolutions spatiales, à des angles rasants ; c'est donc intéressant.

  • Variabilité spatiale des matériaux :
Les matériaux de scènes réelles ne sont pas homogènes. On a donc commencé l'implémentation de textures symboliques pour l'inversion "point par point". Il faudrait donc étudier les invariants et les plages de variation des paramètres de la réflectance sur les surfaces des scènes étudiées. Cela permettrait de simplifier le problème et/ou de le contraindre pour introduire une régularisation dans l'inversion (on n'utilise pour l'instant qu'un terme d'attache aux données). Pour mesurer cette variabilité, deux méthodes peuvent être envisagées :
- prélèvement de nombreux échantillons et mesure en laboratoire -> trop long à mettre en œuvre ;
- effectuer des mesures in situ avec un radiomètre ou même avec une caméra RVB : acquérir une image avec le matériau et avec un Spectralon mis par-dessus, pour pouvoir calculer la réflectance par division.
On obtiendrait alors une distribution de probabilité de la réflectance en fonction du matériau. Remarque : la variabilité spatiale augmente avec la résolution des images.

  • Reconstruction de la luminance du ciel :
Il s'agit d'un point bloquant pour le traitement de scènes réelles. Si le stage n'est pas pourvu prochainement, Lâmân pourrait se charger de cette étude (qu'il a déjà initiée).

vendredi 26 novembre 2010

Compte-rendu de la réunion du 25 novembre 2010

Etaient présents : Nicolas, Matieu, Lâmân, Xavier, Fabien

Concernant l'article pour 3DIMPVT :
  • identifier ce qui est attendu à cette conférence
  • la partie "modélisation physique" doit être axée sur les phénomènes mis en jeu et leur prise en compte. Montrer des résultats de calcul avec 6S pour justifier la négligeabilité de l'absorption/diffusion à l'intérieur de la scène urbaine.
  • on peut étendre la méthode présentée à des modèles de BRDF à noyaux (qui doivent être linéaires par rapport aux paramètres). Cela permettrait de valoriser la méthode.
  • parler du caractère multi-vues de la méthode

Travaux à venir :
  • Une étape intermédiaire avant l'utilisation de données réelles pourrait être l'utilisation de BRDF tabulées réelles pour faire la simulation, et l'estimation d'un modèle paramétrique de BRDF.
  • Utilisation de données réelles : sur la rue Soufflot, on possède un modèle 3D fin et une acquisition Stéréopolis.
  • Reconstruction de la luminance diffuse du ciel à partir des images : un stage est proposé au MATIS sur ce sujet. Il y a des problèmes de saturation autour du soleil ; on pourra explorer l'apport de l'HDR (bracketing sur l'exposition), et élaborer une méthode de type point "ombre-soleil" pour déterminer l'éclairement direct. Attention : on ne peut pas s'affranchir complètement d'une calibration radiométrique absolue de la caméra (l'intégrale d'un produit n'est pas égal au produit des intégrales).
  • Variabilité intra-classe de la réflectance : considère-t-on que le modèle est parfaitement segmenté en zones homogènes, ou bien estime-t-on aussi les variations au sein de chaque zone? Un article de Briottet et Lachérade traite des plages de variation pour un même matériau. Il faudrait chercher les invariants propres à un matériau (signature spectrale par exemple). Autre idée : se placer dans un plan où l'on sait que l'on n'a pas de spéculaire (peut se déduire de la géométrie) pour estimer la variation de la partie diffuse.

lundi 13 septembre 2010

Conférences 2011

Recensement (non exhaustif) des conférences auxquelles je pourrai soumettre un article au cours de l'année qui vient :
cliquer ici

mardi 8 juin 2010

Compte-rendu de la réunion du 7 juin 2010

Étaients présents : Xavier, Nicolas, Mathieu, Lâmân, Fabien

Mesures de BRDF sur échantillons
  • Récupération de matériaux : c'est en bonne voie avec la mairie de Paris. Il faut relancer P. Jarossay pour obtenir un contact à la direction du patrimoine. Il pourrait être intéressant de récupérer des matériaux de bâtiments HQE (bois, panneaux solaires, ...). Le LCPC (pour des mesures) et le CSTB (pour des échantillons) sont également des organismes à contacter.
    La taille des échantillons doit être d'environ 2 cm pour le banc Mélopée, et de 2 à 20 cm pour le gros goniomètre (qui est limité à un angle zénital de 60°).

  • Mesures : il faut compter entre 3 et 4h de mesure par échantillon. Cela se fait automatiquement, et peut donc être lancé la nuit par exemple. Il faut néanmoins restreindre le nombre d'échantillons ; pour cela il faudrait choisir une scène test et recenser les matériaux qu'elle contient.
    Un post-doc va être recruté à l'ONERA pour travailler sur les matériaux.

  • On pourrait réaliser une prise de vue multi-angulaire sur les échantillons pour tester l'algorithme d'inversion ; le problème est qu'il faut maîtriser l'éclairage. Un montage en labo serait compliqué si l'on veut avoir à la fois une composante directe et une composante diffuse ; une acquisition en extérieur serait peut-être préférable. Cela pourrait en outre permettre d'estimer la variabilité spatiale des matériaux.

  • Le but de cette campagne de mesure est de choisir des modèles de BRDF les plus adaptés, quantifier l'erreur qu'ils introduisent, voir la variation spatiale sur un matériau

Méthodologie
  • Utilisation des données laser : complémentaire de la mesure de BRDF (en effet celle-ci n'a pas accès au pic de rétrodiffusion, alors que c'est la seule chose que mesure le laser).
    Si l'on suppose que les discontinuités de la rétrodiffusion laser sont corrélés avec les discontinuités de la réflectance bidirectionnelle, on peut segmenter la scène avec le laser pour réduire le nombre de paramètres à estimer.

  • La classification en elle-même n'est pas un but de la thèse ; il s'agit d'égaliser radiométriquement un ensemble d'images terrestres, donc de passer d'images de luminance en images de réflectance.

  • Problème que l'on va rencontrer : dans les ombres, on a accès qu'à la réflectance hémi-directionnelle. Au soleil, on a accès aux effets bidirectionnels. Comment mélanger les deux? (notamment dans le cas où on a une surface entièrement à l'ombre).

  • Dans un premier temps, on peut considérer pour cette thèse que la segmentation est connue (et "parfaite"), de même que le modèle 3D. Il s'agit en effet d'une problématique traitée par d'autre doctorants.

  • Tests LuxRender sur des scènes simples : les faibles valeurs de l'éclairement sont dues à la définition de la source de lumière : une environment map de luminance unitaire. Les différences aux niveaux des discontinuités du modèle sont peut-être dues à l'effet passe-bas de la discrétisation ; il faudrait valider cela en changeant le nombre de pixels. La validation de LuxRender nécessite des données de référence calculées par AMARTIS pour comparaison (qui peuvent être déposées sur ftp://IGNONERA@ftp.ign.fr).
Choix d'une scène-test
  • Un lotissement neuf présente l'avantage de matériaux propres et homogènes, ainsi qu'une absence de végétation. Cependant les bâtiments sont à 1 étage maximum, et très espacés.

  • On possède déjà beaucoup de données sur une zone du 12 arrt de Paris, qui sert de zone-test pour d'autres études. La rue Pleyel présente des bâtiments plutôt blancs, de type haussmaniens, de hauteur constante. Il faudra réaliser une segmentation manuelle du nuage de points 3D de la scène choisie.
    cf. Google Maps

Prochaine réunion : le 8 juillet à 9h30

vendredi 28 mai 2010

Compte-rendu de la visite du dépôt de Bonneuil

Lieu :
CMA - dépôt de Bonneuil
150 quai du Rancy
94380 Bonneuil Sur Marne

Date : vendredi 28 mai matin

Étaient présents :
  • Philippe Jarossay : chef de la division des plans de voirie (Direction de la Voirie et des Déplacements (D.V.D.) / Mairie de Paris)
  • Marie-Céline Daupin : chef du dépôt de Bonneuil sur Marne (Direction de la Voirie et des Déplacements (D.V.D.) / Mairie de Paris)
  • François Boyero (MATIS / IGN)
  • Fabien Coubard (MATIS / IGN)

But de l'étude :

Dans le cadre de la thèse de Fabien C., il s'agit de mesurer la réflectance bidirectionnelle des matériaux les plus représentatifs d'une scène urbaine. Cela permettra d'enrichir la base de données de matériaux déjà disponibles à l'ONERA, et de valider l'utilisation d'un ou plusieurs modèles paramétriques de BRDF, en quantifiant l'erreur induite. Ainsi, on souhaite obtenir une modélisation fine du comportement des matériaux urbains à la résolution de l'imagerie terrestre, afin de disposer d'un problème direct le plus proche possible de la réalité. L'inversion de ce problème direct permettra d'extraire des images une information sur les matériaux qui soient indépendantes des conditions d'acquisition.

Matériaux disponibles :

Le dépôt de Bonneuil gère tous les matériaux utilisés pour la maintenance de la voirie à Paris. Il s'agit de matériaux de la chaussée (pavés grès ou granit), des trottoirs (bordures, dallage, caniveaux, ...), mais aussi de mobilier urbain (barrières, bornes, bancs, grilles de pied d'arbre, ...).
Le dépôt possède des matériaux neufs, mais récupère également les matériaux usagers, car une activité de recyclage se développe de plus en plus. Notamment en ce qui concerne les éléments en granit, qui sont retaillés et polis pour une nouvelle utilisation. Il y a donc possibilité de récupérer des matériaux présentant des degrés d'usure et/ou de salissure divers.

Procédure de sélection/récupération :

Une sélection pertinente des objets à mesurer va s'avérer nécessaire : le catalogue du dépôt possède environ 1600 références, parmi lesquelles des objets ne différant que par leurs dimensions ; cela fait donc un nombre de matériaux plus restreint, qu'il faut cependant multiplier par le nombre moyen d'usures ou salissures différentes disponibles pour un même matériau. Cette sélection des échantillons est laissée à la compétence de Mme Daupin, à partir des spécifications fournies par Fabien C. Les spécifications retenues au cours de la visite sont :
- un maximum de 100 échantillons (à revoir en fonction de la durée du protocole de mesure sur le goniomètre du DOTA)
- des matériaux les plus divers possibles (nature, provenance, âge, utilisation, ...)
- un temps de collecte de l'ordre d'un à deux mois pour un traitement d'ici la fin de l'été
- des échantillons de taille décimétrique (avec un minimum de 3 cm * 3cm environ, un maximum limité par le transport, soit de l'ordre d' 1 m) ; ils seront donc pris préférentiellement dans des chutes ou objets cassés
Par ailleurs, nous a été remis un catalogue des objets disponibles, pour pouvoir faire de notre côté une sélection. Ainsi, une harmonisation sera faite au fur et à mesure entre les échantillons disponibles et les échantillons souhaités.
En ce qui concerne la récupération des échantillons, une demande officielle de l'IGN (signée par Nicolas P. par exemple) sera nécessaire pour que Mme Daupin puisse rédiger une demande de sortie des matériaux (formalité administrative a priori rapide).
Les matériaux de mobilier urbain seront plutôt récupérables sur des objets abîmés, pour lesquels il faudra découper des échantillons à la bonne taille (dans les ateliers de l'IGN, où l'on peut découper métal et bois, mais pas la pierre). Pour les autres matériaux, ils devraient être fournis sous forme d'échantillons plus petits (chutes, petits objets tels que les pavés). Il ne sera pas nécessaire de restituer les échantillons après les mesures.

Divers/remarques :

- Sur une idée de François B. : il serait intéressant de prendre également des photos des échantillons sous différents angles, afin d'étudier le potentiel de reconstruction de la BRDF à partir d'une acquisition multi-vues, dans un cas réel mais maîtrisé.
- La D.V.D. semble très intéressée par ces travaux de recherche, et plus généralement par les travaux du MATIS : détection automatique du mobilier urbain, classification des matériaux en fonction de leur nature et de leur usure apparaissent comme des pistes à explorer pour limiter les déplacements sur le terrain (jugés actuellement trop nombreux et donc trop coûteux), et plus généralement pour améliorer la gestion des infrastructures. Il est cependant clair que cela dépasse le cadre de la thèse de Fabien C.
- Pour la récupération de matériaux provenant de bâtiments, il faut s'adresser à la Direction du Patrimoine et de l'Architecture (D.P.A.). M. Jarossay devrait nous y procurer un contact.

jeudi 1 avril 2010

Compte-rendu de la réunion du 1 avril 2010

Étaient présents : Mathieu Brédif, Nicolas Paparoditis, Xavier Briottet, Fabien Coubard.

  • Comparaison AMARTIS/LuxRender.
    La variance observée sur l'éclairement total au sol est forte. L'écart sur l'éclairement direct est faible (RMS de 0.4%) ; en revanche il est plus fort pour l'éclairement diffus. On note pour Ediffus plusieurs effets pouvant expliquer l'écart : la dissymétrie sur les toits fait penser à une mauvaise orientation de l'azimut (à vérifier), et les à-plats sur l'image des écarts rappellent les artefacts observés sur l'image AMARTIS, dûs à la discrétisation angulaire du ciel et à la triangulation des surfaces (artefacts visibles également sur les limites d'ombre).

    Il faudrait donc :

    1. décomposer tous les termes de l'éclairement avec LuxRender ; pour les éclairements direct et diffus, c'est déjà fait ; pour l'éclairement réfléchi, c'est relativement aisé ; pour l'éclairement de couplage, il faut définir un matériau qui soit transparent dans le sens descendant et lambertien dans le sens montant (avec pour réflectance l'albédo sphérique du ciel, calculé par 6S).
    Note : la méthode de rajout d'un terme constant à la luminance de ciel [Lachérade 05] n'est pas satisfaisante.
    Au passage : pour comparer les éclairements réfléchis, il faudrait préciser les critères d'arrêt du lancer de rayons dans AMARTIS.

    2. Quantifier l'effet de la discrétisation dans AMARTIS et du bruit stochastique dans LuxRender, sur des scènes simples (sol plat, marche d'escalier, V, etc ...). Cela permettra de connaître la variance imputable à ces effets, pour ne garder que le biais entre les simulations.

    3. Effectuer les comparaisons AMARTIS-LuxRender sur ces scènes simples avant de refaire des scènes plus complexes.

    4. Comparer également les luminances en entrée du capteur.
    La luminance atmosphérique montante est donnée par 6S, et est considérée comme constante en aérien si on a un faible champ. Si le champ est large, on fait le calcul 6S pour plusieurs directions de visée et on interpole. En terrestre, les distances sont très faibles donc on peut négliger la luminance atmosphérique.
    Le calcul de la luminance diffuse montante dans AMARTIS se fait par Monte-Carlo, avec une hypothèse d'atmosphère plan-parallèle. C'est un terme plus lourd à calculer avec LuxRender, puisqu'il faut définir des propriétés volumiques de l'atmosphère, ce qui n'a pas encore été envisagé jusqu'à maintenant. De plus la luminance diffuse montante est négligeable en terrestre. C'est cependant indispensable de pouvoir la calculer si l'on veut disposer d'un outil généraliste. De plus, il faut avoir une cohérence entre l'aérien et le terrestre. Un tel outil pourrait faire l'objet d'une publication.

    5. Effectuer des comparaisons à différentes longueurs d'onde, afin de valider la cohérence des différents termes quelque soit leur importance relative.

    6. Pour augmenter la lisibilité, rajouter des échelles de valeurs sur les images, des numéros de figures et de pages.


  • BRDF des matériaux
    Le DOTA dispose d'un appareil de mesure de la BRDF permettant désormais d'accéder aux visées rasantes. Il faudrait donc récupérer un groupe d'échantillons représentatifs des scènes que l'on voudra traiter, notamment des vitres (simple et double vitrage), des menuiseries (PVC, bois, aluminium), de la brique, béton, crépis, ... L'ONERA possède déjà les données pour les bitumes. La taille des échantillons doit être de l'ordre du cm (à confirmer). Une piste pour récupérer des matériaux : la mairie de Paris. Des BRDF réelles de ce type permettraient de faire des simulations dans des conditions réalistes.
    A noter :
    - un modeleur procédural développé chez Thalès (Oussama Moslah) pourrait permettre d'utiliser des modèles très détaillés.
    - s'il y a beaucoup d'échantillons à mesurer, il faudra peut-être que Fabien aille aider à Toulouse.


  • Calcul d'une image de ciel
    Dans le cas des images terrestres : afin de ne pas dépendre de données atmosphériques externes, et de ne pas effectuer de transfert radiatif avec 6S, on peut reconstituer une image du ciel directement à partir des 10 caméras placés sur le mât du camion. Les parties cachées par les hauts bâtiments peuvent être complétées en utilisant les images de plusieurs positions du camion, à l'échelle de plusieurs rues.
    En effet, la luminance mesurée par la caméra dans le ciel comprend les luminances diffuse du ciel et de couplage. Cela permet en outre de traiter des scènes acquises par tout temps (ciel couvert, nuages, ...).

    Le problème qui se pose est la dynamique des caméras : il y a saturation des images dans le halo du soleil. Plusieurs solutions sont à étudier :
    1. placer un Spectralon dans le champ de la caméra, dont une partie est caché de l'éclairement solaire direct. La différence pixel au soleil - pixel à l'ombre donne accès à l'éclairement direct
    2. héliophotomètre : coûteux, pas le mieux adapté
    3. utiliser un verre semi-transparent de transmission connue pour la caméra qui regarde dans la direction du soleil
    4. alterner les temps de pose courts et longs, pour générer des images HDR

    Dans tous les cas, il faudrait un système qui reste constamment tourné vers le soleil.
Prochaine réunion : lundi 7 juin 2010 à 14h