vendredi 26 novembre 2010

Compte-rendu de la réunion du 25 novembre 2010

Etaient présents : Nicolas, Matieu, Lâmân, Xavier, Fabien

Concernant l'article pour 3DIMPVT :
  • identifier ce qui est attendu à cette conférence
  • la partie "modélisation physique" doit être axée sur les phénomènes mis en jeu et leur prise en compte. Montrer des résultats de calcul avec 6S pour justifier la négligeabilité de l'absorption/diffusion à l'intérieur de la scène urbaine.
  • on peut étendre la méthode présentée à des modèles de BRDF à noyaux (qui doivent être linéaires par rapport aux paramètres). Cela permettrait de valoriser la méthode.
  • parler du caractère multi-vues de la méthode

Travaux à venir :
  • Une étape intermédiaire avant l'utilisation de données réelles pourrait être l'utilisation de BRDF tabulées réelles pour faire la simulation, et l'estimation d'un modèle paramétrique de BRDF.
  • Utilisation de données réelles : sur la rue Soufflot, on possède un modèle 3D fin et une acquisition Stéréopolis.
  • Reconstruction de la luminance diffuse du ciel à partir des images : un stage est proposé au MATIS sur ce sujet. Il y a des problèmes de saturation autour du soleil ; on pourra explorer l'apport de l'HDR (bracketing sur l'exposition), et élaborer une méthode de type point "ombre-soleil" pour déterminer l'éclairement direct. Attention : on ne peut pas s'affranchir complètement d'une calibration radiométrique absolue de la caméra (l'intégrale d'un produit n'est pas égal au produit des intégrales).
  • Variabilité intra-classe de la réflectance : considère-t-on que le modèle est parfaitement segmenté en zones homogènes, ou bien estime-t-on aussi les variations au sein de chaque zone? Un article de Briottet et Lachérade traite des plages de variation pour un même matériau. Il faudrait chercher les invariants propres à un matériau (signature spectrale par exemple). Autre idée : se placer dans un plan où l'on sait que l'on n'a pas de spéculaire (peut se déduire de la géométrie) pour estimer la variation de la partie diffuse.

lundi 13 septembre 2010

Conférences 2011

Recensement (non exhaustif) des conférences auxquelles je pourrai soumettre un article au cours de l'année qui vient :
cliquer ici

mardi 8 juin 2010

Compte-rendu de la réunion du 7 juin 2010

Étaients présents : Xavier, Nicolas, Mathieu, Lâmân, Fabien

Mesures de BRDF sur échantillons
  • Récupération de matériaux : c'est en bonne voie avec la mairie de Paris. Il faut relancer P. Jarossay pour obtenir un contact à la direction du patrimoine. Il pourrait être intéressant de récupérer des matériaux de bâtiments HQE (bois, panneaux solaires, ...). Le LCPC (pour des mesures) et le CSTB (pour des échantillons) sont également des organismes à contacter.
    La taille des échantillons doit être d'environ 2 cm pour le banc Mélopée, et de 2 à 20 cm pour le gros goniomètre (qui est limité à un angle zénital de 60°).

  • Mesures : il faut compter entre 3 et 4h de mesure par échantillon. Cela se fait automatiquement, et peut donc être lancé la nuit par exemple. Il faut néanmoins restreindre le nombre d'échantillons ; pour cela il faudrait choisir une scène test et recenser les matériaux qu'elle contient.
    Un post-doc va être recruté à l'ONERA pour travailler sur les matériaux.

  • On pourrait réaliser une prise de vue multi-angulaire sur les échantillons pour tester l'algorithme d'inversion ; le problème est qu'il faut maîtriser l'éclairage. Un montage en labo serait compliqué si l'on veut avoir à la fois une composante directe et une composante diffuse ; une acquisition en extérieur serait peut-être préférable. Cela pourrait en outre permettre d'estimer la variabilité spatiale des matériaux.

  • Le but de cette campagne de mesure est de choisir des modèles de BRDF les plus adaptés, quantifier l'erreur qu'ils introduisent, voir la variation spatiale sur un matériau

Méthodologie
  • Utilisation des données laser : complémentaire de la mesure de BRDF (en effet celle-ci n'a pas accès au pic de rétrodiffusion, alors que c'est la seule chose que mesure le laser).
    Si l'on suppose que les discontinuités de la rétrodiffusion laser sont corrélés avec les discontinuités de la réflectance bidirectionnelle, on peut segmenter la scène avec le laser pour réduire le nombre de paramètres à estimer.

  • La classification en elle-même n'est pas un but de la thèse ; il s'agit d'égaliser radiométriquement un ensemble d'images terrestres, donc de passer d'images de luminance en images de réflectance.

  • Problème que l'on va rencontrer : dans les ombres, on a accès qu'à la réflectance hémi-directionnelle. Au soleil, on a accès aux effets bidirectionnels. Comment mélanger les deux? (notamment dans le cas où on a une surface entièrement à l'ombre).

  • Dans un premier temps, on peut considérer pour cette thèse que la segmentation est connue (et "parfaite"), de même que le modèle 3D. Il s'agit en effet d'une problématique traitée par d'autre doctorants.

  • Tests LuxRender sur des scènes simples : les faibles valeurs de l'éclairement sont dues à la définition de la source de lumière : une environment map de luminance unitaire. Les différences aux niveaux des discontinuités du modèle sont peut-être dues à l'effet passe-bas de la discrétisation ; il faudrait valider cela en changeant le nombre de pixels. La validation de LuxRender nécessite des données de référence calculées par AMARTIS pour comparaison (qui peuvent être déposées sur ftp://IGNONERA@ftp.ign.fr).
Choix d'une scène-test
  • Un lotissement neuf présente l'avantage de matériaux propres et homogènes, ainsi qu'une absence de végétation. Cependant les bâtiments sont à 1 étage maximum, et très espacés.

  • On possède déjà beaucoup de données sur une zone du 12 arrt de Paris, qui sert de zone-test pour d'autres études. La rue Pleyel présente des bâtiments plutôt blancs, de type haussmaniens, de hauteur constante. Il faudra réaliser une segmentation manuelle du nuage de points 3D de la scène choisie.
    cf. Google Maps

Prochaine réunion : le 8 juillet à 9h30

vendredi 28 mai 2010

Compte-rendu de la visite du dépôt de Bonneuil

Lieu :
CMA - dépôt de Bonneuil
150 quai du Rancy
94380 Bonneuil Sur Marne

Date : vendredi 28 mai matin

Étaient présents :
  • Philippe Jarossay : chef de la division des plans de voirie (Direction de la Voirie et des Déplacements (D.V.D.) / Mairie de Paris)
  • Marie-Céline Daupin : chef du dépôt de Bonneuil sur Marne (Direction de la Voirie et des Déplacements (D.V.D.) / Mairie de Paris)
  • François Boyero (MATIS / IGN)
  • Fabien Coubard (MATIS / IGN)

But de l'étude :

Dans le cadre de la thèse de Fabien C., il s'agit de mesurer la réflectance bidirectionnelle des matériaux les plus représentatifs d'une scène urbaine. Cela permettra d'enrichir la base de données de matériaux déjà disponibles à l'ONERA, et de valider l'utilisation d'un ou plusieurs modèles paramétriques de BRDF, en quantifiant l'erreur induite. Ainsi, on souhaite obtenir une modélisation fine du comportement des matériaux urbains à la résolution de l'imagerie terrestre, afin de disposer d'un problème direct le plus proche possible de la réalité. L'inversion de ce problème direct permettra d'extraire des images une information sur les matériaux qui soient indépendantes des conditions d'acquisition.

Matériaux disponibles :

Le dépôt de Bonneuil gère tous les matériaux utilisés pour la maintenance de la voirie à Paris. Il s'agit de matériaux de la chaussée (pavés grès ou granit), des trottoirs (bordures, dallage, caniveaux, ...), mais aussi de mobilier urbain (barrières, bornes, bancs, grilles de pied d'arbre, ...).
Le dépôt possède des matériaux neufs, mais récupère également les matériaux usagers, car une activité de recyclage se développe de plus en plus. Notamment en ce qui concerne les éléments en granit, qui sont retaillés et polis pour une nouvelle utilisation. Il y a donc possibilité de récupérer des matériaux présentant des degrés d'usure et/ou de salissure divers.

Procédure de sélection/récupération :

Une sélection pertinente des objets à mesurer va s'avérer nécessaire : le catalogue du dépôt possède environ 1600 références, parmi lesquelles des objets ne différant que par leurs dimensions ; cela fait donc un nombre de matériaux plus restreint, qu'il faut cependant multiplier par le nombre moyen d'usures ou salissures différentes disponibles pour un même matériau. Cette sélection des échantillons est laissée à la compétence de Mme Daupin, à partir des spécifications fournies par Fabien C. Les spécifications retenues au cours de la visite sont :
- un maximum de 100 échantillons (à revoir en fonction de la durée du protocole de mesure sur le goniomètre du DOTA)
- des matériaux les plus divers possibles (nature, provenance, âge, utilisation, ...)
- un temps de collecte de l'ordre d'un à deux mois pour un traitement d'ici la fin de l'été
- des échantillons de taille décimétrique (avec un minimum de 3 cm * 3cm environ, un maximum limité par le transport, soit de l'ordre d' 1 m) ; ils seront donc pris préférentiellement dans des chutes ou objets cassés
Par ailleurs, nous a été remis un catalogue des objets disponibles, pour pouvoir faire de notre côté une sélection. Ainsi, une harmonisation sera faite au fur et à mesure entre les échantillons disponibles et les échantillons souhaités.
En ce qui concerne la récupération des échantillons, une demande officielle de l'IGN (signée par Nicolas P. par exemple) sera nécessaire pour que Mme Daupin puisse rédiger une demande de sortie des matériaux (formalité administrative a priori rapide).
Les matériaux de mobilier urbain seront plutôt récupérables sur des objets abîmés, pour lesquels il faudra découper des échantillons à la bonne taille (dans les ateliers de l'IGN, où l'on peut découper métal et bois, mais pas la pierre). Pour les autres matériaux, ils devraient être fournis sous forme d'échantillons plus petits (chutes, petits objets tels que les pavés). Il ne sera pas nécessaire de restituer les échantillons après les mesures.

Divers/remarques :

- Sur une idée de François B. : il serait intéressant de prendre également des photos des échantillons sous différents angles, afin d'étudier le potentiel de reconstruction de la BRDF à partir d'une acquisition multi-vues, dans un cas réel mais maîtrisé.
- La D.V.D. semble très intéressée par ces travaux de recherche, et plus généralement par les travaux du MATIS : détection automatique du mobilier urbain, classification des matériaux en fonction de leur nature et de leur usure apparaissent comme des pistes à explorer pour limiter les déplacements sur le terrain (jugés actuellement trop nombreux et donc trop coûteux), et plus généralement pour améliorer la gestion des infrastructures. Il est cependant clair que cela dépasse le cadre de la thèse de Fabien C.
- Pour la récupération de matériaux provenant de bâtiments, il faut s'adresser à la Direction du Patrimoine et de l'Architecture (D.P.A.). M. Jarossay devrait nous y procurer un contact.

jeudi 1 avril 2010

Compte-rendu de la réunion du 1 avril 2010

Étaient présents : Mathieu Brédif, Nicolas Paparoditis, Xavier Briottet, Fabien Coubard.

  • Comparaison AMARTIS/LuxRender.
    La variance observée sur l'éclairement total au sol est forte. L'écart sur l'éclairement direct est faible (RMS de 0.4%) ; en revanche il est plus fort pour l'éclairement diffus. On note pour Ediffus plusieurs effets pouvant expliquer l'écart : la dissymétrie sur les toits fait penser à une mauvaise orientation de l'azimut (à vérifier), et les à-plats sur l'image des écarts rappellent les artefacts observés sur l'image AMARTIS, dûs à la discrétisation angulaire du ciel et à la triangulation des surfaces (artefacts visibles également sur les limites d'ombre).

    Il faudrait donc :

    1. décomposer tous les termes de l'éclairement avec LuxRender ; pour les éclairements direct et diffus, c'est déjà fait ; pour l'éclairement réfléchi, c'est relativement aisé ; pour l'éclairement de couplage, il faut définir un matériau qui soit transparent dans le sens descendant et lambertien dans le sens montant (avec pour réflectance l'albédo sphérique du ciel, calculé par 6S).
    Note : la méthode de rajout d'un terme constant à la luminance de ciel [Lachérade 05] n'est pas satisfaisante.
    Au passage : pour comparer les éclairements réfléchis, il faudrait préciser les critères d'arrêt du lancer de rayons dans AMARTIS.

    2. Quantifier l'effet de la discrétisation dans AMARTIS et du bruit stochastique dans LuxRender, sur des scènes simples (sol plat, marche d'escalier, V, etc ...). Cela permettra de connaître la variance imputable à ces effets, pour ne garder que le biais entre les simulations.

    3. Effectuer les comparaisons AMARTIS-LuxRender sur ces scènes simples avant de refaire des scènes plus complexes.

    4. Comparer également les luminances en entrée du capteur.
    La luminance atmosphérique montante est donnée par 6S, et est considérée comme constante en aérien si on a un faible champ. Si le champ est large, on fait le calcul 6S pour plusieurs directions de visée et on interpole. En terrestre, les distances sont très faibles donc on peut négliger la luminance atmosphérique.
    Le calcul de la luminance diffuse montante dans AMARTIS se fait par Monte-Carlo, avec une hypothèse d'atmosphère plan-parallèle. C'est un terme plus lourd à calculer avec LuxRender, puisqu'il faut définir des propriétés volumiques de l'atmosphère, ce qui n'a pas encore été envisagé jusqu'à maintenant. De plus la luminance diffuse montante est négligeable en terrestre. C'est cependant indispensable de pouvoir la calculer si l'on veut disposer d'un outil généraliste. De plus, il faut avoir une cohérence entre l'aérien et le terrestre. Un tel outil pourrait faire l'objet d'une publication.

    5. Effectuer des comparaisons à différentes longueurs d'onde, afin de valider la cohérence des différents termes quelque soit leur importance relative.

    6. Pour augmenter la lisibilité, rajouter des échelles de valeurs sur les images, des numéros de figures et de pages.


  • BRDF des matériaux
    Le DOTA dispose d'un appareil de mesure de la BRDF permettant désormais d'accéder aux visées rasantes. Il faudrait donc récupérer un groupe d'échantillons représentatifs des scènes que l'on voudra traiter, notamment des vitres (simple et double vitrage), des menuiseries (PVC, bois, aluminium), de la brique, béton, crépis, ... L'ONERA possède déjà les données pour les bitumes. La taille des échantillons doit être de l'ordre du cm (à confirmer). Une piste pour récupérer des matériaux : la mairie de Paris. Des BRDF réelles de ce type permettraient de faire des simulations dans des conditions réalistes.
    A noter :
    - un modeleur procédural développé chez Thalès (Oussama Moslah) pourrait permettre d'utiliser des modèles très détaillés.
    - s'il y a beaucoup d'échantillons à mesurer, il faudra peut-être que Fabien aille aider à Toulouse.


  • Calcul d'une image de ciel
    Dans le cas des images terrestres : afin de ne pas dépendre de données atmosphériques externes, et de ne pas effectuer de transfert radiatif avec 6S, on peut reconstituer une image du ciel directement à partir des 10 caméras placés sur le mât du camion. Les parties cachées par les hauts bâtiments peuvent être complétées en utilisant les images de plusieurs positions du camion, à l'échelle de plusieurs rues.
    En effet, la luminance mesurée par la caméra dans le ciel comprend les luminances diffuse du ciel et de couplage. Cela permet en outre de traiter des scènes acquises par tout temps (ciel couvert, nuages, ...).

    Le problème qui se pose est la dynamique des caméras : il y a saturation des images dans le halo du soleil. Plusieurs solutions sont à étudier :
    1. placer un Spectralon dans le champ de la caméra, dont une partie est caché de l'éclairement solaire direct. La différence pixel au soleil - pixel à l'ombre donne accès à l'éclairement direct
    2. héliophotomètre : coûteux, pas le mieux adapté
    3. utiliser un verre semi-transparent de transmission connue pour la caméra qui regarde dans la direction du soleil
    4. alterner les temps de pose courts et longs, pour générer des images HDR

    Dans tous les cas, il faudrait un système qui reste constamment tourné vers le soleil.
Prochaine réunion : lundi 7 juin 2010 à 14h

lundi 29 mars 2010

Etude du lancer de rayons avec LuxRender

Etude théorique disponible ici.
Validation expérimentale avec AMARTIS disponible ici.

vendredi 26 février 2010

Compte-rendu réunion du 26 février 2010

  • le blog de suivi semble une bonne solution

  • étude des données disponibles :
    Une interface d'extraction des données laser sera disponible prochainement, de même qu'un outil pour sortir un modèle 3D en facettes avec éventuellement placage de l'information issue des images ; cet outil, développé par Alexandre Devaux au MATIS, sera modulable.
    Le potentiel de ces données du camion doit être étudié dans le contexte de cette thèse : trouver les plages de variation de la rétro-diffusion, quantifier le niveau de bruit, étudier la dépendance à la nature, la rugosité et la géométrie des matériaux, étudier la corrélation entre la rétro-diffusion dans le pIR et la réflectance dans le visible, ... Une stratégie de test devrait donc être définie.
    Cette étude doit être menée sur un jeu de données suffisamment significatif pour pouvoir faire des statistiques (sur le 12ème arr. de Paris). Elle pourrait de plus donner lieu à publication de par son originalité.

  • comparaison LuxRender/AMARTIS :
    Il faudrait comparer par différence et non par rapport. Le rapport avait été utilisé par manque de maîtrise des grandeurs sorties de LuxRender -> il faudrait donc s'assurer que LuxRender sorte des grandeurs physiques (éclairements, luminances).
    De même, il faut montrer comment la modélisation des sources en entrée de LuxRender (environment map, source directionnelle) permet (ou non) de prendre en compte tous les termes de l'équation radiométrique.
    Une étape de modélisation du lien entre physique et ray-tracing est donc nécessaire pour les 2 étapes : simulation et inversion.
    Pour aider dans l'utilisation de 6S, l'ONERA met à disposition une version modifiée permettant de sortir la luminance diffuse descendante.

  • la connaissance de la réponse spectrale des caméras utilisées sur le camion pourrait être critique. L'étalonnage à l'IGN se fait sur une mire Gretag MacBeth (mais l'ONERA peut calibrer spectralement des sytèmes optiques avec un spectromètre à réseau). Il faudra donc étudier l'impact de cette réponse spectrale.

jeudi 28 janvier 2010

mardi 19 janvier 2010

Compiler LuxRender sur Ubuntu

Les paquets suivants sont disponibles directement (avec Système/Administration/Synaptic ou en ligne de commande : sudo apt-get install nom_du_paquet).

Paquets à installer pour pouvoir compiler LuxRender :
  • Fast Light Toolkit (FLTK) : libfltk1.1
  • OpenEXR : openexr, openexr-viewers, libopenexr-dev, libilmbase-dev
  • Boost : libboost1.40-all-dev (installe toutes les librairies)
  • Analyseur syntaxique Bison : bison
  • Analyseur lexical Flex : flex
  • Librairie JPEG : libjpeg62-dbg, libjpeg62-dev
  • Librairie Tiff : libtiff4-dev
  • Librairie PNG : libpng12-dev
  • OpenGL : glutg3-dev, libglut3-dev
  • WxWidgets : libwxgtk2.8-dev
Paquets à installer pour pouvoir compiler 6S :
  • Compilateur gFortran : gfortran et gfortran-multilib
Remarque sur l'utilisation de Blender :
  • un paquet existe dans les dépôts Ubuntu : blender
  • désactiver compiz-fusion pour que l'application fonctionne correctement (problème qui semble ne plus apparaître à partir de la version 10.10 d'Ubuntu)
Autres remarques :
  • OpenEXR est un format d'images HDR (32 ou 64 bits). exrdisplay du paquet OpenEXR-Viewers permet de visualiser ces images. J'en ai fait une version permettant le réglage du gamma.

mardi 12 janvier 2010

Bibliographie

Travaux fondamentaux, prédécesseurs :




Transfert radiatif :




Documents et travaux décrivant les différentes méthodes de simulation :


  • [Pharr et Humph. 04] Pharr, Matt et Humphreys, Greg : Physically based rendering, livre, éd. Morgan Kaufmann Publishers, 2004.
    cf. le site PBRT
    → Description très complète (avec pseudo-code) des principes, des algorithmes et de l'implémentation du code de ray-tracing basés sur les lois de la physique PBRT.


  • [Marchadier 97] Marchadier, Jocelyn : Radiosité et parallélisme, rapport de stage de DEA, 1997.
    → Principe de la simulation par radiosité.


  • [Dutré et al 03] Dutré et al : Advanced Global Illumination, livre, 2003.
    Extraits disponibles sur : http://books.google.com/books?...
    → Description des méthodes Monte-Carlo, des méthodes de tirage aléatoire


  • [Paulin 04] Paulin, Mathias : Monte-Carlo et lancer de rayons, présentation IRIT, 2004.
    Disponible sur : http://www.irit.fr/%7EMathias.Paulin/GDRCouleur/CoursGDRCouleur-online/gtree/index.html
    → Bien illustré, notamment pour la notion de convergence


  • [Veach 97] Veach, Eric : Robust Monte-Carlo method for light transport simulation, thèse de doctorat, Stanford University, 1997.
    → Méthodes d'échantillonnage préférentiel pour le lancer de rayons ; ces résultats ont été en partie utilisés dans PBRT et donc dans LuxRender.


  • [Spencer 93] Spencer, Stephen : Radiosity overview, SIGGRAPH Education Slide Set, 1993.
    Disponible sur : http://www.siggraph.org/education/materials/HyperGraph/radiosity/overview_1.htm


  • [Kajiya 86] Kajiya, James T. : The rendering equation, SIGGRAPH, 1986.
    → Description de l'équation locale du rendu, traduisant la conservation de l'énergie, et utilisée dans les simulateurs en computer graphics.



Modèles de BRDF :



Articles sur l'inverse rendering :

  • [Haber et al 09] Haber, T. and Fuchs, C. and Bekaer, P. and Seidel, H.P. and Goesele, M. and Lensch, H.P.A. : Relighting objects from image collections, CVPR, 2009.
    → Estimation de la réflectance avec illumanition non connue, pas d'interréflexions, en utilisant les ondelettes





  • Articles sur les méthodes d'inversion :


    • [Nelder & Mead 65] Nelder, J.A. et Mead, R : A simplex method for function minimization, The computer journal, 1965.
      → Méthode classique de minimisation non-linéaire par déformations successives d'un simplexe, demandant moins d'estimation de la fonction coût qu'une méthode utilisant le gradient local pour linéariser.



    Articles traitant de la détection du ciel dans les images :




    Articles traitant de la détection des ombres (de façon non physique) :



    Articles traitant de sujets connexes, de façon non physique :


    • Sunkavalli, Kalyan et al : Factored time-lapsed video, article SIGGRAPH, 2007.
      Disponible sur : http://www.cs.princeton.edu/gfx/pubs/Sunkavalli_2007_FTV/index.php
      → À partir d'une acquisition vidéo sur une journée, décomposition des images en une image d'albédo et une image d'éclairement


    • [Chain 04] Chain, Cyril : Caractérisation spectrale et directionnelle de la lumière naturelle : application à l'éclairage des bâtiments, thèse de doctorat, 2004.
      Disponible sur : http://csidoc.insa-lyon.fr/these/pont.php?id=chain
      → Description des modèles empiriques de ciel Perez et CIE (mais travail en grandeurs photométriques)


    • [Pérez 93] Pérez, Richard : All-weather model for sky luminance distribution - preliminary configuration and validation, article de Solar Energy 51, 1993.
      → Modèle empirique de ciel de Pérez


    • [CIE S011 03] Commission Internationale de l'Eclairage : Spatial distribution fo dylight - CIE standard general sky, standard CIE, 2003.
      PDF disponible sur : ce lien
      → Modèle empirique standard de ciel élaboré par la CIE, reprenant en grande partie le modèle de Pérez



    Autres articles :




    Rapports internes F. Coubard :


    CR réunion du 11 janvier 2010

    Participants : X. Briottet, N. Paparoditis, M. Brédif, F. Coubard

    Lieu : ONERA/DOTA, Toulouse


    Planification : le doctorant doit
    organiser une réunion par mois pour présenter l'avancement des
    travaux, avec un rapport préalable ; un rapport annuel doit
    également être prévu, ainsi qu'un espace accessible via internet
    (wiki, blog), pour centraliser tous ces documents, plus les articles
    lus qui paraissent pertinents.

    Présentation de l'outil envisagé pour
    la simulation de scène : LuxRender, basé sur le moteur de
    ray-tracing PBRT (M. Pharr et G. Humphreys). Il faudrait résumer les
    principales caractéristiques de cet outil, et faire des tests
    quantitatifs sur ses temps de calcul.

    L'approche par simulation – validation (déjà suivie par S. Lachérade et C. Thomas) sera
    utilisée : développement de l'outil de simulation, validation sur
    des données entièrement synthétiques, validation sur des données
    réelles. Même si cela n'est pas une fin, il faut veiller à la
    qualité physique (exactitude, précision) des résultats des
    inversions. Il faudrait également réaliser une étude
    phénoménologique en écrivant les équations radiatives.

    Utilisation des données de Stéréopolis
    : il faudrait regarder rapidement à quoi ressemble ces données .

    • Quelques « pré »-manipulations
      seraient intéressantes : faire un profil vertical de
      rétro-diffusion laser sur une façade) ; acquérir des données sur
      des petites zones tests pour tester le potentiel pour l'estimation
      de BRDF, pour évaluer empiriquement l'impact radiatif de certains
      objets (voitures, végétation, ...).

    • potentiel des données : caméras
      de 2 Mpixels avec un pixel centimétrique, nuage de points laser
      très fin -> données influencées par la « micro »-rugosité
      (échelle centi à décimétrique). Cela doit permettre d'accéder
      aux effets directionnels de façon très locale, ainsi qu'à une
      échelle macroscopique.


    Rapport décembre 2009

    1. Bilan rapide

    Les travaux menés jusqu'à présent ont porté sur la transformation d'un logiciel de ray-tracing open source en un outil utilisable pour nos tests, à savoir un outil d'inversion de l'équation radiométrique par le principe classique d'analyse/synthèse minimisant les différences entre une image simulée et une image réelle.

    Le ray-tracer retenu à cet effet est LuxRender, qui a l'avantage de posséder une IHM et de mettre à disposition des exporteurs pour différents logiciels de modélisation 3D, dont Blender (open source). LuxRender est open source (GPL), et est basé sur PBRT (Physically Based Rendering), développé à l'Université de Stanford.

    Les modifications apportées jusqu'à maintenant à LuxRender sont principalement :

    • la possibilité de spécifier la réponse spectrale des canaux de la caméra

    • la possibilité de sortir des images d'éclairement au sol, et non plus seulement des images de luminance au niveau du capteur

    Le calcul d'image d'éclairement a permis une première validation de l'outil, en réalisant l'inversion sur une scène, dans le cas lambertien, sous hypothèse d'une atmosphère sans diffusion ni absorption. Dans ce cas, on a pour tout point P de la scène : (1).

    Cette inversion triviale a été réalisée sur un modèle 3D synthétique, qui a permis de simuler une image de luminance (avec la version initiale de LuxRender ; cf. fig. 1), et de calculer une image d'éclairement (avec la version modifiée de LuxRender ; cf. fig. 2). L'équation (1) nous a alors redonné les valeurs de la réflectance (ici un albédo) des matériaux utilisés dans le modèle 3D, avec une très bonne précision (cf. fig. 3).

    Il n'y avait ici pas de difficulté théorique, d'autant plus que l'on a utilisé uniquement des données simulées, mais cela a permis de prendre en main le code source de LuxRender.




    Fig. 1 : Image de
    luminance « réelle » (ici simulée)





    Fig. 2 : Image
    d'éclairement simulé





    Fig. 3 : Image de
    réflectance calculée


    L'algorithme présenté précédemment est en réalité itératif : on a besoin des réflectances des matériaux pour estimer les termes réfléchis de l'éclairement. On initialise donc ces réflectances arbitrairement, on les affine par division de la luminance par l'éclairement simulé, et on réitère jusqu'à convergence.

    En pratique dans le cas présenté ici, la convergence est très rapide : 3 itérations (faites « à la main ») ont été tout à fait suffisantes, en donnant un albédo initial de 0.5 à tous les matériaux.


    2. Évolution envisagée

    Dans le cas général (utilisation d'un modèle de BRDF par type de matériau et coefficient d'extinction de l'atmosphère non nul), on n'a pas de formule aussi simple pour l'inversion, et il faudra procéder par minimisation.

    Cette minimisation nécessite de faire un lancer de rayons complet à chaque itération, i.e. à chaque fois que l'on fait varier les paramètres à estimer (paramètres des BRDF, et éventuellement des sources lumineuses et des conditions atmosphériques). Recalculer une image par ray-tracing à chaque itération mènerait à des temps de calcul énormes ; sur une idée de M. Brédif, on souhaite donc n'effectuer qu'une seule phase de lancer de rayons, en calculant pour chaque pixel i de l'image de luminance rendue non plus une valeur de type RGB, mais l'expression de cette valeur en fonction des paramètres de la scène : .

    En effet, ces fonctions fi des paramètres ne dépendraient plus que de la géométrie de la scène, et ce pré-calcul permettrait de synthétiser rapidement la luminance en fonction des paramètres à estimer (extension des techniques de ré-éclairement au changement de matériaux).

    Pour introduire cette optimisation dans LuxRender, il faut que les rayons lancés ne transportent pas seulement une valeur numérique, mais une expression contenant à la fois des constantes liées à la géométrie de la scène et des variables symboliques représentant les paramètres à estimer. D'après une première analyse (cf. fig.4), cela paraît possible sans trop modifier le fonctionnement de base de LuxRender, en rajoutant la création des variables symboliques à la lecture de la scène (classe Scene du diagramme UML), et en faisant manipuler ces variables symboliques lors du lancer de rayons (classe SurfaceIntegrator).

    Cette modification de LuxRender pour lui faire manipuler des variables symboliques est donc le travail actuellement en cours.


    3. Conclusion

    Une fois validé, l'outil LuxRender modifié serait une base pour réaliser les objectifs de cette thèse. En effet, on dispose d'un jeu d'images terrestres réelles d'une scène urbaine. Si l'on sait les segmenter en zones homogènes, on pourrait alors estimer les paramètres du modèle de BRDF choisi pour chaque zone. Pour cela, il sera également indispensable d'utiliser la redondance apportée par le multi-vue.

    .

    Sujet : Corrections radiométriques d'images terrestres

    L'acquisition de données images terrestres à l'aide de véhicules géolocalisés est désormais une technologie maîtrisée. Cependant, en vue de la mise à disposition de ces données au grand public dans des navigateurs de type « Street View », des traitements radiométriques sont nécessaires, d'une part pour améliorer la lisibilité de ces images à grande dynamique (12 bits) et présentant de fortes variations d'illumination, et d'autre part pour ré-éclairer la scène sous des conditions d'éclairement (saison, heure, météo) souhaitées par l'utilisateur.

    Pour cela, on dispose comme données d'entrée d'un jeu d'images géoréférencées, composé d'images recouvrant tout l'hémisphère au-dessus du sol (panoramiques complètes), et ce pour chaque station du véhicule, soit environ tous les 3 m en moyenne. Il s'agit donc d'une acquisition multi-angulaire à fort recouvrement. On dispose également d'un levé laser simultané (ou au minimum d'un modèle 3D plus ou moins fin des façades), ainsi que de l'étalonnage radiométrique et géométrique des caméras.

    On se propose alors de retrouver à partir de ces données les propriétés de réflectance des matériaux de la scène, indispensables pour l'égalisation des images et autres applications correctives. La méthode envisagée consiste en plusieurs étapes :

    Le calcul d'une image de ciel directement à partir d'un ensemble d'images ; on suppose pour cela que le ciel ne change pas localement au cours de l'acquisition, et on essaie d'obtenir grâce à l'ensemble des images une hémisphère complète. La valeur relative de la luminance du ciel par rapport à l'éclairement solaire doit être estimée par ailleurs, car les images seront saturées autour du soleil ; on peut pour cela placer sur le véhicule, dans le champ de la caméra, un étalon lambertien.

    La réduction du nombre d'inconnues du problème à l'aide d'une segmentation de l'image en zones de réflectance homogène. Celle-ci peut être guidée par la rétro-diffusion du signal laser, qui est supposée indépendante de l'éclairement de la scène (capteur actif dans le proche infra-rouge), et n'est donc pas influencée par les limites d'ombre. On peut dresser à cette étape une cartographie des ombres dans la scène.

    L'inversion du modèle radiométrique pour l'estimation des réflectances des matériaux. Celle-ci se fait par minimisation entre des images simulées (par un logiciel de ray-tracing) et les images acquises (en utilisant toutes les images disponibles, issues des différentes stations du véhicule). L'utilisation d'un modèle de BRDF réaliste (même pour un éclairement rasant) mais ayant peu de paramètres est un point critique pour la précision du résultat et la qualité des corrections radiométriques ultérieures. Là encore, on peut utiliser le signal laser pour rajouter des équations dans l'estimation des paramètres de BRDF. De plus, le nuage laser peut servir à donner un modèle 3D très détaillé pour le ray-tracing.

    L'impact du niveau de détail et de la précision du modèle (du nuage de points brut à des simples plans principaux de façade comme dans Bati3D) sur la qualité de la correction et du rendu sera étudié.

    La validation des résultats de cette méthode doit être effectuée avec une vérité terrain incluant des mesures de réflectance bidirectionnelle des matériaux. Cependant, les applications étant également esthétiques, une validation visuelle de leurs résultats est également nécessaire, et est aussi importante que la validation numérique.