vendredi 26 février 2010

Compte-rendu réunion du 26 février 2010

  • le blog de suivi semble une bonne solution

  • étude des données disponibles :
    Une interface d'extraction des données laser sera disponible prochainement, de même qu'un outil pour sortir un modèle 3D en facettes avec éventuellement placage de l'information issue des images ; cet outil, développé par Alexandre Devaux au MATIS, sera modulable.
    Le potentiel de ces données du camion doit être étudié dans le contexte de cette thèse : trouver les plages de variation de la rétro-diffusion, quantifier le niveau de bruit, étudier la dépendance à la nature, la rugosité et la géométrie des matériaux, étudier la corrélation entre la rétro-diffusion dans le pIR et la réflectance dans le visible, ... Une stratégie de test devrait donc être définie.
    Cette étude doit être menée sur un jeu de données suffisamment significatif pour pouvoir faire des statistiques (sur le 12ème arr. de Paris). Elle pourrait de plus donner lieu à publication de par son originalité.

  • comparaison LuxRender/AMARTIS :
    Il faudrait comparer par différence et non par rapport. Le rapport avait été utilisé par manque de maîtrise des grandeurs sorties de LuxRender -> il faudrait donc s'assurer que LuxRender sorte des grandeurs physiques (éclairements, luminances).
    De même, il faut montrer comment la modélisation des sources en entrée de LuxRender (environment map, source directionnelle) permet (ou non) de prendre en compte tous les termes de l'équation radiométrique.
    Une étape de modélisation du lien entre physique et ray-tracing est donc nécessaire pour les 2 étapes : simulation et inversion.
    Pour aider dans l'utilisation de 6S, l'ONERA met à disposition une version modifiée permettant de sortir la luminance diffuse descendante.

  • la connaissance de la réponse spectrale des caméras utilisées sur le camion pourrait être critique. L'étalonnage à l'IGN se fait sur une mire Gretag MacBeth (mais l'ONERA peut calibrer spectralement des sytèmes optiques avec un spectromètre à réseau). Il faudra donc étudier l'impact de cette réponse spectrale.

jeudi 28 janvier 2010

mardi 19 janvier 2010

Compiler LuxRender sur Ubuntu

Les paquets suivants sont disponibles directement (avec Système/Administration/Synaptic ou en ligne de commande : sudo apt-get install nom_du_paquet).

Paquets à installer pour pouvoir compiler LuxRender :
  • Fast Light Toolkit (FLTK) : libfltk1.1
  • OpenEXR : openexr, openexr-viewers, libopenexr-dev, libilmbase-dev
  • Boost : libboost1.40-all-dev (installe toutes les librairies)
  • Analyseur syntaxique Bison : bison
  • Analyseur lexical Flex : flex
  • Librairie JPEG : libjpeg62-dbg, libjpeg62-dev
  • Librairie Tiff : libtiff4-dev
  • Librairie PNG : libpng12-dev
  • OpenGL : glutg3-dev, libglut3-dev
  • WxWidgets : libwxgtk2.8-dev
Paquets à installer pour pouvoir compiler 6S :
  • Compilateur gFortran : gfortran et gfortran-multilib
Remarque sur l'utilisation de Blender :
  • un paquet existe dans les dépôts Ubuntu : blender
  • désactiver compiz-fusion pour que l'application fonctionne correctement (problème qui semble ne plus apparaître à partir de la version 10.10 d'Ubuntu)
Autres remarques :
  • OpenEXR est un format d'images HDR (32 ou 64 bits). exrdisplay du paquet OpenEXR-Viewers permet de visualiser ces images. J'en ai fait une version permettant le réglage du gamma.

mardi 12 janvier 2010

Bibliographie

Travaux fondamentaux, prédécesseurs :




Transfert radiatif :




Documents et travaux décrivant les différentes méthodes de simulation :


  • [Pharr et Humph. 04] Pharr, Matt et Humphreys, Greg : Physically based rendering, livre, éd. Morgan Kaufmann Publishers, 2004.
    cf. le site PBRT
    → Description très complète (avec pseudo-code) des principes, des algorithmes et de l'implémentation du code de ray-tracing basés sur les lois de la physique PBRT.


  • [Marchadier 97] Marchadier, Jocelyn : Radiosité et parallélisme, rapport de stage de DEA, 1997.
    → Principe de la simulation par radiosité.


  • [Dutré et al 03] Dutré et al : Advanced Global Illumination, livre, 2003.
    Extraits disponibles sur : http://books.google.com/books?...
    → Description des méthodes Monte-Carlo, des méthodes de tirage aléatoire


  • [Paulin 04] Paulin, Mathias : Monte-Carlo et lancer de rayons, présentation IRIT, 2004.
    Disponible sur : http://www.irit.fr/%7EMathias.Paulin/GDRCouleur/CoursGDRCouleur-online/gtree/index.html
    → Bien illustré, notamment pour la notion de convergence


  • [Veach 97] Veach, Eric : Robust Monte-Carlo method for light transport simulation, thèse de doctorat, Stanford University, 1997.
    → Méthodes d'échantillonnage préférentiel pour le lancer de rayons ; ces résultats ont été en partie utilisés dans PBRT et donc dans LuxRender.


  • [Spencer 93] Spencer, Stephen : Radiosity overview, SIGGRAPH Education Slide Set, 1993.
    Disponible sur : http://www.siggraph.org/education/materials/HyperGraph/radiosity/overview_1.htm


  • [Kajiya 86] Kajiya, James T. : The rendering equation, SIGGRAPH, 1986.
    → Description de l'équation locale du rendu, traduisant la conservation de l'énergie, et utilisée dans les simulateurs en computer graphics.



Modèles de BRDF :



Articles sur l'inverse rendering :

  • [Haber et al 09] Haber, T. and Fuchs, C. and Bekaer, P. and Seidel, H.P. and Goesele, M. and Lensch, H.P.A. : Relighting objects from image collections, CVPR, 2009.
    → Estimation de la réflectance avec illumanition non connue, pas d'interréflexions, en utilisant les ondelettes





  • Articles sur les méthodes d'inversion :


    • [Nelder & Mead 65] Nelder, J.A. et Mead, R : A simplex method for function minimization, The computer journal, 1965.
      → Méthode classique de minimisation non-linéaire par déformations successives d'un simplexe, demandant moins d'estimation de la fonction coût qu'une méthode utilisant le gradient local pour linéariser.



    Articles traitant de la détection du ciel dans les images :




    Articles traitant de la détection des ombres (de façon non physique) :



    Articles traitant de sujets connexes, de façon non physique :


    • Sunkavalli, Kalyan et al : Factored time-lapsed video, article SIGGRAPH, 2007.
      Disponible sur : http://www.cs.princeton.edu/gfx/pubs/Sunkavalli_2007_FTV/index.php
      → À partir d'une acquisition vidéo sur une journée, décomposition des images en une image d'albédo et une image d'éclairement


    • [Chain 04] Chain, Cyril : Caractérisation spectrale et directionnelle de la lumière naturelle : application à l'éclairage des bâtiments, thèse de doctorat, 2004.
      Disponible sur : http://csidoc.insa-lyon.fr/these/pont.php?id=chain
      → Description des modèles empiriques de ciel Perez et CIE (mais travail en grandeurs photométriques)


    • [Pérez 93] Pérez, Richard : All-weather model for sky luminance distribution - preliminary configuration and validation, article de Solar Energy 51, 1993.
      → Modèle empirique de ciel de Pérez


    • [CIE S011 03] Commission Internationale de l'Eclairage : Spatial distribution fo dylight - CIE standard general sky, standard CIE, 2003.
      PDF disponible sur : ce lien
      → Modèle empirique standard de ciel élaboré par la CIE, reprenant en grande partie le modèle de Pérez



    Autres articles :




    Rapports internes F. Coubard :


    CR réunion du 11 janvier 2010

    Participants : X. Briottet, N. Paparoditis, M. Brédif, F. Coubard

    Lieu : ONERA/DOTA, Toulouse


    Planification : le doctorant doit
    organiser une réunion par mois pour présenter l'avancement des
    travaux, avec un rapport préalable ; un rapport annuel doit
    également être prévu, ainsi qu'un espace accessible via internet
    (wiki, blog), pour centraliser tous ces documents, plus les articles
    lus qui paraissent pertinents.

    Présentation de l'outil envisagé pour
    la simulation de scène : LuxRender, basé sur le moteur de
    ray-tracing PBRT (M. Pharr et G. Humphreys). Il faudrait résumer les
    principales caractéristiques de cet outil, et faire des tests
    quantitatifs sur ses temps de calcul.

    L'approche par simulation – validation (déjà suivie par S. Lachérade et C. Thomas) sera
    utilisée : développement de l'outil de simulation, validation sur
    des données entièrement synthétiques, validation sur des données
    réelles. Même si cela n'est pas une fin, il faut veiller à la
    qualité physique (exactitude, précision) des résultats des
    inversions. Il faudrait également réaliser une étude
    phénoménologique en écrivant les équations radiatives.

    Utilisation des données de Stéréopolis
    : il faudrait regarder rapidement à quoi ressemble ces données .

    • Quelques « pré »-manipulations
      seraient intéressantes : faire un profil vertical de
      rétro-diffusion laser sur une façade) ; acquérir des données sur
      des petites zones tests pour tester le potentiel pour l'estimation
      de BRDF, pour évaluer empiriquement l'impact radiatif de certains
      objets (voitures, végétation, ...).

    • potentiel des données : caméras
      de 2 Mpixels avec un pixel centimétrique, nuage de points laser
      très fin -> données influencées par la « micro »-rugosité
      (échelle centi à décimétrique). Cela doit permettre d'accéder
      aux effets directionnels de façon très locale, ainsi qu'à une
      échelle macroscopique.


    Rapport décembre 2009

    1. Bilan rapide

    Les travaux menés jusqu'à présent ont porté sur la transformation d'un logiciel de ray-tracing open source en un outil utilisable pour nos tests, à savoir un outil d'inversion de l'équation radiométrique par le principe classique d'analyse/synthèse minimisant les différences entre une image simulée et une image réelle.

    Le ray-tracer retenu à cet effet est LuxRender, qui a l'avantage de posséder une IHM et de mettre à disposition des exporteurs pour différents logiciels de modélisation 3D, dont Blender (open source). LuxRender est open source (GPL), et est basé sur PBRT (Physically Based Rendering), développé à l'Université de Stanford.

    Les modifications apportées jusqu'à maintenant à LuxRender sont principalement :

    • la possibilité de spécifier la réponse spectrale des canaux de la caméra

    • la possibilité de sortir des images d'éclairement au sol, et non plus seulement des images de luminance au niveau du capteur

    Le calcul d'image d'éclairement a permis une première validation de l'outil, en réalisant l'inversion sur une scène, dans le cas lambertien, sous hypothèse d'une atmosphère sans diffusion ni absorption. Dans ce cas, on a pour tout point P de la scène : (1).

    Cette inversion triviale a été réalisée sur un modèle 3D synthétique, qui a permis de simuler une image de luminance (avec la version initiale de LuxRender ; cf. fig. 1), et de calculer une image d'éclairement (avec la version modifiée de LuxRender ; cf. fig. 2). L'équation (1) nous a alors redonné les valeurs de la réflectance (ici un albédo) des matériaux utilisés dans le modèle 3D, avec une très bonne précision (cf. fig. 3).

    Il n'y avait ici pas de difficulté théorique, d'autant plus que l'on a utilisé uniquement des données simulées, mais cela a permis de prendre en main le code source de LuxRender.




    Fig. 1 : Image de
    luminance « réelle » (ici simulée)





    Fig. 2 : Image
    d'éclairement simulé





    Fig. 3 : Image de
    réflectance calculée


    L'algorithme présenté précédemment est en réalité itératif : on a besoin des réflectances des matériaux pour estimer les termes réfléchis de l'éclairement. On initialise donc ces réflectances arbitrairement, on les affine par division de la luminance par l'éclairement simulé, et on réitère jusqu'à convergence.

    En pratique dans le cas présenté ici, la convergence est très rapide : 3 itérations (faites « à la main ») ont été tout à fait suffisantes, en donnant un albédo initial de 0.5 à tous les matériaux.


    2. Évolution envisagée

    Dans le cas général (utilisation d'un modèle de BRDF par type de matériau et coefficient d'extinction de l'atmosphère non nul), on n'a pas de formule aussi simple pour l'inversion, et il faudra procéder par minimisation.

    Cette minimisation nécessite de faire un lancer de rayons complet à chaque itération, i.e. à chaque fois que l'on fait varier les paramètres à estimer (paramètres des BRDF, et éventuellement des sources lumineuses et des conditions atmosphériques). Recalculer une image par ray-tracing à chaque itération mènerait à des temps de calcul énormes ; sur une idée de M. Brédif, on souhaite donc n'effectuer qu'une seule phase de lancer de rayons, en calculant pour chaque pixel i de l'image de luminance rendue non plus une valeur de type RGB, mais l'expression de cette valeur en fonction des paramètres de la scène : .

    En effet, ces fonctions fi des paramètres ne dépendraient plus que de la géométrie de la scène, et ce pré-calcul permettrait de synthétiser rapidement la luminance en fonction des paramètres à estimer (extension des techniques de ré-éclairement au changement de matériaux).

    Pour introduire cette optimisation dans LuxRender, il faut que les rayons lancés ne transportent pas seulement une valeur numérique, mais une expression contenant à la fois des constantes liées à la géométrie de la scène et des variables symboliques représentant les paramètres à estimer. D'après une première analyse (cf. fig.4), cela paraît possible sans trop modifier le fonctionnement de base de LuxRender, en rajoutant la création des variables symboliques à la lecture de la scène (classe Scene du diagramme UML), et en faisant manipuler ces variables symboliques lors du lancer de rayons (classe SurfaceIntegrator).

    Cette modification de LuxRender pour lui faire manipuler des variables symboliques est donc le travail actuellement en cours.


    3. Conclusion

    Une fois validé, l'outil LuxRender modifié serait une base pour réaliser les objectifs de cette thèse. En effet, on dispose d'un jeu d'images terrestres réelles d'une scène urbaine. Si l'on sait les segmenter en zones homogènes, on pourrait alors estimer les paramètres du modèle de BRDF choisi pour chaque zone. Pour cela, il sera également indispensable d'utiliser la redondance apportée par le multi-vue.

    .