jeudi 28 janvier 2010

mardi 19 janvier 2010

Compiler LuxRender sur Ubuntu

Les paquets suivants sont disponibles directement (avec Système/Administration/Synaptic ou en ligne de commande : sudo apt-get install nom_du_paquet).

Paquets à installer pour pouvoir compiler LuxRender :
  • Fast Light Toolkit (FLTK) : libfltk1.1
  • OpenEXR : openexr, openexr-viewers, libopenexr-dev, libilmbase-dev
  • Boost : libboost1.40-all-dev (installe toutes les librairies)
  • Analyseur syntaxique Bison : bison
  • Analyseur lexical Flex : flex
  • Librairie JPEG : libjpeg62-dbg, libjpeg62-dev
  • Librairie Tiff : libtiff4-dev
  • Librairie PNG : libpng12-dev
  • OpenGL : glutg3-dev, libglut3-dev
  • WxWidgets : libwxgtk2.8-dev
Paquets à installer pour pouvoir compiler 6S :
  • Compilateur gFortran : gfortran et gfortran-multilib
Remarque sur l'utilisation de Blender :
  • un paquet existe dans les dépôts Ubuntu : blender
  • désactiver compiz-fusion pour que l'application fonctionne correctement (problème qui semble ne plus apparaître à partir de la version 10.10 d'Ubuntu)
Autres remarques :
  • OpenEXR est un format d'images HDR (32 ou 64 bits). exrdisplay du paquet OpenEXR-Viewers permet de visualiser ces images. J'en ai fait une version permettant le réglage du gamma.

mardi 12 janvier 2010

Bibliographie

Travaux fondamentaux, prédécesseurs :




Transfert radiatif :




Documents et travaux décrivant les différentes méthodes de simulation :


  • [Pharr et Humph. 04] Pharr, Matt et Humphreys, Greg : Physically based rendering, livre, éd. Morgan Kaufmann Publishers, 2004.
    cf. le site PBRT
    → Description très complète (avec pseudo-code) des principes, des algorithmes et de l'implémentation du code de ray-tracing basés sur les lois de la physique PBRT.


  • [Marchadier 97] Marchadier, Jocelyn : Radiosité et parallélisme, rapport de stage de DEA, 1997.
    → Principe de la simulation par radiosité.


  • [Dutré et al 03] Dutré et al : Advanced Global Illumination, livre, 2003.
    Extraits disponibles sur : http://books.google.com/books?...
    → Description des méthodes Monte-Carlo, des méthodes de tirage aléatoire


  • [Paulin 04] Paulin, Mathias : Monte-Carlo et lancer de rayons, présentation IRIT, 2004.
    Disponible sur : http://www.irit.fr/%7EMathias.Paulin/GDRCouleur/CoursGDRCouleur-online/gtree/index.html
    → Bien illustré, notamment pour la notion de convergence


  • [Veach 97] Veach, Eric : Robust Monte-Carlo method for light transport simulation, thèse de doctorat, Stanford University, 1997.
    → Méthodes d'échantillonnage préférentiel pour le lancer de rayons ; ces résultats ont été en partie utilisés dans PBRT et donc dans LuxRender.


  • [Spencer 93] Spencer, Stephen : Radiosity overview, SIGGRAPH Education Slide Set, 1993.
    Disponible sur : http://www.siggraph.org/education/materials/HyperGraph/radiosity/overview_1.htm


  • [Kajiya 86] Kajiya, James T. : The rendering equation, SIGGRAPH, 1986.
    → Description de l'équation locale du rendu, traduisant la conservation de l'énergie, et utilisée dans les simulateurs en computer graphics.



Modèles de BRDF :



Articles sur l'inverse rendering :

  • [Haber et al 09] Haber, T. and Fuchs, C. and Bekaer, P. and Seidel, H.P. and Goesele, M. and Lensch, H.P.A. : Relighting objects from image collections, CVPR, 2009.
    → Estimation de la réflectance avec illumanition non connue, pas d'interréflexions, en utilisant les ondelettes





  • Articles sur les méthodes d'inversion :


    • [Nelder & Mead 65] Nelder, J.A. et Mead, R : A simplex method for function minimization, The computer journal, 1965.
      → Méthode classique de minimisation non-linéaire par déformations successives d'un simplexe, demandant moins d'estimation de la fonction coût qu'une méthode utilisant le gradient local pour linéariser.



    Articles traitant de la détection du ciel dans les images :




    Articles traitant de la détection des ombres (de façon non physique) :



    Articles traitant de sujets connexes, de façon non physique :


    • Sunkavalli, Kalyan et al : Factored time-lapsed video, article SIGGRAPH, 2007.
      Disponible sur : http://www.cs.princeton.edu/gfx/pubs/Sunkavalli_2007_FTV/index.php
      → À partir d'une acquisition vidéo sur une journée, décomposition des images en une image d'albédo et une image d'éclairement


    • [Chain 04] Chain, Cyril : Caractérisation spectrale et directionnelle de la lumière naturelle : application à l'éclairage des bâtiments, thèse de doctorat, 2004.
      Disponible sur : http://csidoc.insa-lyon.fr/these/pont.php?id=chain
      → Description des modèles empiriques de ciel Perez et CIE (mais travail en grandeurs photométriques)


    • [Pérez 93] Pérez, Richard : All-weather model for sky luminance distribution - preliminary configuration and validation, article de Solar Energy 51, 1993.
      → Modèle empirique de ciel de Pérez


    • [CIE S011 03] Commission Internationale de l'Eclairage : Spatial distribution fo dylight - CIE standard general sky, standard CIE, 2003.
      PDF disponible sur : ce lien
      → Modèle empirique standard de ciel élaboré par la CIE, reprenant en grande partie le modèle de Pérez



    Autres articles :




    Rapports internes F. Coubard :


    CR réunion du 11 janvier 2010

    Participants : X. Briottet, N. Paparoditis, M. Brédif, F. Coubard

    Lieu : ONERA/DOTA, Toulouse


    Planification : le doctorant doit
    organiser une réunion par mois pour présenter l'avancement des
    travaux, avec un rapport préalable ; un rapport annuel doit
    également être prévu, ainsi qu'un espace accessible via internet
    (wiki, blog), pour centraliser tous ces documents, plus les articles
    lus qui paraissent pertinents.

    Présentation de l'outil envisagé pour
    la simulation de scène : LuxRender, basé sur le moteur de
    ray-tracing PBRT (M. Pharr et G. Humphreys). Il faudrait résumer les
    principales caractéristiques de cet outil, et faire des tests
    quantitatifs sur ses temps de calcul.

    L'approche par simulation – validation (déjà suivie par S. Lachérade et C. Thomas) sera
    utilisée : développement de l'outil de simulation, validation sur
    des données entièrement synthétiques, validation sur des données
    réelles. Même si cela n'est pas une fin, il faut veiller à la
    qualité physique (exactitude, précision) des résultats des
    inversions. Il faudrait également réaliser une étude
    phénoménologique en écrivant les équations radiatives.

    Utilisation des données de Stéréopolis
    : il faudrait regarder rapidement à quoi ressemble ces données .

    • Quelques « pré »-manipulations
      seraient intéressantes : faire un profil vertical de
      rétro-diffusion laser sur une façade) ; acquérir des données sur
      des petites zones tests pour tester le potentiel pour l'estimation
      de BRDF, pour évaluer empiriquement l'impact radiatif de certains
      objets (voitures, végétation, ...).

    • potentiel des données : caméras
      de 2 Mpixels avec un pixel centimétrique, nuage de points laser
      très fin -> données influencées par la « micro »-rugosité
      (échelle centi à décimétrique). Cela doit permettre d'accéder
      aux effets directionnels de façon très locale, ainsi qu'à une
      échelle macroscopique.


    Rapport décembre 2009

    1. Bilan rapide

    Les travaux menés jusqu'à présent ont porté sur la transformation d'un logiciel de ray-tracing open source en un outil utilisable pour nos tests, à savoir un outil d'inversion de l'équation radiométrique par le principe classique d'analyse/synthèse minimisant les différences entre une image simulée et une image réelle.

    Le ray-tracer retenu à cet effet est LuxRender, qui a l'avantage de posséder une IHM et de mettre à disposition des exporteurs pour différents logiciels de modélisation 3D, dont Blender (open source). LuxRender est open source (GPL), et est basé sur PBRT (Physically Based Rendering), développé à l'Université de Stanford.

    Les modifications apportées jusqu'à maintenant à LuxRender sont principalement :

    • la possibilité de spécifier la réponse spectrale des canaux de la caméra

    • la possibilité de sortir des images d'éclairement au sol, et non plus seulement des images de luminance au niveau du capteur

    Le calcul d'image d'éclairement a permis une première validation de l'outil, en réalisant l'inversion sur une scène, dans le cas lambertien, sous hypothèse d'une atmosphère sans diffusion ni absorption. Dans ce cas, on a pour tout point P de la scène : (1).

    Cette inversion triviale a été réalisée sur un modèle 3D synthétique, qui a permis de simuler une image de luminance (avec la version initiale de LuxRender ; cf. fig. 1), et de calculer une image d'éclairement (avec la version modifiée de LuxRender ; cf. fig. 2). L'équation (1) nous a alors redonné les valeurs de la réflectance (ici un albédo) des matériaux utilisés dans le modèle 3D, avec une très bonne précision (cf. fig. 3).

    Il n'y avait ici pas de difficulté théorique, d'autant plus que l'on a utilisé uniquement des données simulées, mais cela a permis de prendre en main le code source de LuxRender.




    Fig. 1 : Image de
    luminance « réelle » (ici simulée)





    Fig. 2 : Image
    d'éclairement simulé





    Fig. 3 : Image de
    réflectance calculée


    L'algorithme présenté précédemment est en réalité itératif : on a besoin des réflectances des matériaux pour estimer les termes réfléchis de l'éclairement. On initialise donc ces réflectances arbitrairement, on les affine par division de la luminance par l'éclairement simulé, et on réitère jusqu'à convergence.

    En pratique dans le cas présenté ici, la convergence est très rapide : 3 itérations (faites « à la main ») ont été tout à fait suffisantes, en donnant un albédo initial de 0.5 à tous les matériaux.


    2. Évolution envisagée

    Dans le cas général (utilisation d'un modèle de BRDF par type de matériau et coefficient d'extinction de l'atmosphère non nul), on n'a pas de formule aussi simple pour l'inversion, et il faudra procéder par minimisation.

    Cette minimisation nécessite de faire un lancer de rayons complet à chaque itération, i.e. à chaque fois que l'on fait varier les paramètres à estimer (paramètres des BRDF, et éventuellement des sources lumineuses et des conditions atmosphériques). Recalculer une image par ray-tracing à chaque itération mènerait à des temps de calcul énormes ; sur une idée de M. Brédif, on souhaite donc n'effectuer qu'une seule phase de lancer de rayons, en calculant pour chaque pixel i de l'image de luminance rendue non plus une valeur de type RGB, mais l'expression de cette valeur en fonction des paramètres de la scène : .

    En effet, ces fonctions fi des paramètres ne dépendraient plus que de la géométrie de la scène, et ce pré-calcul permettrait de synthétiser rapidement la luminance en fonction des paramètres à estimer (extension des techniques de ré-éclairement au changement de matériaux).

    Pour introduire cette optimisation dans LuxRender, il faut que les rayons lancés ne transportent pas seulement une valeur numérique, mais une expression contenant à la fois des constantes liées à la géométrie de la scène et des variables symboliques représentant les paramètres à estimer. D'après une première analyse (cf. fig.4), cela paraît possible sans trop modifier le fonctionnement de base de LuxRender, en rajoutant la création des variables symboliques à la lecture de la scène (classe Scene du diagramme UML), et en faisant manipuler ces variables symboliques lors du lancer de rayons (classe SurfaceIntegrator).

    Cette modification de LuxRender pour lui faire manipuler des variables symboliques est donc le travail actuellement en cours.


    3. Conclusion

    Une fois validé, l'outil LuxRender modifié serait une base pour réaliser les objectifs de cette thèse. En effet, on dispose d'un jeu d'images terrestres réelles d'une scène urbaine. Si l'on sait les segmenter en zones homogènes, on pourrait alors estimer les paramètres du modèle de BRDF choisi pour chaque zone. Pour cela, il sera également indispensable d'utiliser la redondance apportée par le multi-vue.

    .

    Sujet : Corrections radiométriques d'images terrestres

    L'acquisition de données images terrestres à l'aide de véhicules géolocalisés est désormais une technologie maîtrisée. Cependant, en vue de la mise à disposition de ces données au grand public dans des navigateurs de type « Street View », des traitements radiométriques sont nécessaires, d'une part pour améliorer la lisibilité de ces images à grande dynamique (12 bits) et présentant de fortes variations d'illumination, et d'autre part pour ré-éclairer la scène sous des conditions d'éclairement (saison, heure, météo) souhaitées par l'utilisateur.

    Pour cela, on dispose comme données d'entrée d'un jeu d'images géoréférencées, composé d'images recouvrant tout l'hémisphère au-dessus du sol (panoramiques complètes), et ce pour chaque station du véhicule, soit environ tous les 3 m en moyenne. Il s'agit donc d'une acquisition multi-angulaire à fort recouvrement. On dispose également d'un levé laser simultané (ou au minimum d'un modèle 3D plus ou moins fin des façades), ainsi que de l'étalonnage radiométrique et géométrique des caméras.

    On se propose alors de retrouver à partir de ces données les propriétés de réflectance des matériaux de la scène, indispensables pour l'égalisation des images et autres applications correctives. La méthode envisagée consiste en plusieurs étapes :

    Le calcul d'une image de ciel directement à partir d'un ensemble d'images ; on suppose pour cela que le ciel ne change pas localement au cours de l'acquisition, et on essaie d'obtenir grâce à l'ensemble des images une hémisphère complète. La valeur relative de la luminance du ciel par rapport à l'éclairement solaire doit être estimée par ailleurs, car les images seront saturées autour du soleil ; on peut pour cela placer sur le véhicule, dans le champ de la caméra, un étalon lambertien.

    La réduction du nombre d'inconnues du problème à l'aide d'une segmentation de l'image en zones de réflectance homogène. Celle-ci peut être guidée par la rétro-diffusion du signal laser, qui est supposée indépendante de l'éclairement de la scène (capteur actif dans le proche infra-rouge), et n'est donc pas influencée par les limites d'ombre. On peut dresser à cette étape une cartographie des ombres dans la scène.

    L'inversion du modèle radiométrique pour l'estimation des réflectances des matériaux. Celle-ci se fait par minimisation entre des images simulées (par un logiciel de ray-tracing) et les images acquises (en utilisant toutes les images disponibles, issues des différentes stations du véhicule). L'utilisation d'un modèle de BRDF réaliste (même pour un éclairement rasant) mais ayant peu de paramètres est un point critique pour la précision du résultat et la qualité des corrections radiométriques ultérieures. Là encore, on peut utiliser le signal laser pour rajouter des équations dans l'estimation des paramètres de BRDF. De plus, le nuage laser peut servir à donner un modèle 3D très détaillé pour le ray-tracing.

    L'impact du niveau de détail et de la précision du modèle (du nuage de points brut à des simples plans principaux de façade comme dans Bati3D) sur la qualité de la correction et du rendu sera étudié.

    La validation des résultats de cette méthode doit être effectuée avec une vérité terrain incluant des mesures de réflectance bidirectionnelle des matériaux. Cependant, les applications étant également esthétiques, une validation visuelle de leurs résultats est également nécessaire, et est aussi importante que la validation numérique.