vendredi 7 septembre 2012

Compte-rendu de la réunion du 7 septembre 2012


  • Traitement des images du Spectralon
Les arbres font des ombres indésirables sur la planche de Spectralon : détecter les images où la végétation gêne et ne pas les utiliser (la végétation n'étant de toute façon pas traitée dans la chaîne proposée). Karine travaille au développement d'une méthode, dans ses travaux de thèse, pour évaluer la possibilité d'appliquer un facteur de transmission moyen sur les zones d'ombre de végétation.
Les nuages posent également un problème : ils augmentent l'importance de l'auréole solaire et élargissent les zones de pénombre.
Il faudrait un modèle 3D du cache du montage pour pouvoir comparer la valeur des pixels sur les images de Spectralon et la valeur simulée avec le modèle d'illumination estimé : cela pourrait permettre de reconstituer les zones saturées de l'hémisphère.
La validation de l'illumination peut se faire par comparaison avec ce que donne un code de transfert radiatif (qui n'est adapté qu'aux conditions météo de beau temps). Pour la validation, une mesure directe de l'éclairement par un photomètre n'est pas vraiment envisageable. Une validation en laboratoire pourrait être faite avec des sources connues et maîtrisées, mais ce n'est pas facile à mettre en oeuvre pour Stéréopolis.

  • Nouvelle tête de caméras, calibration radiométrique
La nouvelle tête devrait être opérationnelle courant novembre. La calibration radiométrique est en cours, il faudra quantifier l'erreur qu'elle induit sur la méthode.
  • Composition du jury de thèse
Il serait bien de mélanger des spécialistes de la physique et des spécialistes de l'informatique graphique.
Noms évoqués : H. Maître (Télécom), C. Weber (LIVE, Strasbourg)
  • Manuscrit et planning
Une première version de la partie simulation est écrite ; la  partie inversion devrait être terminée pour fin octobre. Il faudrait également rédiger rapidement la partie sur le Spectralon le l'estimation de l'illumination, afin d'avoir plus de matière à discussion pour la prochaine réunion. Cette partie illumination doit également faire l'objet d'une publication.
De manière générale, il faut rédiger un maximum de choses avant la campagne d'acquisition, dont le traitement peut être coûteux en temps.

La prochaine réunion est fixée au 12 novembre à 15h.

mercredi 5 septembre 2012

Ordre du jour de la réunion du 7 septembre 2012

Manuscrit première partie : remarques et corrections

Composition du jury de thèse : des idées?

Traitement des données Spectralon : passages à l'ombre bien éliminés, mais problèmes lors des masquages partiels par des arbres (exemple sur les images ci-dessous : le passage où le soleil est masqué par des arbres entraînent les zigs-zags de la courbe représentant Edirect estimé en fonction du numéro de prise de vue)



lundi 2 juillet 2012

Compte-rendu de la réunion du 2 juillet 2012


     1. Estimation de l'illumination

Une plaque de Spectralon surmontée d'un cache composé de parties pleines et de parties détourées, vue par une caméra spécifique, permet d'obtenir des bords d'ombre sur  les images du Spectralon.
L'exploitation des couples de points ombre-soleil donne une estimation de l'éclairement direct. Cependant, l'écart-type relatif de cette estimation sur 10 couples est de 10% de l'éclairement estimé. 
Plusieurs explications : 
- la surface du Spectralon est affectée par des rayures, et on observe même un comportement spéculaire.
- le bruit est très important, jusqu'à 200 niveaux sur 1000 dans les coins de l'image, ou la correction de flat-field augmente le niveau relatif du bruit.

- problème du flat-field :  le réglage de la mise au point et du diaphragme ont été changés -> le flat-field utilisé n'est pas bon -> il faut refaire un flat-field. Cela explique une partie de la variance observée. Pour limiter les effets d'un flat-field imparfait, il ne faudrait exploiter qu'une zone centrale restreinte. 
- vieillissement des capteurs?

Les flat-fields réalisés avec la sphère intégrante sur les caméras directement sur le toit du véhicule montre un rapport de 0.99 environ entre les valeurs avec et sans filtre, au centre de l'image -> c'est bizarre car la transmittance des filtres n'est pas si bonne.

La détection des pixels de ciel en utilisant un modèle 3D type Bati3D donne un masque approché satisfaisant : il permet de ne pas classer les bâtiments clairs et les fenêtres comme ciel. Il faut raffiner avec du traitement d'image pour éliminer la végétation et les imprécisions du modèle.
La saturation dans le halo solaire reste un problème. Il faudrait s'assurer des hypothèses faites lors de l'utilisation des environment maps faites par un modèle de Perez : interactions nuages - atmosphère?

     2. Fin de thèse et rédaction du manuscrit

Il faudrait commencer à rédiger les premières parties du manuscrit, en parallèle des développements (finalisation de la méthode). Cela permettrait d'attendre une acquisition avec la nouvelle tête panoramique, qui pourrait être opérationnelle d'ici à novembre : on éviterait ainsi les difficultés d'étalonnage et de traitement des données du système actuel.

Le plan proposé pour le manuscrit appelle les modifications suivantes :
- fusion des parties modélisation du signal et simulation du signal en une seule partie problème direct ; elle peut être rédigée pour fin août ;
- fusion des parties estimation de la réflectance et estimation de l'illumination en une partie inversion, en évoquant d'abord le problème de l'estimation de l'illumination ; elle peut être rédigée pour fin octobre ;
- la dernière partie sera alors une partie réalisation : implémentation, mesures, résultats, discussion. Pour cette partie, il reste à faire l'acquisition, le traitement et la rédaction.

En ce qui concerne les publications : il faut donner la priorité à la rédaction du manuscrit : on pourra valoriser après la fin de la thèse. On pourra envisager une publication sur le système complet d'estimation de l'environment map + éclairement solaire direct, et une plus grosse publication (voire deux) sur la chaîne complète d'estimation de la réflectance. Il peut être bon de commencer à y réfléchir pour essayer de mutualiser les figures avec le manuscrit.


La prochaine réunion est planifiée pour le vendredi 7 septembre à 14h.

lundi 19 mars 2012

Compte-rendu de la réunion du 19 mars 2012

1. Article ISPRS 

 L'article est rejeté pour la part A (annales de l'ISPRS), mais peut être publié dans les archives de l'ISPRS (articles sélectionnés sur abstract). Nicolas suggère de le publier dans ces archives, pour introduire ce sujet parmi les publications photogrammétrie/télédétection. En revanche, le travail pourrait être valorisé dans un nouvel article (par exemple pour CVRS). Il faudrait pour cela ajouter l'estimation de l'éclairement direct solaire ainsi qu'une application simple (pas la chaîne complète d'inversion par lancer symbolique). Cette application pourrait être de la réalité augmentée, du ré-éclairement de bâtiment avec le Rodéon, de l'estimation de l'ensoleillement disponible (panneaux solaires ... -> est-ce vraiment pertinent?) -> à affiner rapidement.

2. Traitement de données réelles

2.1 Acquisition spécifique

Il faut dans tous les cas avoir une estimation correcte de l'illumination (ciel + soleil). Une acquisition Stéréopolis spécifique avec un Spectralon sur le toit, avec une caméra le pointant, est possible. En revanche, Stéréopolis ne peut pas faire d'acquisition en bracketing (différents temps de pose).
Problème : la caméra va rapidement saturer sur le Spectralon  exposé au soleil ; il faudrait peut-être utiliser un Spectralon gris foncé : Xavier regarde s'il y en a à l'ONERA.
Si l'on veut se passer de Spectralon (dans une perspective plus "computer graphics"), on doit utiliser des couples de points ombre-soleil pour lesquelles on ne connaît pas l'albédo du matériau. On a donc accès au rapport Edirect / (Erefl+Ediffus). Il faudrait donc trouver un endroit où l'on puisse estimer (Erefl+Ediffus) (un endroit dégagé pour lequel on a Erefl = 0 peut faire l'affaire, en connaissant la géométrie du cache-soleil).

2.2 Calibration radiométrique des caméras

Il faut s'intéresser à la calibration radiométrique des caméras :
- pixel à pixel (flat-field -> homogénéité spatiale)
- inter-bandes (balance des blancs)
- inter-instruments (gains relatifs entre les caméras)
- absolue (gain absolu pour retrouver une grandeur physique). On peut s'en passer si l'on n'utilise que les caméras comme instruments de mesure.
Les essais avec la sphère intégrante montrait une instabilité temporelle de la puissance de la source (ce qui est gênant pour la calibration inter-caméras) -> il faut laisser chauffer la lampe au moins 1h. De plus, l'intérieur de la sphère intégrante n'est pas homogène en luminance : il faut bouger la caméra pour que chaque pixel voit une zone proche du centre de la sphère -> montage avec le Rodéon?
Les autres méthodes (images de verre dépoli ou de feuille blanche) pourraient être comparées à la sphère. Le MATIS possède des lampes Solux au comportement spectral proche de celui du Soleil. La mire colorimétrique Greta peut être utilisée pour la balance des blancs.

3. Méthode d'inversion "tout environment maps"

L'idée est d'utiliser, pour chaque point imagé, les valeurs de pixels comme estimation de l'éclairement total arrivant sur ce point. Il s'agit du même principe que l'estimation de la luminance du ciel à partir des pixels de ciel, en l'étendant à l'estimation de l'éclairement réfléchi à partir des pixels de façades. Cela nécessite de négliger de considérer les matériaux comme lambertiens pour les termes réfléchis, mais pas forcément pour l'estimation finale de la réflectance du point imagé.
Fabien doit rédiger un document pour expliquer cela clairement.
Les avantages de cette méthode seraient la simplicité algorithmique, permettant alors d'estimer une réflectance pour chaque point, et non plus pour chaque facette.

4. Manuscrit final


Fabien doit soumettre un plan de rédaction du manuscrit final, afin de pouvoir commencer à rédiger, et permettre d'évaluer les "trous".







Ordre du jour/préliminaire de la réunion du 19 mars 2012

 1. Estimation de l'illumination

 L'estimation d'un modèle de Perez à partir des pixels de ciel visibles dans l'image est satisfaisante. Il manque cependant l'éclairement solaire direct au sol. En le mettant comme inconnue lors du lancer de rayons symbolique, l'inversion se passe mal, même si l'on a une limite ombre-soleil. Il faudrait peut-être un système de poids pour les zones à l'ombre. La méthode ombre-soleil marche bien sur une scène synthétique (mais on connaît la réflectance...).

 2. Traitement de données réelles

 Campagne de Clermont-Ferrand : on a le modèle 3D (type Bâti 3D) et les images. Il pourrait être intéressant de faire une acquisition spécifique avec un Spectralon dans le champ de vision de la caméra. C'est possible de le mettre sur le toit du camion, et de rajouter une caméra qui pointe vers lui. Utilisation des images comme environment map : on estime l'éclairement réfléchi directement à partir des valeurs des images (on doit supposer les matériaux lambertiens pour les éclairements réfléchis, mais pas forcément pour l'estimation finale).

  3. Article ISPRS

 L'article pour Melbourne a été rejeté. Vaut-il mieux le laisser dans les articles part B ou le resoumettre ailleurs? Pistes de perfectionnement : utilisation du modèle 3D (+ détection des arbres) pour discriminer le ciel, parler de la chaîne totale pour mieux faire comprendre l'approche, intégrer la dimension temporelle (la review parle de structure from motion)?

mercredi 29 juin 2011

Compte-rendu du point de thèse du 29 juin 2011

Participants : Xavier, Mathieu, Lâmân, Fabien

  • Estimation de la luminance du ciel à partir des images : l'idée est d'utiliser la valeur de luminance des pixels voyant le ciel pour reconstituer l'hémisphère céleste. Un des gros avantages est de pouvoir disposer d'un système marchant par tous les temps, même si la variabilité temporelle pose problème. La saturation dans le voisinage du soleil ne permet pas d'accéder à la décroissance radiale de la luminance autour du soleil, qui est pourtant une information prépondérante. De plus, il faut pouvoir estimer l'éclairement solaire direct.
    Plusieurs idées pour remédier à ce problème : placer une densité (filtre avec une forte atténuation) devant le soleil pour estimer la valeur (on pourrait asservir le placement de ce filtre en fonction de l'heure) ; placer un filtre plus large pour mesurer également dans le halo solaire ; placer un Spectralon dans le champ de la caméra avec une zone à l'ombre et une zone au soleil. Il faudrait rédiger rapidement les besoins pour réaliser ces manipulations dans le courant de l'été. Une autre manipulation intéressante consisterait à acquérir avec différents temps de pose.

  • Méthode d'inversion : le problème se formule comme la minimisation d'un polynôme multivarié, sous contrainte de conservation de l'énergie pour chaque matériau (la formulation de cette conservation devra être revue pour chaque modèle à noyaux). Le nombre max de réflexions autorisées est généralement 3. Une solution initiale convenable pourrait être évaluée en n'utilisant que les interactions de premier ordre (pas d'éclairement réfléchi).
    L'éclairement solaire direct pourrait également être mis comme paramètre ; il serait un paramètre de même statut que les paramètres de BRDF à noyaux dans le polynôme multivarié représentant la fonction coût. Cela revient implicitement à utiliser l'information des couples de points ombre/soleil pour estimer l'éclairement direct.

  • Planning de fin de thèse : il faut rédiger un planning prévisionnel pour cette dernière année de thèse. Les principales tâches sont : manipulations spécifiques pour l'estimation de la luminance du ciel, traitement des données résultantes, finalisation de la méthode d'inversion sur données synthétiques (dont étude de sensibilité), inversion sur une scène réelle.
    De plus, le rapport de deuxième année de thèse (prévu pour fin septembre) devra comprendre : un état de l'art mis à jour, une description du lancer de rayons symbolique et de la méthode d'inversion, les résultats prévus ou obtenus dans la reconstruction de la luminance du ciel.

vendredi 8 avril 2011

Compte-rendu du colloque SFTH du 8 avril 2011


Il s'agit d'un compte-rendu d'une partie seulement des présentations du vendredi 8 avril.

Partie "Atmosphère"

  • A. Deschamps (CEA) : Estimation conjointe des aérosols et du CO2 dans un panache de fumée, par imagerie hyperspectrale aéroportée
Dans le domaine 0.4 à 14 µm, il s'agit d'étudier le couplage des effets des aérosols et des gaz sur le transfert radiatif, principalement dans les panaches de fumée dus à des émissions industrielles ou des feux de végétation. Une méthode d'inversion est développée par ailleurs.
Les molécules de gaz présentent plusieurs modes de vibration (liés aux liaisons intra-moléculaires), qui entraînent des pics d'absorption -> surtout dans l'IR (proche et thermique).
Les aérosols ont un comportement qui dépend de leur taille (diffusion) et de leur composition (albédo de simple diffusion, indice de réfraction). On utilise la théorie de Mie pour modéliser leur comportement radiatif. Leur réponse ne présente pas de pics, et ils répondent plus fortement dans le visible que dans l'IR.
Couplage aérosols-gaz : les aérosols influent sur la profondeur des pics d'absorption des gaz ; or ceux-ci servent à estimer la concentration en gaz -> biais si l'on en prend pas en compte la concentration en aérosols, ou si l'on utilise un modèle standard.
Algorithme proposé : estimation des propri
étés des aérosols en-dehors des bandes d'absorption des gaz ; interpolation de ces propriétés dans les bandes d'absorption ; estimation sans biais de la concentration en gaz.
Les aérosols de feu de végétation sont modélisés comme des sphères, dont la distribution de taille suit une loi log-normale à un seul mode.
Utilisation de MODTRAN pour calculer la luminance, la transmission et l'albédo atmosphérique à partir des albédo de simple diffusion, épaisseur optique et facteur d'asymétrie donnée par la théorie de Mie.
L'inversion est basée sur l'idée de l'algo L-APOM. L'estimation du
CO2 se fait par JRGE (qui donne conjointement la concentration en gaz ET la réflectance au sol (supposée homogène)).
Une validation a été effectuée sur des données AVIRIS.

  • V. Achard (présenté par X. Briottet) (ONERA) : Les outils de correction atmosphérique de l'ONERA, pour l'estimation des propriétés optiques
Les produits recherchés sont des cartes de luminance corrigée, de réflectance, ou de température.
Il y a deux phases : caractérisation de l'atmosphère, et correction de ses effets.
Remarque : une image hyperspectrale est représentée par un hypercube (tenseur x_image, y_image, lambda).
Figure 1 : hypercube représentant une image hyperspectrale (source : http://lac-conakry.blogspot.com)

Outils développés :
- COCHISE : hypothèse de sol plat, mais hétérogène. La difficulté tient dans la bonne estimation du terme d'environnement. Cette estimation se fait par méthode Monte-Carlo dans le cas hétérogène.
-SIERRA : adapté aux zones montagneuses -> prend en compte les effets de pente, et les effets directionnels (le modèle de BRDF de Rahman est utilisé). Il s'agit d'un préliminaire à la classification. Les résultats pâtissent de tout mauvais recalage entre image et MNT, au niveau des crêtes et des thalwegs. Ces résultats sont similaires à ceux obtenus avec ATCOR4, mais devraient être plus précis dans le cas de zones présentant des canyons étroits (à vérifier sur un jeu de données).
- ICARE : adapté au milieu urbain, à très haute résolution spatiale. Il s'agit de prendre en compte l'ombrage (pour améliorer la classification, les ombres étant souvent considérées comme une classe à part). ICARE-V2 (S. Doz) utilise de plus des données multi-angulaires (avec des images qui voient les façades).


Partie "Algorithmes"

  • (NOVELTIS) : Modélisation directe du transfert radiatif dans l'atmosphère : 4A/OP
Présentation de l'outil de transfert radiatif 4A "opérationnel".
Les simulations numériques sont indispensables à l'estimation à l'estimation des propriétés optiques.
4A est un code raie par raie, couche par couche. Il utilise des bases de données pré-calculées dans lesquelles il interpole. Il considère une atmosphère sphérique (et non pas plane), utilise la méthode DISORT/SOS, prend en compte la réfraction et la diffusion (aérosols et cirrus).
Il sera très prochainement distribué sous licence GPL.

  • S. Valero (Grenoble) : Binary partition tree for hyperspectral remote sensing images
Idée : faire une classification en régions en utilisant le voisinage spatial et le voisinage spectral dans l'hypercube.
Construction de l'arbre : une région est représentée par son histogramme, vu comme une distribution de probabilité. Des critères de similarité et de fusion sont définis (basé sur la corrélation entre les histogrammes).
Coupe de l'arbre : il faut trouver la meilleure coupe de l'arbre construit. On part des feuilles et on utilise un seuil sur l'entropie pour déterminer si on doit couper plus haut ou pas.
L'étape de construction de l'arbre est la plus longue (30 min), la coupe et autres applications sont ensuite rapides.

  • A. Huck (présenté par M. Guillaume) (Institut Fresnel) : Séparation des sources et détection d'anomalies
Méthodes existantes : démixage, analyse en composantes indépendantes, poursuite de projection.
Détection d'anomalies au sein d'une image (qu'est-ce qu'on entend par anomalie ici?) : on détermine les statistiques du "fond" pour détecter les anomalies (de petite taille).

  • J. Minet (DGA) : Sélection de bandes spectrales pour la détection de cibles
A partir de signatures spectrales de référence, on veut détecter des cibles en temps réel. On suppose que le fond a une distribution gaussienne.
En utilisant les composantes dans les bandes sélectionnées, on utilise le produit scalaire entre pixel testé et cible de référence pour déterminer s'il s'agit d'une cible ou non -> il faut trouver les bandes spectrales qui maximisent le contraste entre la cible et le fond.
Un algorithme Monte-Carlo ayant une convergence trop lente, on utilise un algorithme génétique pour déterminer ces bandes. Le contraste maximal est meilleur si l'on utilise des bandes larges (dont la largeur est estimée également) plutôt que des Dirac.

  • Y. Ferrec (Institut d'Optique) : Techniques d'imagerie hyperspectrale par transformée de Fourier statique
Les imageurs hyperspectraux actuels sont à réseaux ou à prismes. On peut également utiliser l'interférométrie.
Par le passé : CAHYD (petit outil de recherche). On garde l'image plus les interférences. Par défilement, chaque point du sol passe par tous les points d'interférence. L'interférogramme de chaque point donne ensuite le spcetre de chaque point.
En cours : instrument SIELETERS de SYSIPHE (dans l'IR).
Avantages de l'utilisation de l'interférométrie : fort RSB (notamment là où le signal est faible), meilleure résolution spectrale.


Partie "Applications"

  • V. Lafon (Bordeaux 1) : Surveillance des milieux littoraux et côtiers par télédétection hyperspectrale
Il s'agit d'étudier la "couleur de l'océan". L'image donne accès à la réflectance, qui permet d'estimer les propriétés de l'eau (composition).
Exemple : en Aquitaine, il y a un fort apport en eau turbide dans l'océan, au niveau des embouchures de la Gironde et de l'Adour.
Applications : estimation de la concentration en plancton, estimation de la bathymétrie (par inversion de l'équation donnant l'atténuation exponentielle du signal, sous hypothèse d'une épaisseur optique homogène. La précision relative de cette méthode est de 20%).
L'imagerie hyperspectrale permettrait d'améliorer toutes ces méthodes.

  • X. Briottet (ONERA) : Milieu urbain
Les milieux urbains représentent un fort enjeu dans notre société : infrastructures, climatologie (influence locale des propriétés optiques des surfaces).
L'hyperspectral facilite la reconnaissance de signature spectrale.
La résolution spectrale optimale pour la classification : 14 bandes de 10 nm d'après [Herold 2004].
L'IR améliore la classification pour les matériaux de faible albédo.
Perspective : couplage multi-capteur : imageur hyperspectral + LIDAR.