lundi 12 novembre 2012

Compte-rendu de la réunion du 12 novembre 2012


  • Campagne UMBRA
Il faut rédiger un bilan de l'acquisition Stereopolis sur Amiens : description des données, conditions d'acquisition (heure, atmosphère, soleil, etc), analyse qualitative des problèmes visibles (notamment les traînées claires dans les lignes où un pixel est très lumineux, et les zones sombres apparaissant quelques fois sur le demi-capteur de deux caméras quand elles voient le soleil).

D'autre part, il serait intéressant de publier un article RFPT décrivant cette campagne : description des mesures, objectifs, moyens mis en oeuvre, déroulement de l'acquisition, description des données générées, illustrations de ces données par quelques exemples. Karine, Arnaud et Fabien doivent donc réfléchir à un plan pour cet article et le faire valider.
  • Manuscrit
Il n'y a plus de parties à rédiger pour le moment, car il faut attendre le résultat du traitement des images d'Amiens. Seule l'organisation des parties 2 et 3 peuvent être validées (mais le texte lui-même n'a pas beaucoup changé).


  • Traitement des données Stereopolis d'Amiens
Le pré-traitement est en cours : conversion 12 bits vers 16 bits, débayérisation, correction de flat-field.
Le beau ciel bleu est a priori un bon point pour l'estimation de l'hémisphère céleste. En revanche, le soleil relativement bas n'a pas permis de créer beaucoup de zones d'ombre sur la plaque blanche du toit du camion (dont l'ONERA a mesuré la réflectance : à récupérer).
Il faut décrire pas à pas les traitements qui seront effectués, ainsi que les problèmes rencontrés.

vendredi 7 septembre 2012

Compte-rendu de la réunion du 7 septembre 2012


  • Traitement des images du Spectralon
Les arbres font des ombres indésirables sur la planche de Spectralon : détecter les images où la végétation gêne et ne pas les utiliser (la végétation n'étant de toute façon pas traitée dans la chaîne proposée). Karine travaille au développement d'une méthode, dans ses travaux de thèse, pour évaluer la possibilité d'appliquer un facteur de transmission moyen sur les zones d'ombre de végétation.
Les nuages posent également un problème : ils augmentent l'importance de l'auréole solaire et élargissent les zones de pénombre.
Il faudrait un modèle 3D du cache du montage pour pouvoir comparer la valeur des pixels sur les images de Spectralon et la valeur simulée avec le modèle d'illumination estimé : cela pourrait permettre de reconstituer les zones saturées de l'hémisphère.
La validation de l'illumination peut se faire par comparaison avec ce que donne un code de transfert radiatif (qui n'est adapté qu'aux conditions météo de beau temps). Pour la validation, une mesure directe de l'éclairement par un photomètre n'est pas vraiment envisageable. Une validation en laboratoire pourrait être faite avec des sources connues et maîtrisées, mais ce n'est pas facile à mettre en oeuvre pour Stéréopolis.

  • Nouvelle tête de caméras, calibration radiométrique
La nouvelle tête devrait être opérationnelle courant novembre. La calibration radiométrique est en cours, il faudra quantifier l'erreur qu'elle induit sur la méthode.
  • Composition du jury de thèse
Il serait bien de mélanger des spécialistes de la physique et des spécialistes de l'informatique graphique.
Noms évoqués : H. Maître (Télécom), C. Weber (LIVE, Strasbourg)
  • Manuscrit et planning
Une première version de la partie simulation est écrite ; la  partie inversion devrait être terminée pour fin octobre. Il faudrait également rédiger rapidement la partie sur le Spectralon le l'estimation de l'illumination, afin d'avoir plus de matière à discussion pour la prochaine réunion. Cette partie illumination doit également faire l'objet d'une publication.
De manière générale, il faut rédiger un maximum de choses avant la campagne d'acquisition, dont le traitement peut être coûteux en temps.

La prochaine réunion est fixée au 12 novembre à 15h.

mercredi 5 septembre 2012

Ordre du jour de la réunion du 7 septembre 2012

Manuscrit première partie : remarques et corrections

Composition du jury de thèse : des idées?

Traitement des données Spectralon : passages à l'ombre bien éliminés, mais problèmes lors des masquages partiels par des arbres (exemple sur les images ci-dessous : le passage où le soleil est masqué par des arbres entraînent les zigs-zags de la courbe représentant Edirect estimé en fonction du numéro de prise de vue)



lundi 2 juillet 2012

Compte-rendu de la réunion du 2 juillet 2012


     1. Estimation de l'illumination

Une plaque de Spectralon surmontée d'un cache composé de parties pleines et de parties détourées, vue par une caméra spécifique, permet d'obtenir des bords d'ombre sur  les images du Spectralon.
L'exploitation des couples de points ombre-soleil donne une estimation de l'éclairement direct. Cependant, l'écart-type relatif de cette estimation sur 10 couples est de 10% de l'éclairement estimé. 
Plusieurs explications : 
- la surface du Spectralon est affectée par des rayures, et on observe même un comportement spéculaire.
- le bruit est très important, jusqu'à 200 niveaux sur 1000 dans les coins de l'image, ou la correction de flat-field augmente le niveau relatif du bruit.

- problème du flat-field :  le réglage de la mise au point et du diaphragme ont été changés -> le flat-field utilisé n'est pas bon -> il faut refaire un flat-field. Cela explique une partie de la variance observée. Pour limiter les effets d'un flat-field imparfait, il ne faudrait exploiter qu'une zone centrale restreinte. 
- vieillissement des capteurs?

Les flat-fields réalisés avec la sphère intégrante sur les caméras directement sur le toit du véhicule montre un rapport de 0.99 environ entre les valeurs avec et sans filtre, au centre de l'image -> c'est bizarre car la transmittance des filtres n'est pas si bonne.

La détection des pixels de ciel en utilisant un modèle 3D type Bati3D donne un masque approché satisfaisant : il permet de ne pas classer les bâtiments clairs et les fenêtres comme ciel. Il faut raffiner avec du traitement d'image pour éliminer la végétation et les imprécisions du modèle.
La saturation dans le halo solaire reste un problème. Il faudrait s'assurer des hypothèses faites lors de l'utilisation des environment maps faites par un modèle de Perez : interactions nuages - atmosphère?

     2. Fin de thèse et rédaction du manuscrit

Il faudrait commencer à rédiger les premières parties du manuscrit, en parallèle des développements (finalisation de la méthode). Cela permettrait d'attendre une acquisition avec la nouvelle tête panoramique, qui pourrait être opérationnelle d'ici à novembre : on éviterait ainsi les difficultés d'étalonnage et de traitement des données du système actuel.

Le plan proposé pour le manuscrit appelle les modifications suivantes :
- fusion des parties modélisation du signal et simulation du signal en une seule partie problème direct ; elle peut être rédigée pour fin août ;
- fusion des parties estimation de la réflectance et estimation de l'illumination en une partie inversion, en évoquant d'abord le problème de l'estimation de l'illumination ; elle peut être rédigée pour fin octobre ;
- la dernière partie sera alors une partie réalisation : implémentation, mesures, résultats, discussion. Pour cette partie, il reste à faire l'acquisition, le traitement et la rédaction.

En ce qui concerne les publications : il faut donner la priorité à la rédaction du manuscrit : on pourra valoriser après la fin de la thèse. On pourra envisager une publication sur le système complet d'estimation de l'environment map + éclairement solaire direct, et une plus grosse publication (voire deux) sur la chaîne complète d'estimation de la réflectance. Il peut être bon de commencer à y réfléchir pour essayer de mutualiser les figures avec le manuscrit.


La prochaine réunion est planifiée pour le vendredi 7 septembre à 14h.

lundi 19 mars 2012

Compte-rendu de la réunion du 19 mars 2012

1. Article ISPRS 

 L'article est rejeté pour la part A (annales de l'ISPRS), mais peut être publié dans les archives de l'ISPRS (articles sélectionnés sur abstract). Nicolas suggère de le publier dans ces archives, pour introduire ce sujet parmi les publications photogrammétrie/télédétection. En revanche, le travail pourrait être valorisé dans un nouvel article (par exemple pour CVRS). Il faudrait pour cela ajouter l'estimation de l'éclairement direct solaire ainsi qu'une application simple (pas la chaîne complète d'inversion par lancer symbolique). Cette application pourrait être de la réalité augmentée, du ré-éclairement de bâtiment avec le Rodéon, de l'estimation de l'ensoleillement disponible (panneaux solaires ... -> est-ce vraiment pertinent?) -> à affiner rapidement.

2. Traitement de données réelles

2.1 Acquisition spécifique

Il faut dans tous les cas avoir une estimation correcte de l'illumination (ciel + soleil). Une acquisition Stéréopolis spécifique avec un Spectralon sur le toit, avec une caméra le pointant, est possible. En revanche, Stéréopolis ne peut pas faire d'acquisition en bracketing (différents temps de pose).
Problème : la caméra va rapidement saturer sur le Spectralon  exposé au soleil ; il faudrait peut-être utiliser un Spectralon gris foncé : Xavier regarde s'il y en a à l'ONERA.
Si l'on veut se passer de Spectralon (dans une perspective plus "computer graphics"), on doit utiliser des couples de points ombre-soleil pour lesquelles on ne connaît pas l'albédo du matériau. On a donc accès au rapport Edirect / (Erefl+Ediffus). Il faudrait donc trouver un endroit où l'on puisse estimer (Erefl+Ediffus) (un endroit dégagé pour lequel on a Erefl = 0 peut faire l'affaire, en connaissant la géométrie du cache-soleil).

2.2 Calibration radiométrique des caméras

Il faut s'intéresser à la calibration radiométrique des caméras :
- pixel à pixel (flat-field -> homogénéité spatiale)
- inter-bandes (balance des blancs)
- inter-instruments (gains relatifs entre les caméras)
- absolue (gain absolu pour retrouver une grandeur physique). On peut s'en passer si l'on n'utilise que les caméras comme instruments de mesure.
Les essais avec la sphère intégrante montrait une instabilité temporelle de la puissance de la source (ce qui est gênant pour la calibration inter-caméras) -> il faut laisser chauffer la lampe au moins 1h. De plus, l'intérieur de la sphère intégrante n'est pas homogène en luminance : il faut bouger la caméra pour que chaque pixel voit une zone proche du centre de la sphère -> montage avec le Rodéon?
Les autres méthodes (images de verre dépoli ou de feuille blanche) pourraient être comparées à la sphère. Le MATIS possède des lampes Solux au comportement spectral proche de celui du Soleil. La mire colorimétrique Greta peut être utilisée pour la balance des blancs.

3. Méthode d'inversion "tout environment maps"

L'idée est d'utiliser, pour chaque point imagé, les valeurs de pixels comme estimation de l'éclairement total arrivant sur ce point. Il s'agit du même principe que l'estimation de la luminance du ciel à partir des pixels de ciel, en l'étendant à l'estimation de l'éclairement réfléchi à partir des pixels de façades. Cela nécessite de négliger de considérer les matériaux comme lambertiens pour les termes réfléchis, mais pas forcément pour l'estimation finale de la réflectance du point imagé.
Fabien doit rédiger un document pour expliquer cela clairement.
Les avantages de cette méthode seraient la simplicité algorithmique, permettant alors d'estimer une réflectance pour chaque point, et non plus pour chaque facette.

4. Manuscrit final


Fabien doit soumettre un plan de rédaction du manuscrit final, afin de pouvoir commencer à rédiger, et permettre d'évaluer les "trous".







Ordre du jour/préliminaire de la réunion du 19 mars 2012

 1. Estimation de l'illumination

 L'estimation d'un modèle de Perez à partir des pixels de ciel visibles dans l'image est satisfaisante. Il manque cependant l'éclairement solaire direct au sol. En le mettant comme inconnue lors du lancer de rayons symbolique, l'inversion se passe mal, même si l'on a une limite ombre-soleil. Il faudrait peut-être un système de poids pour les zones à l'ombre. La méthode ombre-soleil marche bien sur une scène synthétique (mais on connaît la réflectance...).

 2. Traitement de données réelles

 Campagne de Clermont-Ferrand : on a le modèle 3D (type Bâti 3D) et les images. Il pourrait être intéressant de faire une acquisition spécifique avec un Spectralon dans le champ de vision de la caméra. C'est possible de le mettre sur le toit du camion, et de rajouter une caméra qui pointe vers lui. Utilisation des images comme environment map : on estime l'éclairement réfléchi directement à partir des valeurs des images (on doit supposer les matériaux lambertiens pour les éclairements réfléchis, mais pas forcément pour l'estimation finale).

  3. Article ISPRS

 L'article pour Melbourne a été rejeté. Vaut-il mieux le laisser dans les articles part B ou le resoumettre ailleurs? Pistes de perfectionnement : utilisation du modèle 3D (+ détection des arbres) pour discriminer le ciel, parler de la chaîne totale pour mieux faire comprendre l'approche, intégrer la dimension temporelle (la review parle de structure from motion)?

mercredi 29 juin 2011

Compte-rendu du point de thèse du 29 juin 2011

Participants : Xavier, Mathieu, Lâmân, Fabien

  • Estimation de la luminance du ciel à partir des images : l'idée est d'utiliser la valeur de luminance des pixels voyant le ciel pour reconstituer l'hémisphère céleste. Un des gros avantages est de pouvoir disposer d'un système marchant par tous les temps, même si la variabilité temporelle pose problème. La saturation dans le voisinage du soleil ne permet pas d'accéder à la décroissance radiale de la luminance autour du soleil, qui est pourtant une information prépondérante. De plus, il faut pouvoir estimer l'éclairement solaire direct.
    Plusieurs idées pour remédier à ce problème : placer une densité (filtre avec une forte atténuation) devant le soleil pour estimer la valeur (on pourrait asservir le placement de ce filtre en fonction de l'heure) ; placer un filtre plus large pour mesurer également dans le halo solaire ; placer un Spectralon dans le champ de la caméra avec une zone à l'ombre et une zone au soleil. Il faudrait rédiger rapidement les besoins pour réaliser ces manipulations dans le courant de l'été. Une autre manipulation intéressante consisterait à acquérir avec différents temps de pose.

  • Méthode d'inversion : le problème se formule comme la minimisation d'un polynôme multivarié, sous contrainte de conservation de l'énergie pour chaque matériau (la formulation de cette conservation devra être revue pour chaque modèle à noyaux). Le nombre max de réflexions autorisées est généralement 3. Une solution initiale convenable pourrait être évaluée en n'utilisant que les interactions de premier ordre (pas d'éclairement réfléchi).
    L'éclairement solaire direct pourrait également être mis comme paramètre ; il serait un paramètre de même statut que les paramètres de BRDF à noyaux dans le polynôme multivarié représentant la fonction coût. Cela revient implicitement à utiliser l'information des couples de points ombre/soleil pour estimer l'éclairement direct.

  • Planning de fin de thèse : il faut rédiger un planning prévisionnel pour cette dernière année de thèse. Les principales tâches sont : manipulations spécifiques pour l'estimation de la luminance du ciel, traitement des données résultantes, finalisation de la méthode d'inversion sur données synthétiques (dont étude de sensibilité), inversion sur une scène réelle.
    De plus, le rapport de deuxième année de thèse (prévu pour fin septembre) devra comprendre : un état de l'art mis à jour, une description du lancer de rayons symbolique et de la méthode d'inversion, les résultats prévus ou obtenus dans la reconstruction de la luminance du ciel.