培訓(xùn)-先進(jìn)人機通信技術(shù)聯(lián)合實驗室

1、2024年3月16日,1,CVPR’09 Paper Review,報告人：韓琥2009/12/04,2024年3月16日,2,文章列表,#1364 – A. Panagopoulos, et al., Robust Shadow and Illumination Estimation Using a Mixture Model, CVPR’09, Poster#0877 – Kaiming He, et al., Single I

2、mage Haze Removal Using Dark Channel Prior, CVPR’09, Oral, Best Paper,2024年3月16日,3,#1364,TitleRobust Shadow and Illumination Estimation Using a Mixture ModelAuthorsAlexandros PanagopoulosDimitris SamarasNikos Paragi

3、os,2024年3月16日,4,1st Author,Alexandros PanagopoulosPh.D candidate, Image Analysis Lab, CS, Stony Brook University（紐約州立大學(xué)石溪分校）Papers:. Panagopoulos, et al., Robust Shadow and Illumination Estimation Using a Mixture Mode

4、l, CVPR’09,2024年3月16日,5,2nd Author,Dimitris SamarasAssociate Professor and Director, Image Analysis Lab, CS, Stony Brook UniversityPapers (IJCV, TPAMI, ICCV, CVPR… ~50)Dimitris Samaras and Dimitris Metaxas, Incorporat

5、ing Illumination Constraints in Deformable Models, CVPR’98Lei Zhang and Dimitris Samaras, Face Recognition from A Single Training Image under Arbitrary Unknown Lighting using Spherical Harmonics, TPAMI’06http://www.cs.

6、sunysb.edu/~samaras/,,Not Lei Zhang @ MSRA,2024年3月16日,6,3rd Author,Nikos ParagiosProfessor, École Centrale Paris（巴黎中央電子理工學(xué)院）Papers (6 Book, IJCV, TPAMI, TIP, CVIU, ICCV, CVPR…30+)N. Azzabou, N. Paragios & F.

7、 Guichard. Image Reconstruction Using Particle Filters and Multiple Hypotheses Testing, IEEE Transactions on Image Processing, (minor revisions)M. de la Gorce & N. Paragios. A Variational Approach to Monocular Hand-

8、pose Estimation, Computer Vision and Image Understanding (minor revisions)N. Komodakis, N. Paragios & G. Tziritas. MRF Energy Minimization and Beyond via Dual Decomposition, IEEE Transactions on Pattern Analysis and

9、 Machine Intelligence (minor revisions)http://vision.mas.ecp.fr/index.html,2024年3月16日,7,Abstract,Illuminant estimation from shadows typically relies on accurate segmentation of the shadows and knowledge of exact 3D geom

10、etry, while shadow estimation is difficult in the presence of texture. 通過陰影進(jìn)行光照估計通常依賴于對陰影區(qū)域的準(zhǔn)確分割和精確的3D幾何結(jié)構(gòu)，然而在圖像中存在紋理的情況下，陰影估計本身就很難。These can be onerous requirements; in this paper we propose a graphical model to estim

11、ate the illumination environment and detect the shadows of a scene with textured surfaces from a single image and only coarse 3D information.本文提出了一種在僅有一幅輸入圖像和粗糙3D幾何形狀的前提下，對具有紋理表面的場景進(jìn)行光照估計和陰影檢測的圖模型。,2024年3月16日,8,Abstract

12、,We represent the illumination environment as a mixture of von Mises-Fisher distributions. Then, each shadow pixel becomes the combination of samples generated from this illumination environment.本文將光照環(huán)境表示為混合vMF分布，于是陰影中的

13、每個像素可以表示成該光照環(huán)境下生成若干樣本的組合。We integrate a number of low-level, illumination-invariant 2D cues in a graphical model to detect and estimate cast shadows on textured surfaces. 本文在圖模型中集成了多種低層的具有光照不變性2D線索來檢測和估計紋理表面的cast shado

14、ws。,2024年3月16日,9,Abstract,Both 2D cues and approximate 3D reasoning are combined to infer a set of labels that identify the shadows in the image and estimate the positions, shapes and intensities of the light sources.融合

15、2D線索和近似的3D的推理，可以推斷出一組標(biāo)記圖像中陰影區(qū)域的標(biāo)號并估計光源的位置，形狀和強度Our results demonstrate that the probabilistic combination of multiple cues, unlike prior approaches, manages to differentiate both hard and soft shadows from the underlyin

16、g surface texture even when we can only coarsely anticipate the effect of 3D geometry.與以往基于先驗的方法不同，即使在僅能粗略的估計3D幾何信息的情況下，本文多線索融合的方法仍然能從表面紋理中同時區(qū)分出清晰陰影和模糊陰影。,2024年3月16日,10,Abstract,We also experimentally demonstrate how co

17、rrect estimation of the sharpness and shape of the light sources improves the Augmented Reality results.我們也通過實驗證明了準(zhǔn)確的估計光源的銳利程度和形狀能可以提高“擴增實境”的效果AugmentedReality.flv,,2024年3月16日,11,Motivation,在很多情況下，場景中物體的精確3D幾何信息是無法獲取的，

18、如何根據(jù)粗略的3D幾何信息來檢測陰影和估計光照？2D線索(圖像中提取的光照不變特征)與3D推理相結(jié)合，將光照表示為混合vMF分布（von Mises-Fisher distribution，類似于在球面上的高斯分布），然后通過EM算法迭代求解模型參數(shù)。,2024年3月16日,12,講解目標(biāo),如何用混合vMF分布對場景中的光照進(jìn)行建模？如何使EM算法run起來，從而求解模型的參數(shù)？如何檢測陰影？,2024年3月16日,13,講解目標(biāo)

19、,如何用混合vMF分布對場景中的光照進(jìn)行建模？如何使EM算法run起來，從而求解模型的參數(shù)？如何檢測陰影？,2024年3月16日,14,Basic,方向統(tǒng)計學(xué)：vMF分布（von Mises-Fisher）一個p維的單位隨機向量x服從vMF分布，如果其概率密度函數(shù)具有如下的形式： 平均方向 相對于平均方向的集中度 與高斯分布中均值和方差的概念很相似,2024年3月16日,15,Basic,,*from

20、wiki_en：blue: κ = 1, green: κ = 10, red: κ = 100,本文要估計的混合vMF分布與傳統(tǒng)意義下估計混合vMF分布的區(qū)別？,2024年3月16日,16,Basic,本文要對光照建模，因此可以用3D的vMF,2024年3月16日,17,Modeling,對于圖像中一個像素點i，對該點的入射光輻射度進(jìn)行N個方向的隨機采樣，到達(dá)該點的輻射度L(i)可以表示為沿著各個隨機方向 的輻射度之和：沿某

21、些方向的光線有可能存在遮擋問題，因此定義遮擋因子（權(quán)重）：,2024年3月16日,18,Modeling,沿著每個隨機方向 的輻射度，可以用具有M個component的混合vMF分布來建模：所有component的光照強度之和每個componet的初始平均方向 隨機選擇參數(shù)：,注意：只需要估計1個混合vMF分布，而不是P（像素數(shù)）個,2024年3月16日,19,Modeling,沿某些方向的光線有可能存在遮擋問

22、題，因此定義遮擋因子:于是：,2024年3月16日,20,講解目標(biāo),如何用混合vMF分布對場景中的光照進(jìn)行建模？如何使EM算法run起來，從而求解模型的參數(shù)？如何檢測陰影？,2024年3月16日,21,Parameter Estimation - EM,所有P個像素的集合：所有PN個隨機采樣方向的集合：所有M個混合vMF分布的集合：,2024年3月16日,22,Parameter Estimation - EM,E-st

23、ep根據(jù)當(dāng)前參數(shù) 的基礎(chǔ)上，計算由于光照vMF分布中的 而使像素 處于陰影中的概率 像素 標(biāo)記為陰影的概率 像素 在所有光照下的陰影強度值 [0,1], 第一次迭代的初值為1(若初始標(biāo)記為陰影)或0 光照分布 所貢獻(xiàn)的陰

24、影強度值,2024年3月16日,23,Parameter Estimation - EM,E-step對于像素 的每一個隨機采樣的方向 ,對應(yīng)隱變量 ，其對應(yīng)的期望：在每次迭代過程中，E-step每次只更新混合vMF分布中一個分量 相關(guān)的參數(shù),2024年3月16日,24,Parameter Estimation - EM,M-step更新混合vMF分布的參數(shù)參數(shù) 的更新不使

25、用E-step輸出的概率，而是基于圖像的梯度來計算,2024年3月16日,25,Parameter Estimation - EM,混合vMF分布中 分量的集中度參數(shù) 的估計利用 與其所貢獻(xiàn)的陰影圖的梯度強度之間的相互關(guān)系來近似求解如果 所貢獻(xiàn)的陰影圖的梯度強度越大，則意味著 中所包含的光照方向相對集中，即 的集中度參數(shù) 較大可以想象一下手術(shù)無影燈（集中度參數(shù)較小，所產(chǎn)生的陰影圖梯度強度小，即無影

26、）,2024年3月16日,26,Parameter Estimation - EM,實驗中方向的隨機采樣數(shù)目N=200平均迭代次數(shù)為15混合vMF分布的component數(shù)目M未說明，但如果平均迭代次數(shù)為15 ，則M應(yīng)當(dāng)小于15,2024年3月16日,27,講解目標(biāo),如何用混合vMF分布對場景中的光照進(jìn)行建模？如何使EM算法run起來，從而求解模型的參數(shù)？如何檢測陰影？,2024年3月16日,28,Shadow Detectio

27、n,Initial shadow borders using 2D illumination-invariant cuesRefinement using estimated illumination and rough geometry G比如用一個立方體近似汽車的幾何形狀,2024年3月16日,29,Shadow Detection,本文所使用3種的光照不變的2D線索：歸一化的rgb: r/(r+g+b), g/(r+g+b)

28、, b/(r+g+b) :1D illumination-invariant representation (是灰度圖),G. Finlayson, et al., On the Removal of Shadows from Images, TPAMI’06,2024年3月16日,30,Shadow Detection,,2024年3月16日,31,Shadow Detection,細(xì)化修正過程：由

29、EM算法估計出的光照參數(shù) 和粗糙的3D幾何體G計算出一個陰影圖（光線與G是否相交）,2024年3月16日,32,Results,,2024年3月16日,33,Results,,2024年3月16日,34,#0877,TitleSingle Image Haze Removal Using Dark Channel PriorBest Paper, CVPR’09Aut

30、horsKaiming HeJian SunXiaoou Tang,2024年3月16日,35,1st Author,Kaiming HePh. D candidate, Multimedia Laboratory, IE, CUHKBS, Academic Talent Program, THU, 2007Papers:Single Image Haze Removal Using Dark Channel Prior,

31、 CVPR’09http://personal.ie.cuhk.edu.hk/~hkm007/,難道我像泰國人嗎？^_^,2024年3月16日,36,2nd Author,Jian SunLead Researcher, Visual Computing Group, MSRABS(1997), MS (2000) and Ph.D (2003) Xi’an Jiaotong UniversityPapers:Zhong Wu

32、, Qifa Ke, and Jian Sun. A Multi-Sample, Multi-Tree Approach to Bag-of-Words Image Representation. ICCV'09.Litian Tao, Lu Yuan, and Jian Sun. SkyFinder: Attribute-based Sky Image Search. SIGGRAPH’09.Jiangyu Liu, Ji

33、an Sun, and Heung-Yeung Shum. Paint Selection. SIGGRAPH’09Kaiming He, Jian Sun, and Xiaou Tang. Single Image Haze Removal using Dark Channel Prior. CVPR’09Zhong Wu, Qifa Ke, Michael Isard, and Jian Sun. Bundling Featur

34、es for Large Scale Partial-Duplicate Web Image Search. CVPR’09 http://research.microsoft.com/en-us/people/jiansun/,2024年3月16日,37,3rd Author,Xiaoou TangProfessor, Multimedia Laboratory, IE, CUHKBS (1990, USTC), MS (19

35、91, Roch.), PhD (1996, MIT) Papers: (~196, IJCV, TPAMI, ICCV, CVPR,)C. Xu, J. Liu, and X. Tang, “2D Shape Matching by Contour Flexibility,” TPAMI’09.J. Liu, L. Cao, Z. Li, and X. Tang, “Plane-Based Optimization for 3D

36、 Object Reconstruction from Single Line Drawings,” TPAMI’08.L. Cao, J. Liu, and X. Tang, “What the Back of the Object Looks Like: 3D Reconstruction from Line Drawings without Hidden Lines,” TPAMI’08. http://www.ie.cuhk

37、.edu.hk/people/xotang.html,2024年3月16日,38,Abstract,In this paper, we propose a simple but effective image prior - dark channel prior to remove haze from a single input image. 本文提出了一種簡潔高效的用于單幅輸入圖像去霧的圖像先驗 - dark channel pr

38、iorThe dark channel prior is a kind of statistics of the haze-free outdoor images. It is based on a key observation - most local patches in haze-free outdoor images contain some pixels which have very low intensities in

39、 at least one color channel. Dark channel prior 是一種對無霧的圖像的統(tǒng)計規(guī)律：在無霧圖像中，大部分圖像塊中至少有一個顏色通道具有很小的顏色強度值,2024年3月16日,39,Abstract,Using this prior with the haze imaging model, we can directly estimate the thickness of the haze an

40、d recover a high quality haze-free image.利用dark channel prior，可以直接從一幅有霧的圖像中估計出霧的濃度，并恢復(fù)出高質(zhì)量的去霧圖像Results on a variety of outdoor haze images demonstrate the power of the proposed prior. Moreover, a high quality depth map

41、 can also be obtained as a by-product of haze removal.大量戶外有霧圖像上的實驗結(jié)果證明了dark channel prior的有效性，并且在去霧的同時，能得到高質(zhì)量的圖像深度圖（副產(chǎn)品）。,2024年3月16日,40,Hazy Images,,2024年3月16日,41,目標(biāo),,單幅輸入圖像I,去霧圖像J,深度圖,2024年3月16日,42,Hazy Image Model,在CV

42、,CG中廣泛應(yīng)用的帶霧圖像模型： :觀測到的圖像 :場景輻射度（去霧后的圖像） :全局大氣光照 :介質(zhì)（霧）的透過率已知I, 求解J, A, t, 病態(tài)問題,2024年3月16日,43,Motivation,,*This slide is from Kaiming He’s talking slides in CVPR’09.,2024年3月16日,44,Motivation,有霧的圖

43、像中，不同位置的霧，濃度往往是不同的，于是首先利用dark channel prior估計出霧的透過率圖 （transmission map, 反應(yīng)了圖像中霧的濃度變化）利用霧的透過率圖恢復(fù)場景的輻射度J（去霧的圖像）,2024年3月16日,45,Related Works,之前單幅圖像去霧的代表性方法：最大化局部對比度：R. Tan, Visibility in Bad Weather from a Single Image, C

44、VPR’08獨立成分分析：R. Fattal, Single Image Dehazing, SIGGRAPH’08,2024年3月16日,46,Dark Channel Prior,該思想并非首次提出：DOS (Dark-object Subtraction) global?P. Chavez. An Improved Dark-object Subtraction Technique for Atmospheric Scat

45、tering Correction of Multispectral Data. Remote Sensing of Environment, 24:450–479, 1988Spatially homogeneous haze is removed by subtracting a constant value corresponding to the darkest object in the scene.當(dāng)圖像中霧的濃度是均勻

46、的時候，DOS去霧效果非常好！本文的Dark Channel Prior 是否可以理解成 local DOS?,2024年3月16日,47,Dark Channel Prior,在一個非天空區(qū)域的無霧圖像塊中，某些像素中至少有一個顏色通道，具有很低的顏色強度值 圖像J的第c個顏色通道 以像素x為中心的塊作者在實驗中對于600x400的圖像取塊的大小為15x15,2024年3月16日,48,Dark Channel

47、 Prior,,2024年3月16日,49,Dark Channel Prior,隨機選了5000幅戶外無霧圖像，并手工將天空區(qū)域裁剪掉Image size: 500x500, patch size: 15x1575% dark channel values = 086% dark channel values < 1690% dark channel values < 25So,2024年3月16日,50,Dar

48、k Channel Prior,為什么會存在Dark Channel Prior這樣的規(guī)律？圖像中存在陰影物體是彩色的黑色物體,2024年3月16日,51,Transmission Estimation,假定在一個局部塊中，透過率 是常數(shù)，并且已知全局大氣光照A對帶霧圖像塊的一個顏色通道c上計算dark channel圖像塊所有通道的dark channel,2024年3月16日,52,Transmission

49、 Estimation,根據(jù)Dark Channel Prior有：,,,,2024年3月16日,53,Transmission Estimation,恰好是在用A歸一化后的帶霧圖像上計算的Dark Channel，從而可以求得初始的,2024年3月16日,54,Transmission Map Refinement,Using a soft matting algorithmA. Levin, D. Lischinski, and

50、Y. Weiss. A closed form solution to natural image matting. CVPR’06K. He之前在MSRA一直在做image matting的工作，直接拿來對transmission map作細(xì)化 ：細(xì)化后的介質(zhì)透過率圖 ：A. Levin提出的Matting Laplacian Matrix ：歸一化參數(shù)，實驗中取0.0001,2024年3

51、月16日,55,Transmission Map Refinement,,2024年3月16日,56,Scene Radiance Recovery,估計出transmission map 后如果假定A已知，那么根據(jù),2024年3月16日,57,Scene Radiance Recovery,有的像素點估計出的t(x)可能非常接近0，容易使結(jié)果J產(chǎn)生噪聲，于是：,t0相當(dāng)于保留了少量的霧,2024年3月16日,58,Atm

52、ospheric Light (A) Estimation,之前只是在假定A已知的條件下進(jìn)行公式推導(dǎo)前人在估計A時，大多直接選擇輸入圖像I中最亮像素的亮度值作為A的估計而本文根據(jù)dark channel圖估計A找到dark channel map中亮度最高的0.1%像素所對應(yīng)的原圖像I中像素把原圖像I中這些像素最大的亮度值作為A的估計,2024年3月16日,59,Atmospheric Light (A) Estimation,

53、,*This slide is from Kaiming He’s talking slides in CVPR’09.,2024年3月16日,60,Show Time,,2024年3月16日,61,Show Time,,Fattal SIGGRAPH’08,Dark Channel Prior,Original,2024年3月16日,62,Show Time,,Original,Dark Channel Prior,Tan CVPR’

54、08,2024年3月16日,63,Show Time,Dehazing-1.wmvDehazing-2.wmv,,2024年3月16日,64,一些關(guān)于文章的評價,Kaiming He: “電腦游戲帶來的靈感”，“大道之行在于簡, 三個審稿人都給出了最高的評分。他們認(rèn)為我們的方法簡單而有效”Xiaoou Tang: “方法非常簡單”，“對于一個很困難的問題，給出了很好的結(jié)果”，“發(fā)現(xiàn)了一個基本的自然規(guī)律并且應(yīng)用在實際的問題中”“in