Transcript 직접광과간접광의분리
직접광과 간접광의 분리방법 창원대학교 정보통신공학과 박동규 2009. 12. 목차 1. Ice breaking 2. 관련 연구 - 3. 4. 5. 6. 7. 빛의 이론 Nayar의 고주파 조명패턴을 이용한 분리 기법 직접광과 간접광의 분리 방법 장면과 조명과의 거리에 따른 분리 비활성화된 영역에서의 밝기 측정 이미지 처리의 응용 결론 및 향후 연구과제 Ice breaking • 빛과 색 • 빛 – 전자기파의 한 종류 • 가시광선 – 780-380나노미터의 파장을 가진 빛 Ice breaking • 전자기파와 가시광선 Ice breaking Rayleigh Scattering Ice breaking 500m 고도에서 찍은 일몰 Ice breaking • 사과의 색은? 색의 과학(Color Science) • 색의 3요소 – 가시광선을 복사하는 광원 – 광원에서 나오는 관선을 반사하거나 투과시키는 물체 – 광선을 지각하는 인간의 감각기관(눈) 자연광의 분광분포 Source: http://webvision.med.utah.edu/sretina.html 색의 과학(Color Science) • 색상신호 C(λ)는 C(λ) = E(λ) S(λ)로 정의됨 (광원의 분광분포) (물체의 분광반사) (사람의 시감효율) R = ∫ E(λ) S(λ) qR(λ) dλ = ∫ C(λ) qR(λ) dλ G = ∫ E(λ) S(λ) qG(λ) dλ = ∫ C(λ) qG(λ) dλ B = ∫ E(λ) S(λ) qB(λ) dλ = ∫ C(λ) qB(λ) dλ * λ(람다)는 물리학에서 파장을 의미함 관련 연구 • 빛의 이론 – 장면을 구성하는 빛은 크게 직접광 성분(direct light)과 간접광 성 분(indirect light)으로 구분 직접광과 전역광의 예 participating medium surface source B D A P E camera translucent surface C A : Direct B : Interreflection C : Subsurface D : Volumetric E : Diffusion 관련 연구 • Nayar의 고주파 조명패턴을 이용한 분리 기법 – 직접광과 간접광 성분:상호반사 표면 광원 j i 카메라 L[c, i] Ld [c, i] Lg [c, i] 라디언스 직접광 간접광 Lg [c, i] A[i, j] L[i, j] P BRDF 2. 관련 연구 • Nayar의 고주파 조명패턴을 이용한 분리 기법 – 고주파 조명패턴 표면 광원 i 카메라 광원에 의해 활성화된 영역 전역광원+직접광원 전역광원은 거의 없으며 직접광성분이 주를 이룸 2. 관련 연구 • Nayar의 고주파 조명패턴을 이용한 분리 기법 – 고주파 조명패턴 광원 표면 i 카메라 2. 관련 연구 • Nayar의 고주파 조명패턴을 이용한 분리 기법 – 고주파 조명패턴 광원 표면 i 카메라 광원에 의해 활성화된 영역 Lg : 광원이 활성화된 영역 으로부터 받는 전역광의 양 2. 관련 연구 • Nayar의 고주파 조명패턴을 이용한 분리 기법 – 고주파 조명패턴 광원 표면 Lg : 광원이 활성화된 영역 으로부터 받는 전역광의 양 점선 : 광원이 활성화되지 않은 영역에서는 전역광이 없다고 가정하자 i 카메라 광원에 의해 활성화된 영역 2. 관련 연구 • Nayar의 고주파 조명패턴을 이용한 분리 기법 – 고주파 조명패턴 광원 표면 i 카메라 광원에 의해 활성화된 영역 직접광원이 닿지 않으므로 전역광성분만을 고려함 광원이 활성화되지 않은 영역 2. 관련 연구 • Nayar의 고주파 조명패턴을 이용한 분리 기법 – 고주파 조명패턴 광원 표면 점선 : 광원이 활성화되지 않은 영역에서의 전역광성 분까지 고려하면 i 카메라 L+[c, i] Ld [c, i] Lg [c, i] b(1 ) Lg [c, i] 광원에 의해 활성화된 영역 2. 관련 연구 • 고주파 조명패턴 • 빛이 활성화되지 않은 영역의 밝기: b, 0<=b<=1 L+[c, i] Ld [c, i] Lg [c, i] b(1 )Lg [c, i] L- [c, i] b Ld [c, i] (1 ) Lg [c, i] b Lg [c, i] 1 , b 0 : Ld Lmax Lmin , Lg 2Lmin 2 직접광 간접광 3. 직접광과 간접광의 분리 • 실험환경 – 고주파 조명 패턴: 체커보드 조명 패턴 – 해상도: 1024*768 – 상하 좌우로 2픽셀씩 이동하여 25개의 패턴 생성 – 흰색: 빛이 비춰지는 영역, 검은색: 빛이 차단된 영역 – 조명: 빔 프로젝터(해상도:1024*768) – 디지털 카메라를 이용하여 장면 촬영 <체커보드 조명패턴> 3. 직접광과 간접광의 분리 • 실험환경 3. 직접광과 간접광의 분리 • 분리 과정 <장면> <체커보드 조명을 비추어 촬영한 이미지> <최대 밝기( Lmax)> <최소밝기( Lmin )> 3. 직접광과 간접광의 분리 • 실험 결과 <장면> <직접광 성분> <간접광 성분> 3. 직접광과 간접광의 분리 • 실험 결과 <장면> <장면> 3. 직접광과 간접광의 분리 • 실험 결과 <직접광 성분> 3. 직접광과 간접광의 분리 • 실험 결과 <간접광 성분> 4. 장면과 조명과의 거리에 따른 분리 • 분리 결과의 정확도를 높이기 위한 실험환경 찾기 – – – – 픽셀 크기: 4*4, 6*6, 8*8 조명의 위치: 60cm, 80cm, 100cm 직접광과 간접광 성분을 합한 장면과 실제 장면 비교 간접광 성분의 민감도 측정 100cm 80cm 60cm 4. 장면과 조명과의 거리에 따른 분리 조명과 물체 와의 거리 실제 장면 직접광+간접광 직접광 60cm 80cm 100cm 4*4 일때 분리결과 간접광 4. 장면과 조명과의 거리에 따른 분리 조명과 물체 와의 거리 실제 장면 직접광+간접광 직접광 60cm 80cm 100cm 6*6 일때 분리결과 간접광 4. 장면과 조명과의 거리에 따른 분리 조명과 물체 와의 거리 실제 장면 직접광+간접광 직접광 60cm 80cm 100cm 8*8 일때 분리결과 간접광 4. 장면과 조명과의 거리에 따른 분리 • 실험 결과 – – – 조명의 밝기는 거리의 제곱에 반비례함 가까운 위치에서는 빛의 반사가 큼 멀리 있을 경우 빛의 세기가 약하므로 간접광 성분이 줄어듬 밝기 차이 0.2 0.15 4*4 0.1 6*6 8*8 0.05 0 거리(cm) 60 80 100 5. 비활성화된 영역에서의 밝기(b) 측정 • α=1/2 일때 5. 비활성화된 영역에서의 밝기(b) 측정 • b값 – – – – • 빛이 활성화 되지 않은 영역에서의 전역광(간접광) 성분의 비율 범위: 0<=b<=1 값 0에 가까울수록 간접광 성분의 크기가 작아짐 정확한 b값의 측정이 필요함 b값 측정 방법 – 실제 장면 = 직접광 성분+ 간접광 성분 Ls [c, i] Ld [c, i] Lg [c, i] L [c, i] L[c, i] (1 b)(Ld [c, i] Lg [c, i]) (1 b) Ls [c, i] L [c, i ] L [c, i ] b 1 Ls [c, i ] 우리가 아는 값 5. 비활성화된 영역에서의 밝기(b) 측정 • b = 0 일때 + = <직접광+간접광> <실제장면> 5. 비활성화된 영역에서의 밝기(b) 측정 • 측정된 b = 0.2319 일 때 + = <직접광+간접광> <실제장면> 5. 비활성화된 영역에서의 밝기(b) 측정 • 물체 표면의 거칠기에 따른 b값 측정 표면 거칠기 거친 표면 b = 0.1784 매끈한 표면 b = 0.1702 실제 장면 직접광+간점광 직접광 간접광 5. 비활성화된 영역에서의 밝기(b) 측정 • 재질에 따른 b값 측정 물체의 재질 천 b = 0.1356 나무 b = 0.1189 양초 b = 0.1632 실제 장면 직접광+간점광 직접광 간접광 5. 비활성화된 영역에서의 밝기(b) 측정 • 재질에 따른 b값 측정 물체의 재질 유리 b = 0.1549 피부 b =0.1960 실제 장면 직접광+간점광 직접광 간접광 5. 비활성화된 영역에서의 밝기(b) 측정 • 간접광 성분과 b값의 관계 1 0.8 나무 0.6 천 0.4 유리 양초 0.2 피부 0 b 0 0.1 0.2 0.3 재질 나무 천 유리 양초 피부 b값 0.1189 0.1356 0.1549 0.1632 0.1960 Lg 비율(%) 28 36 47 62 76 5. 이미지 처리 응용 • 새로운 이미지 생성 장면 실제 색상 초록색으로 색상변경 분홍색으로 색상변경 직접광 간접광 6. 이미지 처리 응용 • 간접광 성분의 특성이용비닐 커버에 가려진 물체 의 이미지 추출 <직접광 성분> <실제 장면> <간접광 성분> 6. 이미지 처리 응용 • 이미지 enhancement <실제 장면> <간접광 성분> <밝기 조절(imadjust)> 6. 이미지 처리 응용 • 이미지 enhancement <실제 장면> <간접광 성분> <대비향상( ahapthisteq)> 6. 이미지 처리 응용 • 이미지 enhancement <실제 장면> <간접광 성분> <이미지 필터링(unsharp)> 다양한 물체의 분리 결과 <실제 장면> <직접광+간접광> <직접광> <간접광> 다양한 물체의 분리 결과 <실제 장면> <직접광+간접광> <직접광> <간접광> Face: Without and With Makeup Without Makeup Direct Global With Makeup Direct Global 출처 : http://www1.cs.columbia.edu/CAVE/projects/separation/separation.php Makeup Blonde Hair Direct Global 출처 : http://www1.cs.columbia.edu/CAVE/projects/separation/separation.php 7. 결론 • 결론 – 고주파 조명패턴을 이용한 장면의 분리 – 장면과 조명과의 거리에 따른 실험을 통하여 간접광 성분을 고려 하여 적절한 위치를 설정 – 빛이 비추어지지 않는 영역에서 존재하는 빛의 성분 값을 측정함 으로 분리된 장면의 합과 실제 장면의 차이를 줄임으로 분리결과 의 정확도를 높임 – 물체의 속성에 따라 측정된 값이 달라지며 간접광 성분의 영향을 많이 받음을 알 수 있었다. – 이미지 처리의 응용으로 간접광의 특성을 이용하여 가려진 물체 의 형태를 추출 가능 Thanks.