Digital Image Fundamentals #이미지 센싱과 획득

 

1. 이미지 센싱과 획득(Image Sensing and Acquisition)

 

우리가 흔히 접하는 대부분의 이미지는 광원(illumination source)이 어떤 사물에 주사되고, 사물에 반사된 빛 에너지를 센서를 통해 흡수하여 이미지를 만들게 된다. 일반적으로 생각하면 광원은 햇빛, 촬영할때 사용하는 조명 등이 있을 수 있다. 

 

우리가 흔히 볼 수 있는 대부분의 이미지는 "광원"과 그 광원 에너지가 도달한 환경에 대해 흡수되거나 반사된 에너지의 센싱의 조합으로 만들어진다. 여기서 중요한 것 두 가지가 바로 광원(illumination source)과 장면(scene)이다. 광원으로는 일반적으로 햇빛이나 형광등, LED조명과 같은 눈에 보이는 광원도 있지만, 좀 더 넓게 보면 전자기 에너지(Electromagnetic Energy Source), Radar, 적외선(infrared), X-Ray 등이 있고 심지어는 초음파(ultrasonic waves)나 컴퓨터로 생성한 패턴 광원이 될 수도 있다. 

 

장면(scene)의 경우에도 우리 주변에서 흔히 볼 수 있는 책상, 컵 등의 물건이 될 수도 있지만, 마찬가지로 좀 더 넓게 보면 분자(molecule), 암반층(buried rock formations), 심지어는 인간의 뇌도 하나의 대상이 될 수 있다. 

 

광원은 그 특성에 따라 광 에너지가 대상 물체에 반사(reflection)될 수도, 혹은 대상 물체를 통과(pass through)할 수도 있다. 전자의 예는 가시광선(햇빛)이 물체에 반사되어 우리 눈에 들어옴으로써 사물을 인지할 수 있는 것이고, 후자의 예는 X-Ray가 인체를 투과하면서 인체 장기의 구조나 형상에 대한 이미지를 만들어 내는 것이다. 전자현미경(Electron microscopy)이나 감마 이미징(Gamma Imaging)이 이러한 예가 되겠다. 

 

 

 

 

- 단일 센서(single sensor)를 활용한 이미지 획득: 

 

아래 그림은 단일 센서의 구조를 보여준다. 아마 이 세상에서 가장 익숙한 형태는 포토다이오드(photo diode)일 것이다. 포토다이오드는 실리콘 물질로 만들어져 있고 출력 voltage 파형은 빛의 크기에 비례한다. 즉 더 많은 양(더 센)의 빛이 들어올수록 더 높은 출력 voltage가 나온다. 

센서 앞에 있는 filter는 빛을 band별로 걸러서 선택적으로 빛 압력을 받게끔 한다. 예를 들면 Green filter가 위치할 경우 이 filter에 의해 Green band영역의 빛만 대부분 들어오고 나머지 band(red, blue, ...)의 빛은 대부분 걸러진다. 결과적으로 이 센서의 출력은 가시광선 스펙트럼에서 다른 영역의 빛 보다 Green 대역의 빛에 더 민감해진다. 

이에 대한 자세한 내용은 다크프로그래머님 블로그에 잘 정리 되어 있으니 참고하시라. 링크: http://darkpgmr.tistory.com/97

 

단일 센서(single sensor)의 구조, 포토다이오드

 

 

 

이러한 단일 센서만 가지고도 이미지를 얻을 수 있다. 하지만 그러기 위해선 특별한 장치가 필요하다. 아래 그림은 단일 센서를 이용해 이미지를 획득하는 장치이다. Drum에 스캔할 필름이 부착되어있고, 이 필름(film)을 리드 스크류(Lead screw)에 부착된 센서가 drum의 축방향(x-direction)으로 스캔을 한다. 한 라인의 스캔이 끝나면 drum이 x축을 중심으로 회전하여 필름을 y축 방향으로 움직여서 다음 줄을 스캔하게 된다. 

 

 

 

센서를 1개만 사용한다는 점에서 저렴할 수는 있으나 속도는 굉장히 느리다. 오히려 센서의 가격이 저렴할 경우 기계 장치로 인해 더 비싸질 수 있다. 이와 비슷하게 drum이 아닌 평평한 bed를 사용해 x, y방향으로 스캔하는 장치도 있다. 이와 같은 장치를 microdensitometers라 한다. 사전의 해석으로는 미소 농도계라고 나와있으나 뭔가 적절한 해석은 아닌 것 같다.

 

 

 

- Sensor strip을 활용한 이미지 획득:

 

단일 센서는 적은 센서로 이미지를 얻을 수 있다는 장점이 있으나 너무 느리다. 이보다 더 잘 쓰이는 방식은 sensor strip을 사용하는 것이다. 이는 아래 그림과 같이 단일 센서 여러 개를 이어 붙여 하나의 Line sensor형태를 띈다. 한 번에 line 전체를 스캔하기 때문에 단일 센서 방식에 비해 훨씬 빠르다. 

 

 

아래 그림은 대부분의 flat bed scanner에 사용되는 sensor strip의 형태이다. 

 

 

 

이러한 In-line sensor strip방식은 항공 사진에 응용되기도 한다. Line sensor를 붙인 항공기가 일정한 고도에서 일정한 속도로 움직이며 특정 지역을 스캔한다. 한 번에 한 line의 이미지를 스캔하고, 스캔한 line을 합쳐 2차원 이미지를 완성시키는 방식이다. 

 

Sensor strip방식은 또한 의료분야나 산업현장에서 3차원 물체의 단면(cross-sectional)을 얻기 위해 사용되기도 한다. Ring 구조의 안쪽 벽면에 X-Ray와 같은 광원이 부착되고 반대 벽면을 포함한 나머지 면에 센서들이 부착되어 있는 구조다. 아래 그림은 이러한 장치의 구조를 나타낸다. 

 

 

 

Ring의 한쪽 벽면에 장착된 X-Ray source에서 X-Ray를 방출하고, 물체를 통과하여 반대편 센서에 다다른다. 이는 의료나 산업현장에서 사용되는 CAR(Computerized Axial Tomography)의 기본적인 형태이다. 이렇게 하나의 단면을 획득한 후 물체를 Ring의 축 방향으로 한 step 이동시킨 후 다음 단면 이미지를 얻는다. 이렇게 3차원 물체의 단면 스캔을 마친 후 이미지들을 정합하여 하나의 3D volume이미지를 얻기도 한다. 광원(illumination source)이나 센서의 타입은 다르지만 MRI(Magnetic Resonance Imaging), PET(Position Emission Tomography)과 같은 장치도 기본적인 매커니즘은 매우 비슷하다. 

 

 

 

- Sensor 배열을 활용한 이미지 획득:

 

아래 그림은 단일 센서 여러 개를 붙여 센서 배열을 만든 모습이다. 

 

 

다수의 전자기(Electromagnetic) 혹은 초음파(ultrasonic waves) 센싱 장치들이 이 구조를 사용한다. 대표적인 예가 디지털 카메라에 사용된 CCD(Charge-Coupled Device)센서 Array인데 보통 가로 세로 각각 4000개 이상의 센서들로 구성된다. 2-D Array 방식의 가장 큰 장점은 에너지 패턴 자체를 센서 Array에 집속시켜 이미지를 한 번에 획득하기 때문에 센서의 Motion을 위한 장치가 따로 필요 없다는 것이다. 아래 그림은 Array 센서를 활용해 이미지를 획득하는 모습을 나타낸 것이다. 

 

 

 

 

먼저 광원으로부터 빛 에너지(Illumination source)가 방출되어 나온다. 방출된 빛 에너지는 어떤 물체(Scene element)에 다다르게 되고 반사된다(앞서 언급했듯 물체의 특성, 혹은 광 에너지의 특성에 따라 일부는 물체를 투과하기도 한다). 반사된 빛이 Imaging system에 도달한다. Imaging system은 입사되는 에너지들을 모아 image plane에 집중시킨다. 

 

입사되는 에너지가 빛의 형태라면, 가장 먼저 마주하는 대상은 렌즈(lens)다. 렌즈(볼록 렌즈)에 다다른 빛은 한 점으로 모이게 되는데, 이 점을 focal point라 한다. 이 focal point를 지나면 image plane(focal plane)이 있고 여기에 상이 맺히게 된다. 여기 상이 맺히는 부분에 바로 CCD센서 Array가 있다. 이 CCD센서를 통해 대상 물체에 반사된 빛 에너지는 전기 신호(voltage)로 변환 되고 양자화(Quantization)과정을 거쳐 디지털 이미지(Digitized Image)가 생성되는 것이다. 

 

위에서는 간단히 설명했지만 실세계 장면을 디지털 이미지로 만드는 과정은 매우 복잡한 단계를 거쳐서 생성된다. 이를 위해선 핀홀 카메라 모델(pin-hole camera model)을 통한 World to Pixel coordinate의 변환 과정, 양자화(Quantization) 과정 등 보다 자세한 설명이 필요하다. pin-hole camera model을 통한 이미지 좌표 변환 과정은 향후 multiple view geometry책에 대한 포스팅을 할 때 좀 더 자세히 설명하도록 하고, 양자화에 관한 내용은 다음 포스팅에서 언급하도록 하겠다. 

 

 

 

2. 간단한 이미지 형성 모델(A Simple Image Formation Model)

 

앞서 실세계 장면을 디지털 이미지로 만드는 과정은 매우 복잡하다고 언급하였다. 이번 포스팅에서는 광원과 이미지 획득에 대한 내용을 다루고 있으므로 그 복잡하고 수많은 과정 중에서 에너지 관점에서 간단한 이미지 형성 모델을 이야기 할까 한다. 

 

우리는 지난 포스팅에서 아래와 같이 이미지를 x와 y좌표로 표현할 수 있는 2차원 함수로 정의 하였다. 

 

 

이 함수가 의미하는 f는 (x, y)좌표에 있는 어떤 값, 혹은 진폭(amplitude)이라 할 수 있는데, 항상 양수이고 이미지의 형성 과정에서 결정된다. 이 값은 이미지 형성 과정의 물리적 단계, 즉 광원에서 나온 빛이 물체에 반사 되고, 반사된 빛이 렌즈를 거쳐 센서에 도달 하여 전압(voltage)값이 출력 될 때 계산된다. 이때 이 전압 값은 센서로 방사되는 에너지(ex. electromagnetic waves)의 크기에 비례한다. 따라서 이 f값은 반드시 0보다 커야 하며 유한하다. 

 

 

 

함수 f(x, y)는 조명 성분과 반사 성분의 두 가지 컴포넌트들로 구성된다. 

조명 성분(illumination)은 카메라에 보이는 장면에 주사되는 광원의 총량을 의미한다. 

반사 성분(reflectance)은 카메라에 보이는 장면에 있는 물체에 반사되는 빛의 총량을 의미한다. 

이들 조명 성분과 반사 성분은 각각 i(x, y), r(x, y)로 표기하며, 함수 f(x, y)는 두 함수의 곱으로 표현한다. 

 

 

반사 성분 r(x, y)의 범위는 0 ~ 1 사이로 한정되는데, 0의 경우엔 대상 물체가 주사된 광원을 전부 흡수한 경우이고, 1의 경우엔 광원을 전부 반사한 경우이다. 조명 성분 i(x, y)는 광원(illumination source)에 의해 결정되고, 반사 성분 r(x, y)는 대상 물체의 특성에 따라 결정된다. 즉 조명을 강하게 할 수록 조명 성분 값이 커질 것이고, 대상 물체가 유리나 거울과 같이 빛을 많이 반사하는 물질인 경우 반사 성분 값이 커질 것이다. 

 

좀 더 실질적으로 설명하자면 디지털 이미지의 각 픽셀(pixel)의 밝기 강도는 조명 성분과 반사 성분으로 구성되어 있다고 말할 수 있다. 

이러한 법칙은 광원이 물체를 반사하는 것이 아닌 X-Ray와 같이 광원이 물체를 투과(transmission)하는 경우에도 동일하게 적용될 수 있다. 이때는 이미지 형성 모델을 물체의 반사율(reflectivity)이 아닌 투과율(transmissivity)을 본다. 즉 r(x, y)이 반사율이 아닌 투과율을 의미하게 된다. 값의 범위는 0~1사이로 같다. 

 

 

- Examples of illumination and reflectance values:

 

조명 성분과 반사 성분에 대한 예를 들어보겠다.  모든 값들은 절대적이지 않으며 평균적인 값들이다. 

먼저 조명 성분에 내한 예이며, 단위는 lumen이다. 

 

Situations	Value
날씨가 좋은 날 낮에 태양의 지구 표면에 대한 빛의 강도
날씨가 흐린 날 낮에 태양의 지구 표면에 대한 빛의 강도
날씨가 좋은 날 밤에 달이 산출하는 지구 표면에 대한 빛의 강도
일반적인 사무실 내의 빛(조명)의 강도

 

 

 

다음은 반사 성분 r(x, y)에 대한 예이다. 범위는 0~1사이의 값이며 1에 가까울 수록 반사율이 높다. 

 

Material Name	Reflectivity
검은 벨벳(black velvet)	0.01
스테인리스 스틸(Stainless steel)	0.65
흰색 페인트가 칠해진 벽(flat-white wall)	0.80
은 도금된 금속(silver plated metal)	0.90
눈(snow)	0.93