컴퓨터비전 이미지 전처리 : 코너 에지 검출 및 머신 러닝 기법/Image Processing : Corner Detection, Edge Extraction, and Machine Learning Techniques

14장 지역 특징점 검출과 매칭 435p.

1. 16개의 픽셀 값들을 활용하는 코너 검출 방법

FAST 코너 검출 방법

코너 검출 기준: 

영상의 모든 픽셀에서 픽셀을 둘러싸고 있는 16개의 주변 픽셀과 밝기를 비교하여 코너 여부를 판별.

점 p가 코너인지 판별하기 위해 p점 주변 1~16번 픽셀과의 밝기를 비교

만약 점 p보다 충분히 밝거나 어두운 픽셀이 9개 이상 연속으로 존재한다면 코너로 정의.

다른 코너 검출 기법과 비교했을때 특징 :

장점 :단순한 픽셀 값 비교 방법을 통해 코너를 검출하기 때문에 연산속도가 빠르다.

단점 : 특정 코너 점 주변 픽셀들도 함께 코너로 검출하는 경우가 잦음 => 비최대 억제 작업 추가 수행

비최대 억제 : 코너 점수 = (점 p - 주변 16개 점 각 픽셀값) 인접한 코너들 중 차이의 합 즉, 코너 점수가 가장큰 코너만을 최종 코너로 선택.

 

9장 에지 검출과 응용 315p.

2. 캐니 에지 검출기 수행 단계

가우시안 필터링->그래디언트 계산->비최대 억제->이중 임계값을 이용한 히스테리시스 에지 트래킹

 

가우시안 필터링 : 영상에 포함된 잡음 제거(표준편차 적절하게 선택하여 에지의 세기가 감소하지 않게 주의)

 

그래디언트 계산 : 일반적을 3x3 소벨 마스크 사용(정확한 에지를 찾기 위해 그래디언트 크기와 방향 고려)

-가로, 세로 방향으로 각각 소벨 마스크 필터링 수행 후 그래디언트 크기와 방향 모두 계산

-L2 norm : 그래디언트 크기 정의 연산속도 느림 => L1 norm :  연산 속도 향상한 그래디언트 크기 근사.

 

비최대억제 : 단순히 그래디언트 크기가 특정 임계값보다 큰 픽셀을 선택하면, 에지 근방의 여러 픽셀이 한꺼번에 선택되어 에지가 두껍게 표현될 수 있다. 그래디언트 크기가 국지적 최대(local maximum)인 픽셀만을 에지 픽셀로 설정하는 기법. 상대적으로 국지적 최대가 아닌 픽셀은 에지에서 제외한다는 의미에서 비최대 억제라는 용어를 사용.

일반적 2차원 영상에서 국지적 최대를 찾으려면 특정 픽셀을 둘러싸고 있는 모든 픽셀의 값을 검사하여 국지적 최대인지 판별하지만, 캐니 에지 검출기의 비최대 억제 과정에서는 그래디언트 벡터의 방향과 같은 방향에 있는 인접 픽셀끼리만 국지적 최대 검사를 수행=>가장 변화율이 큰 위치의 픽셀만 에지로 선정.

 

이중 임계값을 이용한 히스테리시스 에지 트래킹 :

기본 소벨 에지 검출 방법에서는 그래디언트 크기가 특정 임계값보다 크면 에지 픽셀로, 작으면 에지가 아닌 픽셀로 판단=> 하나의 임계값을 사용할 경우 이분법으로 결과가 판단되기 때문에 환경 변화에 민감

캐니 에지 검출기에서는 두개의 임계값을 사용(Thigh,Tlow)

Thigh 보다 큰 경우 : 강한 에지 최종적 에지로 판단

Tlow 보다 작은 경우 : 에지 아님

두 개의 임계 값 사이인 픽셀 : 약한 에지=> 추가 검사(히스테리시스 에지 트래킹) 

히스테리시스 에지 트래킹 : 에지 픽셀이 대체로 상호 연결되어 있다는 점을 이용. 강한 에지 픽셀과 연결된 경우에 최종적 에지로 판단.

 

9장 에지 검출과 응용 322p.

3. 허프 변환으로 직선을 검출하고자 할 때 직교 좌표계 대신 극좌표계 사용했을 때 장점

직교좌표계와 같이 y=ax+bd의 형태의 직선 방정식을 사용할 경우 모든 형태의 직선을 표현하기 어렵다. (y축과 평행한 수직선->기울기 무한) 

실제 허프 변환은 극좌표계를 사용한다. xcos(theta) + ysin(theta) = p의 형태의 직선의 방정식

p : 원점에서 직선까지의 수직 거리

theta : 원점에서 직선에 수직선을 내렸을 때 x축과 이루는 각도.

ptheta 공간에서 한 점은 xy공간에서 직선으로 나타나게 됨. 

허프 변환 수행시 축적 배열 사용=> 축적 배열에서 국지적 최대 값이 발생하는 위치에서 p와 theta값을 찾아 직선의 방정식을 구할 수 있음.

p theta 실수 값이기에 코드로 축적 배열 구현시 가질 수 있는 값 적당한 크기로 나누어 저장하는 양자화과정을 거처야함.

구간 촘촘하게 나눌 경우 : 입력 영상 정밀한 직선 검출 가능 but 연산 시간 증가

구간 듬성하게 나눌 경우 : 입력 영상 직선 검출 정확도 감소 but 연산 속도 증가

 

10장 컬러 영상 처리

4. 컬러 사진에 대해서 다음의 작업들을 수행할 때 적합한 색공간을 쓰세요.

1) 히스토그램 평활화 : YCrCb 색공간

RGB 각 채널에 히스토그램 평활화 수행한 후 다시 채널을 합치면 R,G,B 색상 채널마다 서로 다른 형태의 명암비 변환 함수를 사용하게 되기 때문에 원본 영상과 다른 색상의 결과 영상이 만들어지는 단점이 생긴다. 

색감은 변경하지 않고 명암비를 높이고자 한다면 영상의 밝기 정보만을 사용해야한다. =>영상의 밝기 정보와 색상 정보로 분리 => 밝기 정보에 대해서만 히스토그램 평활화를 수행

YCrCb 색공간 사용 시 : 입력 영상을 YCrCb 색공간으로 변환하여 Y성분에 대해서만 히스토그램 평활화를 수행(Cr, Cb 색성분은 유지). 변경된 Y채널과 다시 Cr, Cb 채널을 합치면 컬러 히스토그램 평활화 결과 영상을 얻을 수 있음.

색감은 유지 오직 밝기 성분에 대해서만 명암비 증가

 

2) 히스토그램 역투영  : YCrCb 색공간 (CrCb 색 평면 => 2차원 히스토그램 구함)

사람 피부색처럼 미세한 변화가 있거나 색상 값을 수치적으로 지정하기 어려운 경우. => hsv 사용불가

역투영 : 객체의 기준 영상을 미리 가지고 있다면 컬러 히스토그램 정보를 이용하여 비슷한 색상영역을 찾을 수 있다. 즉, 기준 영상으로부터 찾고자 하는 객체의 컬러 히스토그램을 미리 구하고 주어진 입력 영상에서 해당 히스토그램에 부합하는 영역을 찾아내는 방식.

피부색 영역의 CrCb 히스토그램 구하고 결과를 그레이스케일 영상 형식으로 나타냄. 밝은 부분이 CrCb 평면에서 피부색을 표현하는 영역

 

3) 색상 범위 지정에 의한 영역 분할 : HSV 색공간 (h: 색상, s: 채도, v:명도)

색상 값을 수치적으로 지정

특정 생삭 영역 추출 => rgb보다는 hsv등의 색상(H) 정보가 따로 설정되어 있는 색 공간을 사용하는 것이 유리.

ex)  hsv색공간에서 h값이 60근방으로 표현되기 때문에 h값이 60에 가까운지를 조사하여 녹색픽셀 찾아낼수 있다.

 

12장 레이블링과 외곽선 검출 380p.

5. 조명이 균일하지 않고, 글자가 검은색, 배경이 흰색으로 표시된 그림에 대해서 각 글자들의 위치를 검출하고자 한다.  검출한 글자들을 cv2.rectangle 함수를 사용하여 주변을 둘러싸는 사각형을 그려주기 위해 필요한 2가지 이상의 연산들?

 

객체 검출시 필요한 연산 => 이진화: 배경과 글자 영역을 0과 255의 픽셀값으로 설정으로 구분.

일단 배경과 객체를 구분하였다면 각각의 객체를 구분하고 분석하는 작업이 필요.

레이블링 : 영상 내에 존재하는 객체 픽셀 집합에 고유 번호를 매기는 작업으로 연결된 구성 요소 레이블링이라고도 함.

객체 인식을 위한 전처리 과정 중 하나. 일반적으로 이진화 된 영상에서 수행. 

검정색 픽셀(0) => 배경/ 흰색 픽셀(0이 아니면) => 객체픽셀로 간주

하나의 객체 : 한개 이상의 인접한 픽셀로 구성, 하나의 객체를 구성하는 모든 픽셀 => 같은 레이블 번호 지정

 

외곽선 검출 : 객체의 위치 및 크기 정보 추출하는 기능

 

11장 이진화와 모폴로지 369p.

6. 모폴로지 연산만을 이용하여 객체의 테두리를 검출하는 방법.

침식 (Erosion): 모폴로지 연산 중 하나인 침식을 사용합니다. 침식은 객체의 경계를 축소시키는 효과가 있습니다. 침식을 적용하면 객체의 테두리 부분이 배경으로 바뀝니다.
경계 검출 (Boundary Detection): 원본 이진 이미지에서 침식된 이미지를 빼면 객체의 테두리만 남습니다. 이는 원본 이미지와 침식된 이미지의 차이를 계산하여 수행할 수 있습니다.

 

12장 레이블링과 외관선 검출 399p.

7. 더글라스-포이커 알고리즘 apporxPolyDP() 함수 : 더글라스 포이커 알고리즘 사용 => 곡선, 다각형 단순화

1)알고리즘 사용이유

외곽선 또는 곡선을 근사화, 단순화 하기 위함.

2) 수행절차

입력 외곽선에서 가장 멀리 떨어진 두점을 찾아 직선으로 잊는다.

해당 직선에서 가장 멀리 떨어진 외곽선 상의 점을 찾아 근사화 점으로 추가한다.

(위 과정 반복)

새로 추가할 외곽선상의 점과 근사화에 의한 직선과의 수직 거리가 epsilon 인자보다 작으면 근사화 종료.

ex) epsilon = 직선 또는 곡선 길이의 일정 비율(arcLength(curve,true) * 0.02)

 

3) 수행 결과를 이용해 검출할 수 있는 객체 => 다각형

외곽선 길이와 도형의 면적 비율 R = 4pi*객체 면적/ (외곽선 길이^2) => 1과 가까울수록 원에 가까움

double ratio = 4. * CV_PI * area / (len * len); 

 

13장 객체 검출 404p.

8. 각 조건을 만족할 때 사용할 수 있는 객체 검출 방법을 나열하시오.

1) 항상 조명 환경이 일정하고 객체의 색상 분포가 언제나 샘플 이미지와 유사한 경우

색상 범위 지정에 의한 영역 분할

객체의 색상 분포가 유사하므로 HSV 색공간의 H 값을 지정하여 검출 가능.

 

2) 객체의 크기와 색상 분포가 샘플 이미지와 동일하게 유지되며, 다른 각도로 회전하지 않는 경우

템플릿 매칭 : 입력 영상에서 작은 크기의 부분 영상 위치를 찾아내고 싶은 경우.

동작 방식 : 템플릿 영상을 입력 영상 전체 영역에 대해 이동하면서 템플릿 영상과 입력 영상 부분 영상과의 유사도(similarity) 또는 비유사도(dissimiliarity)를 계산한다. 유사도를 계산시 템플릿 영상과 비슷한 부분 영상 위치에서 값이 크게 나타나고, 반대로 비유사도를 계산할 경우에는 템플릿 영상과 비슷한 영상 위치에서 값이 작게 나타난다. 

그레일스케일 영상 형태로 나타냈을 시 가장 밝은(흰색) 위치 유사도가 높은 위치가 템플릿과 가장 비슷한 부분 영상 위치이다.   

matchTemplate(image,templ, result, method, mask)

result=유사도 맵에 결과를 저장 => image 영상 크기 WxH, 영상 크기 wxh일 경우

result 행렬의 크기 (W-w+1) x (H-h+1)

=> 해당 위치 minMaxLoc() 함수를 이용하여 result 행렬 최대 최소값 위치 구한다.

 

method : 템플릿 비교 방법

TM_SQDIFF 제곱차 : 두 영상이 완벽히 일치할 경우 0, 서로 유사하지 않으면 0보다 큰 양수. 비유사도.

TM_CCORR 상관관계 : 두 영상이  유사하면 큰 양수가 나오고 유사하지 않으면 작은 값. 유사도.

TM_CCOEFF 상관계수 : 비교할 두 영상을 미리 평균 밝기로 보정한 후 상관관계 매칭을 수행하는 방식. 유사도.

 

알고리즘 특성상 입력 영상이 회전되거나 크기가 변경되면 제대로 동작하지 않는다. 또한 찾고자 하는 템플릿 영상이 다른 객체에 의해 가려져도 좋은 매칭 결과를 기대할 수 없다. 이러한 경우 템플릿 매칭 보다는 특징점 매칭 기법을 이용하여 원하는 객체 영역을 찾는 것이 좋다.

 

3) 객체의 크기와 각도가 샘플 이미지와 달라질 수 있는 경우

크기 불변 특징점 알고리즘 : 영상의 크기가 변경되거나 회전이 되어도 반복적으로 찾을 수 있다.

 

우선 코너는 => 회전 불변 특징점 but 크기가 변경될 경우 더 이상 코너로 검출 되지 않을 수 있다.(코너인데 에지가 급격하게 휘어지는 구간을 관측하지 못하여 에지에 가까운 형태로 관측) Ex) Harris, FAST

 

SIFT : Scale Invariant Feature Transform 크기 불변 특징 변환

입력 영상으로부터 스케일 스페이스 구성

스케일 스페이스 : 영상에 다양한 표준 편차를 이용한 가우시안 블러링을 적용하여 구성한 영상 집합

=>옥타브

가로, 세로 반으로 줄여가면서 여러 옥타브를 구성 => 서브 샘플링

 

DoG(Difference of Gaussian) 영상 : 인접한 가우시안 블러링 영상끼리의 차영상

 

SIFT는 DoG 영상 집합에서 인접한 DoG 영상을 고려한 지역 극값 위치를 특징점으로 사용하고, 에지 성분이 강하거나 명암비가 낮은 지점은 특징점에서 제외한다.

 

특징점 기술자(특징 벡터) : 특징점 주변 영상의 특성을 여러 개의 실수 값으로 표현한 것을 의미

그래디언트 방향 히스토그램을 추출하여 기술자로 사용

 

특징점 근방으로부터 특징점의 주된 방향 성분을 계산하고, 이 방향만큼 회전한 부분 영상으로부터 128개의 빈(8 x 16)으로 구성된 그래디언트 방향 히스토그램(HoG)을 계산한다. 하나의 SIFT 특징점은 512바이트 크기의 기술자로 표현.

8개 방향 16개 픽셀 => 128개 빈     128 x 4byte = 512 byte.

 

SIFT 활용 분야 : 영상의 크기, 회전 등의 변환, 촬영 시점 변화, 잡음 영향, 조명 변화에 도 강의

객체인식, 파노라마 영상 이어 붙이기, 3차원 장면 인식 등에 활용

 

13장 객체 검출 406p.

9. 두 영상의 픽셀 값을 비교하는 제곱차, 상관관계, 상관계수 매칭 방법에 대해 물음에 답하시오.

1) 제곱 차 매칭 대신 상관 관계 매칭을 사용할 때의 장점

직관적인 결과 해석: 상관관계 매칭에서는 높은 매칭 점수가 더 좋은 매칭을 의미합니다. 이는 결과를 해석하고 분석하기 쉽게 만듭니다.
밝기와 명암 변화에 강인함: 픽셀 값의 절대적인 차이보다는 패턴의 유사성에 중점을 두기 때문에, 밝기나 명암의 변화에 대한 강인함을 보입니다.

 

기본 원리: TM_SQDIFF는 템플릿과 대상 영역 간의 픽셀 값 차이의 제곱합을 계산합니다. 그러나 이 방식은 절대적인 픽셀 값의 차이에만 집중하므로, 이미지의 전체적인 밝기나 대비에 따라 결과가 크게 영향을 받을 수 있습니다.

정규화의 필요성: 이미지의 특정 부분에서 발생하는 작은 차이가 전체 맥락에서 보았을 때 어떤 의미를 가지는지를 더 잘 이해하기 위해 정규화를 사용합니다. 예를 들어, 전체적으로 낮은 밝기를 가진 이미지에서 작은 밝기 차이는 중요한 특징일 수 있지만, 전체적으로 밝은 이미지에서는 그렇지 않을 수 있습니다.

 

2) 상관관계 매칭을 사용했을 때 문제가 발생할 수 있는 경우와 해결 방법

두 영상의 밝기가 다를 경우 올바른 매칭 결과가 도출되지 않을 수 있다.

탬플릿과 유사한 다른 부분을 매칭할 가능성도 있다.

전처리 과정에서 정규화 등의 방식을 통해 두 영상간의 밝기 차이 줄인다.

 

3) 상관계수 매칭 방법이 상관관계 매칭 방법보다 더 나은 성능을 보이는 경우

두 영상을 평균 밝기로 보정을 한뒤 상관관계 매칭을 수행하는 것이기 때문에 입력 영상과 템플릿 이미지의 밝기 차이에 영향을 덜 받음.

 

14장 지역 특징점 검출과 매칭 441p.

10. ORB 알고리즘에서 사용하는 기술자에 대해서 => FAST 코너 검출 + BRIEF 이진 기술자

1) SIFT, SURF의 기술자와 비교했을때 장점

ORB 알고리즘은 기본적으로 FAST 코너 검출 방법을 이용하여 특징점을 추출.

기본적인 FAST 알고리즘은 영상의 크기 변화에 취약 => ORB 알고리즘 : 입력 영상의 크기를 점진적으로 축소한 피라미드 영상을 구축하여 특징점을 추출. 각 특징점에서 주된 방향 성분을 계산하고, 방향을 고려한 BRIEF 알고리즘으로 이진 기술자를 계산한다. 

BREIF(Binary Robust Independent Elementary Features) : 특징점 기술자만을 생성하는 알고리즘

특징점 주변의 픽셀 쌍을 미리 정하고 해당 픽셀 값 크기를 비교하여 0 또는 1로 특징을 기술한다.

두 점 x와 y에서의 픽셀 값 크기 비교 테스트 t는 다음과 같이 정의한다.

t(x,y) = I(x) < I(y) 이면 1, 그외 0

ex) 이진 기술자 : 특징점 주변 정보를 이진수 형태로 표현하는 기술자
특징점 p 주변 점 a, b, c를 미리 정의하고 t(a,b), t(b,c), t(c,a)를 구하면 이진수 110을 얻는다. 

t(a,b) => 1 I(a) < I(b) 점 b가 점 a보다 밝다. ... 따라서 밝기 순 : a<b<c 

 

ORB 알고리즘은 FAST 기반 방법으로 특징점 구하고, 각 특징점에서 픽셀 밝기 값 분포를 고려한 코너 성분을 계산한다. 이 방향 성분을 고려하여 BRIEF 계산에 필요한 점들의 위치를 보정함으로써 회전에 불변한 BRIEF 기술자를 계산한다. 기본적으로 256개의 크기 비교 픽셀 쌍을 사용하여 이진 기술자 구성하며, 결과적으로 하나의 특징점은 256비트로 표현할 수 있다.  SIFT 와 SURF 기술자가 각각 512, 256바이트를 사용하는 것에 비해 ORB는 32바이트의 크기로 특징점을 기술할 수 있어서 효율적이다.

 

SIFT, SURF의 경우 소스코드는 공개되어 있지만 알고리즘 자체에 특허가 걸려 있기 때문에 상업적인 사용시에 제약이 있을 수 있다.

2) 특징점간 거리 계산 방법을 서술하시오 

이진 기술자로 표현된 특징점 사이의 거리 계산 => 해밍 거리

해밍거리는 이진수로 표현된 두 기술자에서 서로 값이 다른 비트의 개수를 세는 방식으로 계산한다. 해밍 거리 계산은 두 기술자의 비트 단위 배타적 논리합(XOR) 연산 후 비트 값이 1인 개수를 세는 방식으로 빠르게 계산할 수 있다.

 

15장 머신러닝 474p.

11. k-fold cross validation의 수행 방법과 사용목적

수행 방법 : 

8000개의 훈련 영상을 800개씩 열개의 부분 집합으로 분할

이 중 아홉 개의 부분 집합으로 학습, 나머지 한 개의 집합을 이용하여 성능 검증

검증을 위한 부분 집합을 바꿔 가면서 여러 번 학습과 검증을 수행

 

사용 목적 :

머시 러닝은 내부적으로 사용하는 많은 파라미터에 의해 성능이 달라질 수 있기 때문에 최적의 파라미터를 찾는 것이 중요하다. k-fold croess validation k-폴드 교차 검증을 다양한 파라미터에 대해 수행하면서 가장 성능이 높게 나타나는 파라미터를 찾을 수 있다.

 

영상에서의 기본 용어 정의

특징 feature : 영상으로 부터 추출할 수 있는 유용한 정보 ex) 평균 밝기, 히스토그램, 에지, 직선 성분, 코너 등

지역 특징 : 영상 전체가 아닌 일부 영역에서 추출할 수 있는 특징 ex) 에지, 코너, 직선 성분

코너 : 에지의 방향이 급격하게 변하는 부분, 다른 지역 특징에 비해 분별력이 높고 대체로 영상 전 영상에 골고루 분포하기 때문에 영상 분석에 유요한 지역 특징으로 사용됨.

특징점(키포인트, 관심점) : 코너처럼 한점의 형태로 표현할 수 있는 특징

 

 

 

참고 도서 : opencv4로 배우는 컴퓨터 비전과 머신러닝/길벗