6. 시각적 탐색, 글리프

Visual Query & Search(시각적 질문, 검색)

1. 해결해야 할 문제와 관련한 시각적 질문.
2. 질문을 해결하는 패턴을 찾기위해 시각적 검색

시각적 질의

문제의 일부를 재구성하여 시각적 패턴 검색을 통해 해결책을 찾는 과정을 포함함.

• 패턴을 쉽게 찾을 수 있는 요소를 이해하는 것(질의의 효율성)이 중요(top-down식)
  • 패턴을 찾기 위해 눈을 움직이는 방식이 검색의 대부분을 차지
• 그래픽 심볼: 엔티티를 나타내는 객체
• 글리프: 엔티티와 엔티티의 숫자 속성을 전달하도록 설계된 객체

시각적 움직임

1. 비약 운동(Saccadic movements)
   • 시각 탐색 작업에서 초점에서 초점으로 빠르게 이동
   • 고정 시간은 200~400초, 비약 시간은 각도에 따라 20~180초가 소요된다.
   • 비약억제: 비약운동 중 시각적 입력이 둔해짐.
     • 눈이 움직이는 동안 특정 사건이 일어나면 놓칠 가능성이 높음
     • 따라서 한눈에 볼 수 있는 것이 매우 중요
2. 부드러운 추적 움직임(Smooth-pursuit movements)
   • 물체가 부드럽게 움직일때 눈이 추적하는 움직임
   • 물체에 시선을 고정한채 머리, 몸을 움직일 수 있게함.
3. 수렴 움직임(Convergent movements)
   • 물체가 가까워지면 눈이 모이고, 멀어지면 흩어지는 움직임
   • 비약운동 + 부드러운 추적 움직임으로 구성

위는 시각적 탐색의 과정이다,

• 시각은 끝없는 일련의 인지적 행위라 생각할 수 있다.
• 눈을 움직이고, 정보를 수집하고, 해석하고, 다음 움직임을 계획하는 과정이다.

다음 움직임을 계획할때 목표위치로 빠르게 눈을 어떻게 굴릴 수 있을까?

• 휴리스틱 전략(wolfe, Gancarz(1996))
  • 전체 시야에 대한 특징 맵 세트가 병렬 처리 작업에 의해 생성 (위의 V1영역)
  • 이후의 움직임은 순차적으로 실행됨. 목표영역 방문, 강한 영역으로 이동

쉽게 찾을 수 있는 시각적 특징

• A priori salience(우선적 현출성)
  • 패턴에 따라 특징맵에서 많은 신경 활동을 자극함
• Top-down salience modification(하향식 현출성 수정)
  • 무엇을 찾고 있는지에 따라 특정 특징의 민감도를 높임
• Scene gist(장면 요점)
  • 특징맵이 아닌 경험적인 요소로 자동으로 움직임 전략을 활성화함

V1

시각 정보는 눈의 망막에서 예비 처리 과정을 거치고, 외측슬상핵(lateral geniculate nucleus)의 신경 접합부를 통해 시신경에 전달, 피질에서 처리과정을 거침

이때, 피질의 첫 번째 영역을 V1(visual area1과 V2라 함

• V1의 출력의 대부분 V2로 전달되며, 시각처리의 40%이상 차지한다

V1과 V2엔 아래의 속성에 대해 다르게 조정되는 세포가 존재

• 형태의 국소적 요소: 방향, 크기(휘도 포함)
• opponent processing channel mechanisms을 통한 두가지 유형의 색상 신호
• 국소적 입체/운동 요소

Visual Channel Theory

V1, V2에서 처리되는 다양한 종류의 정보가 시각적 채널을 구성

시각 채널의 세분화

최상위 수준에서 정보가 시각, 청각 채널로 처리된다.

• 색상, 형태, 동작의 요소로 세분화 되고, 각 요소는 더 세분화됨.

• 다양한 채널의 정보는 시각적으로 쉽게 분리할 수 있음,
• 위 사진에서는 세분화된 채널에서 다른 요소들을 구분하기 쉬운가를 표현하고 있다.

하향식 시각처리 및 Attention

우리가 탐색할 대상을 정하면 해당 대상이 눈에 더 잘띈다.

그렇기 때문에

https://www.youtube.com/watch?v=vJG698U2Mvo

해당 영상에서 공을 몇번 던지는지 확인하는 과정을 집중해서 셀 경우

가운데에서 고릴라가 지나가는 모습을 못보기도 한다.

눈에 띄는 여부

• 무언가 눈에 띄는지 여부를 결정하는데 중요한 요인은 대상과 비대상간의 차이 정도와,
• 비대상 간의 차이 정도이다.
• 즉 왼쪽에선 기울어진 무언가를 찾는것 자체는 차이가 커서 쉽지만,
• 오른쪽 그림에선 비대상 즉 t의 차이 특성이 d와 비슷하기 때문에 눈에 잘 띄지 않는다는 것이다.

따라서 눈에 띄게 하기 위하여..

위와 같이 표적에 눈에 띄게 하도록 강조하는 표시를 추가하는 것이다.

• 비대칭성을 크게 높여줌

시각적 디자인이 복잡할 수록 강조표시 문제를 적용하기 어렵다.

• 만약 붉은색 사각형을 찾아야 할 경우 붉은색 원만 있었다면 찾기 쉬웠겠지만, 검은색 원과 검은색 사각형또한 혼재하므로 찾기 더 힘들어진다.

💡따라서 강조하기 위해 기호는 유일하게 구분되어야 한다.(비대칭 적)

즉, 가장 덜 사용되는 특성을 사용하는 것이 좋다.

만약 너무 많다면, 움직임, 깜빡거림등을 쓰는 것도 좋다.

비대칭성

1. XY평면의 공간 그룹화

a에서 녹색 타원형을 찾으라 한다면,

• 방해물은 검은색 원, 검은색 타원형, 녹색 원 세가지가 존재한다.
• 그렇기에 우리 뇌에선 녹색과 타원형을 결합한 특징을 찾아야 한다.

b에서 아래쪽그룹에서 녹색타원을 찾으라 한다면,

• 방해물은 검은색들 뿐이다.
• 그렇기에 우리는 녹색이라는 특징 하나만으로 타겟을 발견해버려 탐색이 빠르다.
• 또한, 아래쪽 그룹이라는 말때문에 우리는 전체 공간을 훑지 않고 아래쪽 그룹이라는 영역만 훑게 된다.

2. 입체적 깊이

• 입체적 깊이와 색상 또는 입체적 깊이와 움직임의 결합이 주의 전에 처리될 수 있다.

3. 볼록함, 오목함, 색상

• 지각한 요철과 색상의 결합이 주의 전에 처리될 수 있다.

4. 동작

• 동작과 목표의 모양이 주의전에 함께 스캔될 수 있다.

5. 휘도 극성 및 모양

• 위처럼 모양과 밝기가 결합된 조합 또한 다른 방해물들과 명확히 구분될 수 있다.

글리프 디자인

위처럼 양을 나타내는 기호를 글리프라고 한다.

글리프를 만들기 위해서는 하나 이상의 양적 데이터 속성을 객체의 다양한 그래픽 속성에 체계적으로 매핑해야한다.

• 글리프는 숫자 눈금을 넣어 만들 수도 있다.(정확도 상승)

• 양을 표현할때 길이, 높이, 위치등에 기초한 글리프를 사용하자
• 즉, 부피를 사용하는 것은 최대한 지양하자
• 글리프가 빠르게 눈에 띄기 위해서는 모든 객체와 명확하게 구분되어야 한다.
• 어떤 변수를 어떤 색상, 모양 등에 매핑할지 결정해야한다.