10. 시각적 인지와 언어적 인지

자연어

언어의 심층구조가 존재한다. > 유전된 신경구조에 기반한 선천적 인지능력을 나타냄.- 노엄 촘스키(Noam Chomsky)

• 자연어와 컴퓨터 언어가 동일한 인지적 기반을 가지고 있다.

수화

시각 언어의 사례, 즉, 시각언어와 음성언어 사이의 밀접한 관련이 있음을 추측 가능

Visual Programming은 좋은 아이디어일까?

과거에는 컴퓨터 프로그램을 작성, 이해하는데 어려움이 있었기에, 이를 해결하기 위해 시각적으로 언어를 이해하도록 연구하였음.

→ 이후, 컴퓨터 프로그래밍 언어 자체가 시각보다 자연어 처리에 많은 공통점을 가졌다는 것이 밝혀져 사장

예시) 블록형태의 프로그래밍

예시) 플로우차트

• 해당 플로우 차트또한 최근엔 거의 사용하지 않음.

그러나, 일부 정보의 경우 다이어그램으로 훨씬 잘 설명 가능하다.

예시) 관계 다이어그램

• 자세한 절차적 논리는 텍스트가 더 나음.

결론

프로그래밍의 세부적인 논리나 추상적인 개념은 그래픽보다 텍스트가 더 잘 전달된다.(일반적 언어에 근거한 방법 사용)

객체 관계, 그룹등 구조적 관계는 그래픽 요소

텍스트와 그래픽 통합

절차적인 정보는 텍스트나 구어 혹은 이미지와 통합된 텍스트를 사용하여 제공

• 위 그림 처럼 교육절차 텍스트 블록을 다이어그램과 통합하여 더 잘 이해되도록 할 수 있다.

프레젠테이션

프레젠테이션 발표 시 화면에 발표내용을 텍스트로 표시하면

• 청중의 인지적 흐름을 통제할 수 없게됨(청중은 발표 내용을 미리 읽음)
• 따라서 발표자의 말과 그가 가리키는 이미지의 일부와 일치하지 않게 된다.

즉, 텍스트 발표자료가 아닌 그림으로, 어디를 보라고 지시를 내려가며 발표하는 것이 효과적

지시적 몸짓

무언가를 가리켜 나타내는 행위

• 시각적 대상에 이름을 부여하기 위해 가리키고, 이름을 말함.
• 시각적 이미지와 음성언어 사이의 간극을 메우는데에 사용.

애니메이션 vs 동적 프레젠테이션

과거엔 정적 정보 표현보다 동적으로 표현된 음성, 글이 결합된 애니메이션 표현이 더 우수하다는 주장이 있었음

• 그러나 해당 주장은 검증되지 못했음.
• 가설과 관련된 핵심 정보는 정적 방식으로 명확하게 제시될 수 있다.

• 애니메이션 or 동영상 보다 위와 같은 정적 표현 방식이 더 효과적
• 예로, 동영상 조립과정은 중간에 멈춰서 보게 된다.(동적 > 정적)

정적표현의 방법

1. 묘사의 연속성을 유지하기 위해 연속동작을 명확히
2. 부품은 명확히 보여주고 알아볼 수 있도록
3. 다른프레임으로 넘어갈때 부품의 부분적 배치는 일관적으로
4. 부품간 연결 및 동작을 표시해야함.

동적 표현의 방법

시퀀스가 길면 현재 관련있는 부분의 정보를 얻기 위해 재생하는데 시간이 소요된다.

• 따라서, 짧게 여러개를 만든다.(쇼츠 동영상과 비슷한 원리)
• 길다면, 짧게 볼 수 있는 방법을 제공