수달이네 기술 블로그

0. 멀티모달 개요

Multimodal Learning(멀티모달 학습)Multimodal Learning서로 다른 여러 모달리티의 데이터(이미지, 텍스트, 음성, 영상 등)을 함께 학습하는 방식이미지를 입력으로 받아 텍스트로 설명하기영상과 음성을 함께 활용해 감정을 인식하기각 모달리티가 가진 상호 보완적 정보를 결합 → 단일 모달리티보다 풍부한 표현, 높은 성능을 기대Unimodal model하나의 데이터 모달리티만을 입력으로 받는 모델입력, 출력이 단일 형태로 고정 → 구조 단순, 학습과 해석에 용이특정 데이터 유형에 최적화된 성능Multitask Learning하나의 모델이 서로 다른 작업(task)을 동시에 학습하도록 설계하는 방법하나의 신경망이 감성분류, 주제분류를 동시에 수행하는 등. (모달리티는 하나)여러 작업에..
AI공부/멀티모달 2026. 3. 12. 13:52
이전 Prev 1 Next 다음