수달이네 기술 블로그

3. AutoEncoder2(Sparse AE, Denoising AE, AutoEncoder + CIFAR10)

Sparse AutoencodersparseAutoencoder.pdf입력 데이터를 압축된 형태로 표현하는 오토인코더의 한 종류.잠재 공간에서 대부분의 뉴런이 0에 가깝고, 일부만 활성화하도록 강제.평균 활성도가 특정 목표값보다 낮도록 함.활성된 뉴런 = 특정 결과에만 반응하는 뉴런(역할을 부여)비활성된 뉴런 = 결과에 연관이 거의 없는 뉴런희소성을 주기 위해 L1정규화, KL Divergence 기반의 제약을 추가L1 정규화: 가중치를 0에 가깝게 만들어 모델을 희소하도록 만듦.KLD: 뉴런의 평균 활성도가 목표와 얼마나 다른지를 파악(Loss function)결과적으로 데이터의 핵심적인 특징을 더 해석하고, 압축된 방식으로 표현한다.차원축소, 특징추출, 이상 탐지등의 분야에서 사용.KL Diverge..
AI공부/Vision 2026. 3. 11. 12:05
이전 Prev 1 Next 다음