수달이네 기술 블로그

Sparse AutoencodersparseAutoencoder.pdf입력 데이터를 압축된 형태로 표현하는 오토인코더의 한 종류.잠재 공간에서 대부분의 뉴런이 0에 가깝고, 일부만 활성화하도록 강제.평균 활성도가 특정 목표값보다 낮도록 함.활성된 뉴런 = 특정 결과에만 반응하는 뉴런(역할을 부여)비활성된 뉴런 = 결과에 연관이 거의 없는 뉴런희소성을 주기 위해 L1정규화, KL Divergence 기반의 제약을 추가L1 정규화: 가중치를 0에 가깝게 만들어 모델을 희소하도록 만듦.KLD: 뉴런의 평균 활성도가 목표와 얼마나 다른지를 파악(Loss function)결과적으로 데이터의 핵심적인 특징을 더 해석하고, 압축된 방식으로 표현한다.차원축소, 특징추출, 이상 탐지등의 분야에서 사용.KL Diverge..

오토인코더(Autoencoder)입력 데이터를 효율적으로 압축하고, 다시 복원하는 것을 목표로 하는 인공신경망 기반의 비지도 학습 모델.인코더(Encoder)인코더의 신경망 구조를 통해 고차원 데이터를 저차원(latent space)의 잠재 표현(latent vector)으로 변환입력 이미지가 28x28의 픽셀일 때, 784개의 숫자를 입력으로 받음.이후 해당 숫자에서 특징을 뽑아 32차원의 벡터로 압축 요약.(공간: latent space, 잠재표현: latent vector)디코더(Decoder)인코더가 만든 요약 정보를 통해 원래 데이터와 최대한 비슷하게 복원인코더가 만든 32차원의 벡터를 다시 784개의 숫자로 복원(28x28)비슷하게 재연하는 과정에서의 변화로 이미지를 생성.MNIST데이터셋에 ..