수달이네 기술 블로그

구현(차원축소)MNIST와 CIFAR10데이터셋 다운로드(이미지, 라벨)형태의 데이터셋을 순회하며 이미지를 0~1로 정규화2D/3D이미지를 1D벡터로 펼침각 데이터셋에서 1000개씩 랜덤 샘플링t-SNE로 2차원 임베딩 생성라벨별로 점을 찍고 범례 표시모듈, 데이터셋 로드import numpy as npfrom umap import UMAP # pip install umap-learnimport matplotlib.pyplot as pltfrom sklearn.manifold import TSNEfrom torchvision.datasets import MNIST, CIFAR10mnist = MNIST(root='.', train=True, download=True) cifar10 = CIFAR10(ro..

차원 축소차원의 저주(Curse of Dimensionality)데이터의 차원이 증가할수록 공간의 부피가 기하급수적으로 커져서 기존에 효과적이던 알고리즘, 분석 방법의 성능이 급격히 떨어지는 현상고차원에선 데이터가 희소하게 분포됨거리 기반 알고리즘(KNN, 클러스터링 등)이 모든 점 사이의 거리가 비슷해짐.데이터를 화면에 표기할 때 차원이 많아도 그리기 힘듦학습에 필요한 데이터도 급격히 증가.위 이유로 차원이 높아지면 예측 정확도, 일반화 성능이 급격히 나빠짐.예를 들어, 10개의 데이터를 표현하기 위해 → 1차원 : 10칸, 2차원 10x10칸, … , 10차원 10^10칸차원이 늘어날수록 공간이 매우 커지는 것도 문제지만, 대부분의 칸이 빈 칸이 된다.(희소성)차원 축소(Dimensionality R..