수달이네 기술 블로그

구현import torchimport numpy as npimport matplotlib.pyplot as pltfrom matplotlib.offsetbox import OffsetImage, AnnotationBboximport seaborn as snsfrom PIL import Imagefrom datasets import load_datasetfrom transformers import CLIPProcessor, CLIPModelfrom sklearn.metrics.pairwise import cosine_similarityopenai/clip-vit-base-patch32 · Hugging Face모델은 HuggingFace에 올려져 있는 CLIP-ViTbase모델을 사용한다.MODEL_NAM..

ViT(Vision Transformer)이미지 인식 문제를 기존의 CNN이 아닌 Transformer구조로 해결한 모델이미지를 작은 Patch로 나누어 이를 토큰으로 취급해당 토큰을 Self-Attention으로 학습하여 문맥을 이해한다.장점멀리 떨어진 영역 간의 상관관계를 한번에 파악 가능데이터가 충분하다면 CNN기반 모델을 능가할 수 있음.이미지 크기가 달라져도 패치와 그 수를 변경하는 등으로 유연하게 대응가능이미지를 “시퀀스”로써 바라본다는 관점 전환으로 비전, 자연어 간의 경계를 허물었다.구조이미지 입력(input image)모델에 원본 이미지를 입력. CNN과 달리 convolution연산을 진행하지 않고 그대로 사용.이미지를 패치단위로 분할(Divide Image into Pathces)기존..

트랜스포머 논문: https://arxiv.org/abs/1706.03762Transformer(트랜스포머)2017년 발표된 자연어 처리(NLP)및 시퀀스 학습 문제에서 뛰어난 성능을 보이는 신경망 아키텍처 어텐션 메커니즘 사용 병렬연산 가능 장기 의존성 문제 해결 셀프 어텐션 사용(self-Attention) 문장 내 단어 간 관계를 동적으로 학습 중요한 단어는 크게 영향 멀티헤드 어텐션(Multi-Head Attention) 여러 개의 헤드로 서로 다른 관점에서 동시에 주의 분배 풍부한 문맥 표현 순차적인 계산 없이 전체 입력 문장을 병렬로 한번에 처리함. 전체 시퀀스를 한 번에 행렬 연산으로 처리 병렬화, ..

https://generativeai.net/위의 사이트는 생성형 AI의 개념, 최신 개발 정보를 제공한다.🔍ChatGPT란?OpenAI에서 개발한 초거대 언어모델(LLM)모델: 트랜스포머 Decoder모델인 생성형 사전 학습 트랜스포머Generative(생성형)Pre-trained(사전학습)Transformer(자연어를 처리하는 기술GPT전 모델은 BERT(Biderectional Encoder Representations from Transformers)사용자 query를 기반으로 텍스트를 생성한다.https://chatgpt.com/기능현재 있는 지식을 답하는 형식.번역.🔍Architecture트랜스포머글자를 번역한다는 의미CNN(Convolutional Neural Net)보다 강력한 모델디코..