수달이네 기술 블로그

구현(한국어 감성 분류 모델)데이터 전처리import tensorflow as tffrom tensorflow.keras.models import Modelfrom tensorflow.keras.layers import Dense, Embedding, GlobalAveragePooling1D, LayerNormalization, Dropout, Add, Inputfrom tensorflow.keras.optimizers import Adamimport pandas as pdimport numpy as npfrom sklearn.model_selection import train_test_split# CSV 파일 로드dataframe = pd.read_csv('./dataset/sentiment_data...

트랜스포머 논문: https://arxiv.org/abs/1706.03762Transformer(트랜스포머)2017년 발표된 자연어 처리(NLP)및 시퀀스 학습 문제에서 뛰어난 성능을 보이는 신경망 아키텍처 어텐션 메커니즘 사용 병렬연산 가능 장기 의존성 문제 해결 셀프 어텐션 사용(self-Attention) 문장 내 단어 간 관계를 동적으로 학습 중요한 단어는 크게 영향 멀티헤드 어텐션(Multi-Head Attention) 여러 개의 헤드로 서로 다른 관점에서 동시에 주의 분배 풍부한 문맥 표현 순차적인 계산 없이 전체 입력 문장을 병렬로 한번에 처리함. 전체 시퀀스를 한 번에 행렬 연산으로 처리 병렬화, ..