수달이네 기술 블로그

이번 프로젝트에서 STT→LLM(에이전트)→TTS 구조의 AI진행자를 설계하고, 관련하여 개발하는데에 있어서 해당 LLM이 ‘진행자스러움’이 부족함을 뼈저리게 깨닳았다.어떻게 해야 이 한계를 극복하고, LLM이 더 Role에 집중할 수 있도록 만들 수 있을까?1. 프롬프트 엔지니어링(여유로운 전체적인 구조 설계)프롬프트 엔지니어링은 LLM의 추론 과정을 설계한다. 이 부분은 LLM이 작동함에 있어 큰 영향을 끼친다.현재 우리 프로젝트의 프롬프트 엔지니어링은 기본적으로 다음과 같이 진행된다,.SYSTEM_PROMPT = """AI의 역할을 설명.AI가 지켜야할 내용을 설명:1. 진행 스타일: - 관련 스타일 을 설명 - 지켜야할 내용을 설명 2. 대화 연결 로직: - AI가 대화 어떻게 답해야할지 로직을 ..

턴테이킹에서의 지연시간의 중요성Human turn-taking development: A multi-faceted review of turn-taking comprehension and production in the first years of life - PMC인간의 의사소통은 협력적, 상호작용적 인프라인 ‘Conversational Turn-taking’을 기반으로 구축되어있음.상호적, 교대적 역할 교환, 발화의 겹침 회피, 상대적으로 짧은 응답시간이 특징적임.이 과정의 지연시간은 인간이 인공지능의 응답을 평가하는 척도가 됨(RTF, Real Time Factor)사실상 해당 턴 테이킹에서는 전환 적기의 최근 증거는발화를 마칠 때 시선을 피함손 제스처를 보냄 등의 제스처 → 그러나 우리 프로젝트엔 의..

ANN알고리즘을 배우던 중 문득 이런 생각이 들었다. 왜 딥러닝 알고리즘들은 모두 숫자가 가까워지는 식으로 표현할까? 생각해보면 LLM이나 다른 vision계열의 AI들도 모두 숫자로 모든 것을 표현한다. 난 이것이 이해가 가지 않았다. 그래서 알아보기 시작한다. 1. 본질적인 문제. 딥러닝 알고리즘은 본질적으로 수학적 모델이다.  한마디로 데이터를 입력받고, 패턴을 학습하고, 결과물을 예측하고, 분류하는 모든 과정이 숫자로 이루어져 있다는 것이다. 가장 큰 이유는 컴퓨터 자체가 0과 1로 이루어진 이진 데이터를 기반으로 작동하기 때문이었다. - 이미지(VISION Model) 이미지의 경우도 숫자로 표현할 수 있다. 이미지를 픽셀단위로 볼때 흑백이미지를 예시로 들 경우 픽셀 하나가 0(흑)~255(백)..