임베딩 모델 도메인 미스매치가 제일 큰 문제더라고요. 직접 겪었어요
RAG가 만능이 아니라는 부분이 핵심이에요. 청킹품질 나쁘거나 임베딩 모델이 도메인에 안 맞으면 검색 자체가 틀리는데, 그러면 LLM이 아무리 좋아도 답이 없어요
파인튜닝이랑 RAG가 서로 다른 문제를 해결한다는 프레임은 이해했는데, 둘 다 필요한 상황은 어떡게 접근하는 건가요? 파인튜닝으로 도메인 언어 학습하고 RAG로 최신 정보 주입하는 조합이 가능한건지
임베딩 생성할 때 OpenAI API가 필요하다는 게 좀 걸리는 부분이에요. 비용 때문에 오픈소스 임베딩 모델을 쓰는 경우도 많다고 하던데, 품질 차이가 얼마나 나는건지
청크 크기 선택이 RAG 성능에 생각보다 큰 영향을 미쳐요. 너무 작으면 문맥 소실, 너무 크면 임베딩 품질 저하. 실무에서는 100~500 토큰 범위에서 실험해보는 게 일반적이더라고요