RAG(Retrieval-Augmented Generation) 개요 및 구성 요소

1. RAG란?

   - 대규모 언어 모델(LLM)은 매우 뛰어난 언어 능력을 갖추고 있지만, 비즈니스 환경에 도입하기에는 결정적인 한계가 존재합니다.

     • LLM의 한계

        - 학습 시점 이후 정보 반영 불가

        - 환각(Hallucination) 현상

        - 기업 내부 데이터 활용 어려움

   - 이러한 한계를 극복하기 위해 RAG가 등장했으며, 외부 지식 저장소 검색 후 그 결과를 기반으로 응답을 생성합니다.

2. RAG의 구성 요소

   - RAG 시스템은 일반적으로 LLM, 정보 저장 및 검색을 위한 벡터DB, 임베딩 모델 3 가지의 구성 요소로 이루어져 있습니다.

     • 임베딩 모델: 자연어를 기계가 읽을 수 있는 벡터로 변환하는 역할

     • 벡터 DB: 지식을 벡터 형태로 저장하고 검색

     • LLM: 검색된 정보와 기존 프롬프트를 기반으로 응답을 생성

   - RAG 시스템에서 LLM 모델의 성능도 중요하지만, 검색 - 증강 - 생성의 파이프라인 구조를 통해 정확한 의미를 찾아내는 것이 핵심 요소입니다.  

      또한 re-ranking을 통해 벡터 검색 결과에 대한 우선 순위를 재 정렬하여 신뢰도를 높일 수 있습니다.

3. RAG의 컴퓨팅 자원 요소

   - RAG의 LLM과 임베딩(벡터화)의 연산에는 모두 GPU/TPU 등의 자원과 메모리가 사용됩니다.

     • GPU/TPU: LLM과 임베딩 모델이 사용하는 연산 처리

     • 메모리: 연산에 사용될 데이터를 저장하며, 최근 GPU의 급격한 성능 향상 대비 부족하여 병목 지점이 됨

   - RAG 시스템의 성능 병목은 LLM이 아니라 검색 정확도와 메모리 대역폭에서 주로 발생하고 있습니다. 이를 해소하기 위해 FPGA라는 별도의 

     자원을 활용하는 방안을 연구하고 있습니다. 또한, 보다 방대한 규모의 지식 기반 RAG 시스템을 구축하기 위해서는 GPU와 고대역폭 메모리 등의

     인프라 요소를 유기적으로 활용할 수 있는 AI 플랫폼이 필요합니다.

                                                                                                                                                                                                                     ⭐발표자 : 이경훈님