참고사항 논문이나 기술문서를 요약하여 정보를 전달드리는 목적으로 작성되었습니다.
들어가며
본 블로그는 Google의 Notebook LM 도구를 사용하여 RAG관련 기술 논문을 요약한 내용입니다.
논문 원본과 다르게 설명을 위하여 부가적인 내용이 포함되어 있을수 있습니다. 상세한 내용은 논문 원본을 참고하시기 바랍니다.
1. 💻📚 최신 정보를 활용한 RAG 기법으로 LLM 성능 향상! 🚀✨
- 논문 제목 : Searching for Best Practices in Retrieval-Augmented Generation
- 파일 원본 : https://arxiv.org/abs/2407.01219
🤔 RAG란 무엇인가요? 🤔
RAG는 최신 정보, 외부 지식 베이스에 접근하여 LLM의 기능을 향상시키는 방법입니다. 외부 데이터베이스에서 관련 정보를 검색하여 LLM에 제공함으로써 응답의 정확성과 최신성을 향상시킵니다.
예를 들어, “다음 월드컵 개최 도시는 어디인가요?”라는 질문에 LLM이 최신 정보를 모른다면 RAG를 사용하여 최신 뉴스 기사나 위키피디아에서 정보를 검색하여 “2026년 월드컵은 미국, 캐나다, 멕시코에서 공동 개최됩니다.”와 같이 정확한 답변을 생성할 수 있습니다.
🔍 RAG는 어떻게 작동하나요? 🔍
RAG는 일반적으로 다음과 같은 여러 단계로 작동합니다.
- 질의 분류 (Query Classification): 주어진 질문에 정보 검색이 필요한지 여부를 판단합니다.
- 정보 검색 (Retrieval): 질문과 관련된 문서를 효율적으로 검색합니다.
- 재순위 지정 (Reranking): 검색된 문서를 질문과의 관련성에 따라 재정렬합니다.
- 재구성 (Repacking): 검색된 문서를 더 나은 생성을 위해 구조화된 형식으로 조직합니다.
- 요약 (Summarization): 재구성된 문서에서 응답 생성에 필요한 핵심 정보를 추출하고 중복을 제거합니다.
- 생성 (Generation): LLM은 검색 및 요약된 정보를 활용하여 최종 응답을 생성합니다.
🚀 RAG의 장점 🚀
- 최신 정보 활용: RAG는 외부 지식 베이스를 활용하여 LLM이 최신 정보를 기반으로 응답을 생성하도록 돕습니다.
- 환각 현상 완화: RAG는 외부 출처에서 정보를 검색하여 LLM이 사실과 다른 내용을 생성하는 것을 방지합니다.
- 특정 도메인 적용: RAG는 특정 조직이나 도메인에 맞는 정보를 검색하여 LLM이 해당 분야에 특화된 응답을 생성하도록 합니다.
💡 RAG 모듈별 최적의 구현 방법 💡
이 논문에서는 RAG 시스템 구현을 위한 최적의 방법을 찾기 위해 광범위한 실험을 수행했습니다. 그 결과, 성능을 최대화하는 방법과 효율성과 효능 사이의 균형을 맞추는 방법, 두 가지의 주요 방법을 제시합니다.
1. 최고의 성능을 위한 구현:
- 질의 분류 모듈 사용
- 정보 검색에는 “HyDE와 Hybrid” 방법 사용
- 재순위 지정에는 monoT5 사용
- 재구성에는 “Reverse” 방법 사용
- 요약에는 Recomp 사용
2. 균형 잡힌 효율성을 위한 구현:
- 질의 분류 모듈 사용
- 정보 검색에는 “Hybrid” 방법 사용
- 재순위 지정에는 TILDEv2 사용
- 재구성에는 “Reverse” 방법 사용
- 요약에는 Recomp 사용
🚀 미래 전망: 멀티모달 RAG 🖼️🗣️
RAG 기술은 텍스트 기반 정보 검색뿐만 아니라 이미지, 비디오 및 음성과 같은 다양한 형태의 데이터를 처리하는 멀티모달 영역으로 확장될 수 있습니다. 예를 들어, 사용자가 이미지를 제공하고 해당 이미지에 대한 질문을 할 경우, RAG 시스템은 관련 이미지와 텍스트 설명을 검색하여 답변을 생성할 수 있습니다.
🚧 한계점 및 개선 방향 🚧
- Retriever 및 Generator의 공동 훈련: 본 논문에서는 LLM Generator를 미세 조정하는 다양한 방법의 영향을 평가했지만, 향후 연구에서는 Retriever와 Generator를 공동으로 훈련하는 가능성을 탐구하는 것이 필요합니다.
- Chunking 기법의 다양성: 본 연구에서는 벡터 데이터베이스 구축 및 실험 수행과 관련된 막대한 비용으로 인해 Chunking 모듈 내에서 대표적인 Chunking 기술의 효과와 영향을 조사하는 데만 집중했습니다. 향후 연구에서는 다양한 Chunking 기술이 전체 RAG 시스템에 미치는 영향을 자세히 살펴봐야 합니다.
- 다른 Modalitiy로의 확장: 본 논문에서는 RAG를 NLP 분야에 적용하고 이미지 생성까지 범위를 넓혔지만, 향후 연구에서는 음성 및 비디오와 같은 다른 modality로 이 연구를 확장하는 것이 흥미로울 것입니다.
2. 🤯 검색 증강 생성(RAG) 시스템을 개발할 때 알아야 할 7가지 함정! 🧰
- 논문 제목 : Seven Failure Points When Engineering a Retrieval Augmented Generation System
- 파일 원본 : https://arxiv.org/abs/2401.05856
🧲 LLM의 한계를 극복하는 RAG 시스템! 🚀
최근 ChatGPT와 같은 대규모 언어 모델(LLM)의 발전은 혁신적이지만, 최신 정보나 특정 분야 지식 측면에서 한계를 보입니다. 이러한 LLM의 한계를 극복하고자 등장한 것이 바로 검색 증강 생성(RAG) 시스템입니다! 🎉 RAG 시스템은 기존 정보 검색 기술과 LLM의 생성 능력을 결합하여 보다 정확하고 풍부한 정보를 제공합니다.
RAG 시스템은 다음과 같은 이점을 제공합니다:
- hallucinations (LLM이 사실과 다른 답변을 생성하는 문제) 감소
- 생성된 답변에 대한 출처/참조 제공
- 메타데이터 주석 없이 문서 활용 가능
🔨 RAG 시스템 개발, 7가지 함정을 피하자! 🚧
하지만 RAG 시스템 개발 과정은 만만치 않습니다. 🥺 세 가지 사례 연구(연구, 교육, 생물의학)를 통해 얻은 교훈을 바탕으로 RAG 시스템 개발 시 고려해야 할 7가지 함정을 소개합니다!
- 누락된 콘텐츠: 질문에 대한 답변이 문서에 포함되어 있지 않은 경우
- 낮은 순위의 문서: 답변이 포함된 문서의 순위가 낮아 검색 결과에서 누락되는 경우
- 부적절한 컨텍스트: 답변이 포함된 문서가 검색되었지만, 컨텍스트 통합 과정에서 누락되는 경우
- 추출 실패: 답변이 컨텍스트에 존재하지만, LLM이 추출에 실패하는 경우
- 잘못된 형식: 표나 목록과 같은 특정 형식으로 정보 추출이 필요한 질문에 LLM이 응답하지 못하는 경우
- 부정확한 특이성: 답변이 제공되지만, 사용자의 요구에 비해 너무 광범위하거나 구체적인 경우
- 불완전한 답변: 답변이 완전히 잘못되지는 않았지만, 컨텍스트에 있는 정보를 모두 포함하지 못하는 경우
예시: “문서 A, B, C의 핵심 내용은 무엇인가요?”라는 질문에 대해 문서별로 핵심 내용을 구분하지 않고 하나의 답변으로 제공하는 경우
💡 RAG 시스템 개발, 성공을 위한 교훈 🗝️
RAG 시스템 검증은 실제 운영 중에만 가능합니다. RAG 시스템의 강건성은 처음부터 설계되기보다는 시간이 지남에 따라 진화합니다.
참고문서
- 논문
- Searching for Best Practices in Retrieval-Augmented Generation : https://arxiv.org/abs/2407.01219
- Seven Failure Points When Engineering a Retrieval Augmented Generation System : https://arxiv.org/abs/2401.05856
댓글남기기