[AI] 리랭커 (feat. CLOVA)

https://api.ncloud-docs.com/docs/clovastudio-reranker

리랭커

우선 위의 내용은 리랭커를 활용하는 방법에 대한 공식 문서이다.

 

"검색한 문서와 사용자 쿼리 간 연관도를 평가하여 관련성 높은 문서들을 선택하고, 그 결과를 요약 및 압축하여 RAG 답변을 생성합니다. 전체 검색 문서가 아닌 사용자 쿼리와 연관도가 높은 문서만 선별하여 사용하기 때문에 토큰 소비를 효율적으로 절감하면서도 신뢰도 높은 결괏값을 얻을 수 있습니다."

 

라고 문서에 작성되어있는데 

 

https://www.ncloud-forums.com/topic/525/

리랭커 활용법 : CS 문의에 답변하는 RAG 시스템 구현하기

 

위의 문서를 보면 훨씬 이해가 쉽다.

 

리랭커 API 서비스 구조도

위의 내용을 보면 검색 API를 통해서 문서들을 뽑아내고 이를 리랭커 API를 통해서 문서를 필터링하고 필요한 부분을 뽑아낸다.

 

클로바에서의 리랭커 API는 별도의 시스템 보다는 프롬프팅된 LLM이라고 한다. 별도의 리랭커와 LLM이 분리되어있지 않고 LLM이 직접 리랭커의 작업을 수행하고 답변까지 작성하는 방식으로 한다고 한다.

 

여기서 장점이 하나 나오는데 바로 유저 질문에 대해서 문서의 문맥과 의도를 파악하여 문서를 검색하여 내용을 뽑아낸다.

 

그런데 여기서 리랭커 API가 가진 약점이 있는데 

 

"검색한 문서와 사용자 쿼리 간 연관도를 평가하여 관련성 높은 문서들을 선택하고, 그 결과를 요약 및 압축하여 RAG 답변을 생성합니다. 전체 검색 문서가 아닌 사용자 쿼리와 연관도가 높은 문서만 선별하여 사용하기 때문에 토큰 소비를 효율적으로 절감하면서도 신뢰도 높은 결괏값을 얻을 수 있습니다." - 공식 문서 (리랭커 API 가이드)

 

위에서 보는 것과 같이 사실 리랭커 API를 통해서 작업한 결과 나오는 답변은 결과를 요약하고 압축하는 정도라는 것인데

 

실제로

쿡북 예시 답변

 

위의 실제 예시 답변을 보면 그 정도에서 그치는 것을 알 수 있고 그 이상의 활용은 어렵다.

 

그렇기 때문에 필요한 것은 추론모델.... 

RAG Reasoning 개요

 

리랭커와 체이닝 하여 사용하는 경우 더 안정적인 결괏값을 얻을 수 있다고 하는데 

 

해당 내용은 다음 시간에....