"한빛미디어 서평단 활동을 위해서 책을 협찬 받아 작성된 서평입니다." 도서 선택 이유 실무에서 LLM을 단순 분류기, 추출기로 사용하다보니 다소 답답한 감이 있었습니다. 이런 작업은 일반 NLP에서 했던 건데, 이거 하자고 LLM을 도입하는 것이 맞나..? 다만 언어모델을 도입하기에는 정확도를 보장할 수 없는 상황이었고, 정확하지 않은 정보가 제공될 바에는 보수적으로 정보를 제공하지 않는 편이 낫다고도 생각했습니다. 이 결정때문에 프로세스는 복잡해졌고, 다양하게 작성되는 자연어 입력을 처리하기에도 부담이 되었습니다. 결국 에이전트를 도입하는 것이 역시 맞겠다는 생각에 이르렀습니다. 당장 서비스 오픈이야 지금 프로세스대로 진행할 지라도, 더 유연하고 올바른 처리를 위해서는 에이전트가 필요하다는 의견에 ..

들어가며 최근 RAG PoC를 수행하며.. 질문에 대해 직접 평가도 수행해보고 있습니다. 자동화를 시키지 않고 직접 질문을 이해하고, 검색 결과와 생성 결과를 확인하며 평가했는데요. 평가를 하며 얻은 생각들을 정리해보고자 포스트를 작성하였습니다. 자동화를 하지 않은 이유는 사람이 직접 확인하고 단계마다 평가해야, 어떤 지점에서 오류가 발생하는지 구체적으로 확인하고 분석할 수 있기 때문이었습니다. 평가를 자동화한다면 어떻게 해야하는지.. 모호한 부분도 있었구요. g-eval을 쓰라고들 하지만,, 분석가라면 응당 직접 평가도 수행해야 개선점을 찾을 수 있지 않을까?? 하여 평가도 나름 진심으로 임했네요. (물론 문제 수가 너무 많다면 LLM에게 시켜야겠지만요ㅠㅠ) 평가 항목과 내용 수작업으로 하는 성능 평가..

들어가며 최근 RAG 성능을 개선해야 하는 실험을 진행했습니다. 도메인 지식과 무관하게 빠르게 적용할 수 있는 기술을 알아보다 rerank를 알게 되었는데요. rerank는 말그대로 검색 결과를 다시(re-) 재정렬하는 사상을 갖고 있습니다. 질문과 답변 쌍을 갖고 있고 rerank를 위한 모델만 있으면 쉽고 빠르게 적용할 수 있어 바로 채택해 실험해보았습니다. 본 포스트에서는 rerank에 대해 간단하게 알아보겠습니다!  [사전지식] LLM, RAG, Retrieval, Rank  Rerank 도입 배경 사용자가 문장을 작성해 검색을 한다고 할 때 이 문장을 "질의(query)"라고 합니다. 검색 프로세스는 질의와 사전에 등록된 데이터를 비교하여 가장 유사한 데이터를 제공합니다. 질의와 데이터(문서, ..