[LangChain] LangChain을 활용한 문서 기반 챗봇 만들기

2024.2 기준으로 작성된 게시글 입니다.
 
LangChain은 언어 모델의 기능을 활용하여 응용 프로그램을 개발하는 프레임워크입니다. 이 프레임워크는 여러 부분으로 구성되어 있습니다.

1. LangChain 라이브러리: Python 및 JavaScript 라이브러리입니다. 다양한 컴포넌트의 인터페이스 및 통합, 이러한 컴포넌트를 체인과 에이전트로 결합하는 기본 실행 환경, 그리고 체인과 에이전트의 즉시 사용 가능한 구현을 포함합니다.
2. LangChain 템플릿: 다양한 작업을 위한 쉽게 배포 가능한 참조 아키텍처 모음입니다.
3. LangServe: REST API로 LangChain 체인을 배포하기 위한 라이브러리입니다.
4. LangSmith: 모든 LLM 프레임워크에서 빌드된 체인을 디버깅, 테스트, 평가 및 모니터링할 수 있는 개발자 플랫폼으로, LangChain과 완벽하게 통합됩니다.

LangChain은 언어 모델을 효과적으로 활용하여 응용 프로그램을 개발하고 운영하는데 필수적인 도구입니다.
 

https://python.langchain.com/docs/get_started/introduction

 
통상적으로 사용자가 입력한 질문을 이해하고 적절한 응답을 생성하기 위해 자연어 처리를 사용하고, 사용자와 상호작용하기 때문에 챗봇이라고 표현했습니다. 이번 튜토리얼에서 사용할 langchain의 RetrievalQA를 이용하여 QA(Question Answering) 시스템을 구현해봅니다. QA 시스템은 질문 이해 -> 정보 검색 -> 답변 생성 흐름으로 진행됩니다. 
QA시스템은 사전에 설정한 문서/지식을 기반으로 응답을 생성합니다. 한 번에 하나의 질문만을 처리하고, 답변 후에 대화가 종료됩니다. 일반적으로 사용자와 상호 작용을 이어가는 chatGPT 기반 챗봇과 달리 QA 시스템은 하나의 질문을 처리하고 답변 후 대화가 종료된다는 차이점이 있습니다. 
 
langchain을 사용한 개발을 위해 우선 가상환경부터 생성합니다. 

conda create -n langchain python=3.11

 
가상환경을 활성화 하고 필요한 패키지를 설치합니다. 

conda activate langchain
pip install langchain openai pypdf chromadb tiktoken langchain-community langchain-openai

# jupyter notebook 환경에서 실행시 설치
pip install jupyter notebook

 
이제 코드를 작성합니다. 전체 코드는 여기에서 확인하실 수 있습니다.
 
필요한 패키지를 import 합니다.

from langchain_openai import OpenAIEmbeddings, ChatOpenAI
from langchain_community.vectorstores import Chroma
from langchain.text_splitter import CharacterTextSplitter
from langchain.chains import RetrievalQA

이제 OPENAI_API_KEY를 설정해 주어야 합니다.
 
OPENAI_API_KEY 시크릿 키 생성은 아래 방법을 참고하세요.

1. OpenAI 회원가입 후 https://platform.openai.com/usage 의 우측에서 보유하고 있는 크레딧을 확인합니다. 저는 이미 무료 제공 크레딧을 모두 사용하여 충전한 상태입니다.

 

2. 좌측의 API keys 탭으로 이동하여 새로운 시크릿 키를 생성합니다.

 

3. 생성후 나온 값을 잘 복사해둡니다.

가격 정책은 수시로 업데이트 될 수 있으므로 아래 링크에서 가격 정책을 참고하시기 바랍니다.
https://openai.com/pricing
 
(참고로 코드를 작성하고 디버깅하는 동안 제가 사용한 크레딧 사용량은 0.05 달러였습니다. 사용량은 문서의 길이나 사용 모델에 따라 다르기 때문에 사용량 페이지 (https://platform.openai.com/usage)를 체크하시길 권장합니다. )
 
자신의 OpenAI 시크릿 키를 설정합니다.

import os 
os.environ["OPENAI_API_KEY"] = "이곳에 키값 입력"

 
아래와 같이 읽어올 문서 경로를 지정합니다. 그리고 텍스트 분할기와 임베딩을 초기화합니다. 문서의 정보를 추출하기 위해서 각 파일을 읽어온 뒤 벡터 데이터베이스 중 하나인 Chroma DB를 사용하여 검색을 위한 정보를 구축합니다. 

from langchain_community.document_loaders import PyPDFLoader

# PDF 파일 경로 목록
pdf_files = [
    "docs/1.pdf",
    "docs/2.pdf",
]

# 로더, 텍스트 분할기 및 임베딩 초기화
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
embeddings = OpenAIEmbeddings()

texts = []

# 각 PDF 파일에 대해 작업 수행
for pdf_file in pdf_files:
    loader = PyPDFLoader(pdf_file)
    documents = loader.load()
    texts.extend(text_splitter.split_documents(documents))

# Chroma 벡터 스토어를 초기화하고 문서에서 벡터를 생성합니다.
docsearch = Chroma.from_documents(texts, embeddings)

 
 
제가 사용한 문서 파일은 apple 홈페이지에서 macOS 설명서를 복사하여 pdf 로 생성하였습니다.

 
모든 설명서를 붙여넣기에는 양이 방대하여 데스크탑 알아보기 파트만 사용하여 pdf 파일을 생성했습니다.

다음으로는 langchain의 프롬포트 템플릿을 이용하여 문서 기반 질의에 사용하는 용도에 맞춰 작성합니다.

from langchain.prompts import PromptTemplate
prompt_template = """Use the following pieces of context to answer the question at the end. If you don't know the answer, just say that you don't know, don't try to make up an answer.

{context}

Question: {question}
Answer in Korean:"""
# 프롬프트 템플릿을 설정합니다
PROMPT = PromptTemplate(
    template=prompt_template, input_variables=["context", "question"]
)

템플릿 내용을 살펴보면 문맥을 사용하여 질문에 대답을 하라고 하고, 모르면 모른다고 말하고 답을 만들어 내지 말라고 하고 있습니다.
 
이제 RetrievalQA를 사용해서 QA system을 생성해봅니다. 이 코드까지 작성하면 모든 단계가 완료됩니다!

chain_type_kwargs = {"prompt": PROMPT}
qa = RetrievalQA.from_chain_type(llm=ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0), 
                                 chain_type="stuff", 
                                 retriever=docsearch.as_retriever(), 
                                 return_source_documents=True, 
                                 chain_type_kwargs=chain_type_kwargs)

- `llm=OpenAI()` : llm 인자는 언어 모델을 지정합니다. 여기서는 OpenAI의 언어 모델을 사용합니다.
- `chain_type="stuff"` : chain_type은 체인의 유형을 지정합니다.
- `retriever=docsearch.as_retriever()` : retriever는 문서 검색에 사용되는 리트리버(retriever)를 지정합니다. docsearch는 우리가 앞에서 초기화 한 Chroma 벡터 스토어입니다.
- `return_source_documents=True` : 이 인자는 RetrievalQA가 검색된 문서를 반환할지 여부를 지정합니다. True로 설정되어 있으므로 검색된 문서가 반환됩니다. 검색한 문서를 context로 활용하여 답변을 생성합니다.
- `chain_type_kwargs=chain_type_kwargs` : chain_type_kwargs는 체인 유형을 초기화하는 데 필요한 추가 인자를 사용합니다. 앞서 정의한 chain_type_kwargs 딕셔너리가 사용됩니다. 이 딕셔너리에는 프롬프트 템플릿 등의 정보가 포함되어 있습니다.
 
이제 질문을 작성해봅니다!

result = qa.invoke({"query": "제어센터는 무엇인가요?"})

result 객체를 출력해보면 아래와 같이 확인할 수 있습니다.

{'query': '제어센터는 무엇인가요?',
 'result': ' 제어 센터는 Mac에서 자주 사용하는 항목을 편리하게 사용할 수 있도록 제공하는 기능입니다. 시스템 설정에서 설정할 수 있으며, 제어 센터에는 항상 표시되는 모듈과 메뉴 막대에 추가할 수 있는 모듈이 있습니다. 제어 센터를 사용하여 다양한 작업을 빠르게 수행할 수 있습니다.',
 'source_documents': [Document(page_content='선택하십시오.  팁: 자주 사용하는 항목은 제어 센터에서 메뉴 막대로 드래그하여 편리하게 사용할 수 있습니다. 메뉴 막대에서 항목을 제거하려면 Command 키를 누른 상태로 항목을 메뉴 막대 밖으로 드래그하십시오.  제어 센터 사용자화하기 Mac에서 Apple 메뉴 > 시스템 설정을 선택한 다음, 사이드바에서 제어 센터를 클릭하십시오. (아래로 스크롤해야 할 수 있습니다.)  오른쪽에 있는 섹션에서 항목에 대한 설정을 선택하십시오.  제어 센터 모듈: 이 섹션에 있는 항목은 제어 센터에 항상 표시되며, 제거할 수 없습니다. 메뉴 막대에 해당 항목을 표시하도록 선택할 수도 있습니다. 항목 옆에 있는 팝업 메뉴를 클릭한 다음, 옵션을 선택하십시오.  기타 모듈: 이 섹션의 항목을 제어 센터 및 메뉴 막대에 추가할 수 있습니다. 항목 아래의 각 옵션을 켜거나 끄십시오. 일부 항목에는 사용 가능한 추가 설정이 있을 수 있습니다.  메뉴 막대만: 메뉴 막대 시계의 옵션을 선택하고 메뉴 막대에 다른 항목(예: Spotlight, Siri, Time Machine 및 VPN 상태)을 추가할 수 있습니다.  개별 옵션에 관한 추가 정보는 제어 센터 설정 변경하기를 참조하십시오.  Mac에서 Siri 사용하기 Mac에서 Siri를 사용하여 회의 설정, 앱 열기 또는 질문에 대한 답변을 빠르게 받는 등의 일상적인 작업을 수행할 수 있습니다.  메뉴 막대에 Siri 아이콘이 있고 “1인치가 몇 센티미터야”라는 요청과 그에 대한 답변(계산기로 변환한 수치)이 있는 Siri 윈도우를 표시하는 Mac 데스크탑의 오른쪽 상단 부분. 클릭하여 다른 요청을 할 수 있는 Siri 윈도우 오른쪽 상단에 있는 아이콘. 닫기 버튼을 클릭하여 Siri 윈도우를 닫을 수 있음. Siri 켜기 Mac에서 Apple 메뉴 > 시스템 설정을 선택한 다음, 사이드바에서 Siri 및 Spotlight를 클릭하십시오. (아래로 스크롤해야 할 수 있습니다.)  오른쪽에서, ‘Siri 요청하기’가 아직 켜져 있지 않은 경우 이를 켠 다음, 활성화를 클릭하십시오.  이 옵션을 선택 해제한 상태에서 Siri를 활성화하려는 경우, Siri를 활성화하라는 대화상자가 나타', metadata={'page': 5, 'source': '1.pdf'}),
  Document(page_content='데스크탑에서 윈도우 찾기 데스크탑이 열려 있는 윈도우로 가득찬 경우, Mission Control을 통해 윈도우를 옆으로 이동하여 데스크탑을 보거나, 데스크탑에 열려 있는 모든 항목을 간단히 표시할 수 있으므로 필요한 윈도우를 쉽게 찾을 수 있습니다. Mission Control에서 열린 윈도우 및 Spaces 보기를 참조하십시오.  여러 대의 데스크탑 사용하기 데스크탑 Spaces를 추가로 생성하여 특정 데스크탑에서 작업을 정리할 수 있습니다. 예를 들어, 한 데스크탑을 사용하여 프로젝트를 집중적으로 작업하는 동안 다른 데스크탑에서 이메일을 관리하고 두 데스크탑을 쉽게 전환할 수 있습니다. 작업 중인 업무에 적합하도록 각 데스크탑을 사용자화할 수도 있습니다. 여러 Spaces에서 작업하기를 참조하십시오.  Mac에서 Spotlight로 검색하기 Spotlight를 사용하여 Mac에서 앱, 문서, 이메일 및 기타 항목을 빠르게 찾을 수 있습니다. Siri 제안을 통해 뉴스, 스포츠 점수, 기상 상태, 주가 등을 확인할 수도 있습니다. Spotlight로 계산 및 변환 값을 구할 수도 있습니다.  Siri: 다음과 같이 말해 보십시오. “1인치는 몇 센티야?” 또는 “달걀 뜻이 뭐야?” Siri를 사용하는 방법 알아보기.  항목 검색하기 Mac에서 다음 중 하나를 수행하십시오.  메뉴 막대에서 (보이는 경우) Spotlight 아이콘을 클릭하십시오.  Command-스페이스 바를 누르십시오.  키보드의 기능 키 행에서 (사용 가능한 경우) 을 누르십시오.  데스크탑 어디로든 Spotlight 윈도우를 드래그할 수 있습니다.  팁: 메뉴 막대에 Spotlight 아이콘이 없으면 제어 센터 설정을 사용하여 추가할 수 있습니다.  검색 필드에 찾을 항목을 입력하십시오. 입력과 동시에 결과가 나타납니다.  Spotlight는 가장 연관성 높은 항목을 먼저 나열하며, 가장 연관성 높은 항목을 클릭하여 미리 보거나 열 수 있습니다. 또한 Spotlight는 사용자의 검색어를 변형하여 검색한 항목을 제안하며 Spotlight 또는 웹에서 해당 결과가 나타납니다.', metadata={'page': 2, 'source': '1.pdf'}),
  Document(page_content='개인정보\t보호\t표시기는\t점\t또는\t화살표일\t수\t있으며,\t제어\t센터\t오른쪽에\t있습니다.\tMac의\t마이크가\t사용\t중인\t경우\t메뉴\t막대에서\t제어\t센터\t아이콘\t옆에\t주황색\t점이\t나타납니다.\t카메라가\t사용\t중인\t경우\t초록색\t점이\t나타납니다.\t시스템\t오디오를\t녹음\t중인\t경우\t보라색\t점이\t나타납니다.\t사용자의\t위치가\t사용\t중인\t경우\t화살표가\t나타납니다.\t개인정보\t보호\t표시기\t점은\t한\t번에\t하나만\t표시됩니다.\t예를\t들어,\t마이크\t및\t카메라를\t모두\t사용\t중인\t경우\t초록색\t점만\t표시됩니다.\t제어\t센터를\t열면\t윈도우\t상단에\t마이크,\t위치,\t카메라\t또는\t시스템\t오디오를\t사용\t중인\t앱을\t표시하는\t필드가\t포함될\t수\t있습니다.\t해당\t필드를\t클릭하여\t추가\t정보가\t있을\t수\t있는\t개인정보\t보호\t윈도우를\t열\t수\t있습니다(macOS\t13.3\t이상).\t알림\t센터\t메뉴\t막대의\t오른쪽\t끝에서\t날짜와\t시간을\t클릭하여\t알림\t센터를\t열면\t위젯을\t보고\t놓친\t알림을\t확인할\t수\t있습니다.\t알림\t센터\t사용하기를\t참조하십시오.\tMac 데스크탑 알아보기 화면 상단에는 메뉴 막대가 있고 하단에는 Dock이 있습니다. 중간을 데스크탑이라고 합니다. 데스크탑은 작업을 수행하는 공간입니다.  다크 화면 모드로 설정된 Mac 데스크탑에 어두운 색상의 앱 윈도우, Dock 및 메뉴 막대가 표시됨. 데스크탑 사진 변경하기 다른 macOS 데스크탑 사진(다이내믹의 경우 하루 종일 자동으로 변경됨)을 선택하거나 사용자의 사진으로 설정할 수 있습니다. Mac에서 배경화면 사용자화하기를 참조하십시오.  데스크탑 화면 모드 변경하기 메뉴 막대, 데스크탑 사진, Dock 및 내장 앱에 대해 라이트 모드 또는 다크 모드를 선택할 수 있습니다. 라이트 모드 또는 다크 모드 사용하기를 참조하십시오.  데스크탑에서 알림 사용하기 알림은 데스크탑의 오른쪽 상단에 표시되며 예정된 이벤트, 수신 이메일 또는 메시지 등에 대해 알려줍니다. 알림에서 바로 미리 알림을 요청하고 메시지에 답장하는 등의 동작을 수행할 수 있습니다. 알림이 표시되는 방식과 시기를 사용자화할 수 있습니다. 작업에 집중해야 할 때 알림을 일시 정지하려면 집중 모드를 켜십시오.  데스크탑의 파일 정리하기 데스크탑에서 파일을 편리하게 정리하려는 경우 스택을 사용하면 데스크탑의 한쪽 면을 따라 유형별 또는 기타 기준별로 파일을 깔끔하게 그룹화할 수 있습니다. 데스크탑에 파일을 추가할 때마다 해당 파일이 스택으로 자동 이동합니다. 데스크탑 스택 사용하기를 참조하십시오.', metadata={'page': 1, 'source': '1.pdf'}),
  Document(page_content='대로 키보드 단축키를 사용하십시오.  메뉴 막대에서 Siri를 클릭하십시오. 보이지 않는 경우 제어 센터 설정을 사용하여 추가할 수 있습니다.  Touch Bar에서 Siri를 탭하십시오(Mac에 Touch Bar가 있는 경우).  “Siri야” 또는 “Siri”라고 말하십시오(이 옵션이 사용 가능하고 Siri 및 Spotlight 설정에서 켜져 있는 경우). ‘Siri야’ 또는 ‘Siri’가 사용자의 기기 및 언어에서 사용 가능한지 확인하려면 Apple 지원 문서 모든 Apple 기기에서 Siri 사용하기를 참조하십시오.  “9시에 미팅 약속 잡아” 또는 “어제 경기 결과 어땠어?”와 같이 요청하십시오. Siri를 사용하는 방법 참조.  위치 서비스가 켜져 있는 경우 사용자가 요청 시 기기의 위치를 파악합니다. 이 옵션은 시스템 설정에서 변경할 수 있습니다. 앱이 Mac의 위치를 감지하도록 허용하기를 참조하십시오.  Siri 끄기 Mac에서 Apple 메뉴 > 시스템 설정을 선택한 다음, 사이드바에서 Siri 및 Spotlight를 클릭하십시오. (아래로 스크롤해야 할 수 있습니다.)  오른쪽에서, ‘Siri에게 요청하기’를 끄십시오.  가족 공유 그룹의 가족 대표인 경우 자녀에 대해 스크린 타임을 설정하여 Siri 및 받아쓰기에 대한 접근을 제한할 수 있습니다. 스크린 타임에서 앱 제한 설정 변경하기를 참조하십시오.  Mac의 알림 센터 사용하기 Mac의 알림 센터에서 놓친 알림을 확인할 수 있고, 위젯을 사용하여 데스크탑의 오른쪽에서 약속, 생일, 날씨, 인기 헤드라인 등을 볼 수 있습니다.  알림 센터에 알림 및 위젯이 있음. Mac의 알림 센터에서 알림 열기 또는 닫기 Mac에서 다음 중 하나를 수행하십시오.  알림 센터 열기: 메뉴 막대에서 날짜 및 시간을 클릭하거나 트랙패드의 오른쪽 가장자리에서 두 손가락을 사용하여 왼쪽으로 쓸어넘기십시오.  알림 센터 닫기: 데스크탑에서 아무 곳이나 클릭하고 메뉴 막대에서 날짜 및 시간을 클릭하거나, 트랙패드의 오른쪽 가장자리를 향해 두 손가락을 사용하여 오른쪽으로 쓸어넘기십시오.', metadata={'page': 1, 'source': '2.pdf'})]}

query에는 사용자가 입력한 질문, result 에는 생성된 답변, source_documents는 사용자의 질문을 활용해서 문서에서 검색된 부분들 입니다. 생성된 답변을 한번 살펴볼까요?

'제어 센터는 Mac에서 자주 사용하는 항목을 편리하게 사용할 수 있도록 제공하는 기능입니다. 시스템 설정에서 설정할 수 있으며, 제어 센터에는 항상 표시되는 모듈과 메뉴 막대에 추가할 수 있는 모듈이 있습니다. 제어 센터를 사용하여 다양한 작업을 빠르게 수행할 수 있습니다.'

단 코드 몇 줄 만으로도 문서 기반의 QA를 구축할 수 있었습니다.
 
다른 질문도 해봅니다.

자연스러운 답변이 생성된 것을 확인할 수 있습니다.
입력한 문서와 관계없는 질문을 하면 아래와 같이 응답합니다.

이번 예제에서는 LangChain 라이브러리를 활용하여 간단하게 챗봇을 생성했습니다.
이번 예제에서 작성한 코드를 사용해서 python 스크립트로 작성하여 터미널에서 실행하면 사용자가 입력한 질문에 대한 응답을 생성할 수 있습니다.

 
문서 기반 챗봇을 단 몇 줄의 코드로만 작성할 수 있어서 LangChain의 편리함을 느낄 수 있었습니다. 과거에는 자연어 처리 분야는 전문가들의 영역이었지만, 이제는 다양한 사람들이 활용할 수 있는 편리한 도구들이 개발되고 있습니다. LangChain은 이러한 도구 중 하나로, 사용자 친화적인 API와 자세한 문서를 통해 신속하게 개발할 수 있다는 장점을 가지고 있습니다.

문서 기반 챗봇을 구현하는 것 외에도 LangChain을 사용하여 텍스트 분류, 감정 분석, 요약 등 다양한 자연어 처리 작업을 수행할 수 있습니다. 또한 개발자들은 LangChain을 사용하여 직접 커스텀 모델을 구축하고 훈련시킬 수 있으며, 이를 통해 자신만의 특화된 자연어 처리 솔루션을 만들 수 있습니다.
 
오늘 소개한 부분은 LangChain에서도 극히 일부분이고, 개발할 수 있는 서비스들이 무궁무진합니다. 머릿속에서 맴돌고 있던 아이디어가 있다면 LangChain을 활용하여 실현해보는 것은 어떨까요?
 
OpenAI의 API와 LangChain을 활용하여 다양한 에이전트를 직접 생성해볼 수 있습니다. 아래 쿡북 링크를 참고하세요
https://python.langchain.com/docs/expression_language/cookbook/
 
이번 예제에서 사용한 전체코드는 아래 링크에서 다운로드 받으실 수 있습니다.
https://github.com/jang-hs/PDF-RetrievalQA-Example