이슬먹는 개발자

지난 글에서 RAG, 임베딩, 벡터DB가 뭔지 개념을 잡았다. 이제 손으로 직접 만들어볼 차례다. 오늘은 아주 작은 RAG를 파이썬으로 처음부터 끝까지 만들어본다. 벡터DB는 두 가지, Chroma와 pgvector로 각각 구현해본다.Chroma: 설치가 간단하고 파이썬만으로 바로 돌아간다. 입문/프로토타이핑에 좋다.pgvector: 이미 쓰던 PostgreSQL에 얹는 방식이다. 실무에서 기존 DB랑 같이 쓰기 좋다.같은 걸 두 방식으로 만들어보면 "벡터DB가 바뀌어도 RAG 흐름은 똑같다"는 걸 몸으로 알게 된다.준비물임베딩과 답변 생성에는 OpenAI API를 쓴다. (다른 임베딩 모델을 써도 흐름은 같다.) 먼저 공통 패키지부터 깔자.pip install openai그리고 API 키를 환경변수로 ..

ChatGPT한테 "우리 회사 작년 사내 규정 알려줘" 하면 절대 모른다. 학습한 적이 없으니까. 그런데 요즘 "사내 문서 물어보면 답해주는 챗봇"은 어떻게 만드는 걸까? 그 비밀이 바로 RAG다.오늘은 RAG가 뭔지, 그리고 RAG를 이해하려면 꼭 알아야 하는 임베딩과 벡터DB까지 한 번에 정리해본다. 이 세 개는 따로 노는 개념이 아니라 하나의 흐름으로 엮여 있어서, 같이 보면 이해가 훨씬 빠르다.먼저 문제부터: LLM은 모르는 게 많다GPT 같은 LLM은 똑똑하지만 두 가지 한계가 있다.학습 시점 이후의 일을 모른다. 작년 데이터까지만 배웠으면 올해 일은 모른다.내 개인/회사 데이터를 모른다. 우리 회사 위키, 내 노션, 사내 규정 같은 건 학습한 적이 없다.그래서 LLM한테 모르는 걸 물으면 그냥..