LLM Wiki 실전 가이드: RAG의 한계를 넘는 누적 지식 베이스 구축과 운영 패턴

최근 LLM을 문서와 연동할 때 표준처럼 쓰이던 RAG(Retrieval-Augmented Generation)의 한계를 느끼는 엔지니어들이 늘고 있습니다. 문서를 잘게 쪼개어 벡터 DB에 넣고 질의할 때마다 검색하는 방식은 간단하지만, **“매번 처음부터 새로 읽고 조합해야 하며, 질문을 거듭해도 지식이 스스로 누적되지 않는다”**는 구조적 한계가 있기 때문입니다. 이 문제를 해결하기 위해 Andrej Karpathy가 제안한 아이디어가 바로 LLM Wiki입니다. LLM Wiki는 검색기가 아니라, 사람이 던져 넣은 원본 자료를 바탕으로 LLM이 마크다운 위키를 지속해서 작성·갱신·교차 검증하며 지식을 복리처럼 쌓아가는 패턴입니다. ...

2026년 10월 26일 · Byung Kyu KIM

Karpathy의 LLM Wiki: RAG를 넘어 지식이 쌓이는 위키 만들기

Andrej Karpathy가 남긴 LLM Wiki는 단순한 아이디어 메모가 아닙니다. 이 글은 “LLM을 검색기처럼 쓰는 방식"에서 한 단계 더 나아가, LLM이 지식을 계속 정리하고 갱신하는 누적형 위키(compounding wiki) 를 어떻게 만들 수 있는지 보여줍니다. DevOps 관점에서 이 아이디어가 흥미로운 이유는 분명합니다. 운영 문서, 장애 보고서, 러닝 노트, 회의록, 런북은 시간이 갈수록 쌓이지만, 그 가치는 자동으로 커지지 않습니다. 오히려 오래될수록 흩어지고, 서로 충돌하고, 찾기 어려워집니다. Karpathy가 제안한 방식은 이 문제를 LLM이 대신 정리하도록 설계합니다. ...

2026년 4월 4일 · Byung Kyu KIM