71.5배 토큰 절감, Graphify가 LLM 토큰 비용은 낮추고 답변 정확도는 높이는 방법

71.5배 토큰 절감, Graphify로 LLM 비용은 낮추고 정확도는 높이는 방법
안드레이 카파시(Andrej Karpathy)가 제안한 LLM 위키 개념을 어떻게 실무에 적용해볼까 고민하던 차에, 마침 Graphify 스킬이 공개되어 직접 사용해보고 있습니다.
어떻게 토큰을 절감하면서 동시에 정확도를 높이는지 그 원리가 궁금해서 내부 동작을 분석해봤습니다.
가장 인상적이었던 점은 기존 RAG의 표준이라 할 수 있는 벡터 임베딩 방식을 전혀 사용하지 않는다는 것이었습니다. 대신 파이썬 코드로 그래프를 먼저 생성하고, 결정론적으로 실행한 결과 문서를 LLM과 함께 활용합니다. 임베딩 모델 호출도, 벡터 DB도 필요 없습니다. LLM이 모든 걸 추론하는 게 아니라, 코드가 처리할 수 있는 부분은 코드에 맡기는 방식이 인상적이었습니다.
검증을 위해 두 가지 케이스로 분석해봤습니다. 먼저 legalize-kr 저장소의 대한민국 법령 문서를 가져와서 분석해 보고, 이어서 Graphify 저장소 자체의 전체 내용도 Graphify로 분석해 봤습니다.

* https://graphify.net/kr/
* https://x.com/karpathy/status/2039805659525644595
* https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f
* https://github.com/legalize-kr/legalize-kr
* https://discuss.pytorch.kr/t/legalize-kr-git/9596



------------------------
안티그래비티 CLI 하네스 엔지니어링
인프런 쿠폰코드가 포함된 강의 링크 : https://inf.run/sBTmt