본문으로 건너뛰기

컨텍스트 엔지니어링

개념

대규모 언어 모델이 추론 시점에 참조하는 컨텍스트 윈도우의 내용을 설계하고 지속적으로 관리하는 실천과 방법론을 가리키는 용어이다

목차24개 항목

컨텍스트 엔지니어링(영어: context engineering)은 대규모 언어 모델(LLM)이 추론 과정에서 참조하는 전체 정보, 즉 컨텍스트 윈도우에 어떤 토큰을 채워 넣을지 설계하고 지속적으로 관리하는 실천과 방법론을 가리키는 용어이다. 여기서 컨텍스트란 시스템 지시문, 대화 이력, 검색된 외부 문서, 사용 가능한 도구의 정의와 실행 결과, 단기 및 장기 메모리 등 모델이 응답을 생성하기 위해 참조하는 모든 토큰의 집합을 뜻한다. 컨텍스트 엔지니어링은 단일한 지시문의 문구를 잘 작성하는 프롬프트 엔지니어링과 구분되는 개념으로 제시되며, 특히 여러 차례의 추론을 반복하며 도구를 자율적으로 사용하는 인공지능 에이전트를 구축하는 과정에서 중요하게 다루어진다.

이 용어는 2025년 6월 쇼피파이의 최고경영자 토비 뤼트케와 오픈AI의 공동창업자였던 인공지능 연구자 안드레이 카르파티가 소셜 미디어 엑스(X)에서 프롬프트 엔지니어링 대신 컨텍스트 엔지니어링이라는 표현을 선호한다고 밝히면서 널리 알려지기 시작하였다. 두 사람은 프롬프트라는 단어가 일상적인 챗봇 대화에서 사용하는 짧은 지시문을 연상시키는 반면, 실제 상용 수준의 언어 모델 응용 프로그램에서는 과제 해결에 필요한 모든 배경 정보를 채워 넣는 작업이 핵심이라는 점을 지적하였다. 이후 앤스로픽과 랭체인 등 인공지능 개발 도구를 만드는 기업들이 이 용어를 자사의 기술 문서와 공학 블로그에서 채택하면서 업계 전반에 확산되었다.

컨텍스트 엔지니어링이 부각된 배경에는 언어 모델의 컨텍스트 윈도우가 커진다고 해서 그 안의 정보를 모델이 균일하게 활용하지는 못한다는 연구 결과들이 있다. 스탠퍼드 대학교 등의 연구진은 2023년 관련 정보가 입력 문맥의 중간에 위치할 때 모델의 정답률이 크게 낮아지는 현상을 확인하였으며, 벡터데이터베이스 기업 크로마는 2025년 입력 토큰 수가 늘어날수록 여러 최신 모델의 성능이 비균일하게 저하되는 현상을 컨텍스트 로트라는 이름으로 정리하였다. 이러한 연구는 컨텍스트 윈도우를 정보를 최대한 채워 넣을 수 있는 공간이 아니라 한정된 주의력 예산을 갖는 유한한 자원으로 다루어야 한다는 관점을 뒷받침하는 근거로 인용된다.

컨텍스트 엔지니어링은 시스템 지시문과 도구 정의를 간결하게 유지하는 것에서부터, 대화가 길어질 때 이전 내용을 요약하여 새로운 컨텍스트 윈도우로 옮기는 압축, 진행 상황을 컨텍스트 윈도우 바깥에 기록해 두었다가 필요할 때 불러오는 구조화된 메모, 개별 하위 작업을 별도의 컨텍스트를 가진 서브에이전트에 위임하는 아키텍처에 이르기까지 다양한 기법을 포괄한다. 이러한 기법은 앤스로픽의 코딩 도구인 클로드 코드나 코그니션의 데빈과 같은 에이전트형 소프트웨어 개발 도구, 여러 하위 에이전트가 협업하는 조사 시스템 등 다양한 형태의 인공지능 에이전트 구축 과정에 적용되고 있다.

컨텍스트 엔지니어링을 둘러싸고는 하나의 에이전트에 작업을 집중시킬 것인지 여러 에이전트로 분산시킬 것인지에 대한 이견과, 이 용어가 검색 증강 생성이나 소프트웨어 공학에서 이미 다루어지던 실천을 새롭게 이름 붙인 것에 불과한지에 대한 논쟁이 존재한다. 컨텍스트 엔지니어링은 프롬프트 엔지니어링, 검색 증강 생성, 모델 컨텍스트 프로토콜, 인컨텍스트 러닝 등 인접 개념들과 구분되면서도 서로 밀접하게 연관되어 있다.

정의와 어원

컨텍스트 엔지니어링이라는 표현에서 컨텍스트는 언어 모델이 다음 토큰을 예측할 때 참조하는 입력 토큰의 총합을 가리키며, 엔지니어링은 그 토큰들의 효용을 모델의 구조적 제약 안에서 최적화하여 원하는 결과를 일관되게 얻어내는 작업을 가리킨다. 앤스로픽은 2025년 9월 공개한 기술 블로그에서 컨텍스트 엔지니어링을 프롬프트 엔지니어링의 자연스러운 확장으로 규정하였다. 이 글에 따르면 프롬프트 엔지니어링이 시스템 지시문과 같은 개별 프롬프트를 효과적으로 작성하고 조직하는 방법을 다루는 반면, 컨텍스트 엔지니어링은 프롬프트 바깥에 존재하는 정보까지 포함하여 추론 시점에 모델에 주어지는 토큰 전체를 큐레이션하고 유지하는 전략을 다룬다. 랭체인의 공동창업자 해리슨 체이스는 컨텍스트 엔지니어링을 언어 모델이 주어진 과제를 그럴듯하게 해결할 수 있도록 올바른 형식으로 올바른 정보와 도구를 제공하는 동적 시스템을 구축하는 작업이라고 정의하였다.

앤스로픽은 프롬프트 작성이 한 번에 끝나는 이산적인 작업인 반면, 컨텍스트 엔지니어링은 무엇을 모델에 전달할지 결정하는 큐레이션 단계가 매번 반복되는 과정이라는 점에서 차이가 있다고 설명하였다. 이는 에이전트가 하나의 작업 루프 안에서 스스로 생성한 정보를 다음 추론 단계에 다시 활용해야 하는 상황을 전제로 한 구분이다. 이러한 반복적 구조는 다음과 같은 순환 과정으로 나타낼 수 있다.

graph LR
A[정보 소스<br/>도구·문서·메모리] --> B[컨텍스트 큐레이션]
B --> C[LLM 추론]
C --> D[행동·출력]
D -->|새로운 정보 생성| A

역사적 배경

선행 개념

컨텍스트 엔지니어링이라는 용어가 등장하기 이전에도 그 바탕이 되는 기술적 개념들은 이미 존재하고 있었다. 오픈AI의 연구진이 2020년 발표한 GPT-3 논문은 별도의 미세조정 없이 프롬프트에 포함된 몇 개의 예시만으로 모델이 과제를 수행하는 인컨텍스트 러닝 능력을 대규모로 처음 입증하였으며, 이는 컨텍스트에 담긴 정보가 모델의 행동을 직접적으로 바꿀 수 있다는 인식의 토대가 되었다. 같은 해 페이스북 인공지능 연구진이 발표한 검색 증강 생성에 관한 논문은 사전학습된 모델의 파라미터에 저장된 지식과 외부 문서에서 검색한 정보를 결합하는 방법을 제시하였으며, 이는 컨텍스트에 외부 지식을 채워 넣는 기법의 초기 형태로 자리잡았다. 2022년 챗지피티의 대중적 등장 이후에는 단일 프롬프트의 문구와 구조를 다듬는 프롬프트 엔지니어링이 언어 모델 응용 개발의 중심 기술로 자리잡았다.

용어의 확산

2025년에 접어들며 언어 모델이 여러 차례의 추론에 걸쳐 도구를 사용하도록 하는 에이전트형 응용 프로그램이 확산되자, 시스템 지시문과 도구 목록, 대화 이력, 검색된 문서, 메모리 등 프롬프트 밖의 정보까지 포괄적으로 다루어야 할 필요성이 커졌다. 2025년 6월 토비 뤼트케와 안드레이 카르파티가 엑스에 남긴 게시물을 계기로 컨텍스트 엔지니어링이라는 표현이 널리 알려졌으며, 비슷한 시기 랭체인은 자사 블로그에서 이 개념을 여러 범주로 나누어 설명하는 글을 게시하였다. 코그니션은 2025년 6월 12일 공개한 글에서 멀티에이전트 시스템 구축에 신중해야 한다고 주장하면서, 신뢰할 수 있는 에이전트를 만드는 핵심이 컨텍스트 엔지니어링에 있다고 서술하였다.

공식화

2025년 7월 중국과학원 등에 소속된 연구자들이 아카이브에 공개한 논문은 컨텍스트 엔지니어링을 단순한 프롬프트 설계를 넘어서는 공식적인 분야로 규정하였다. 이 논문은 1300편이 넘는 관련 연구를 검토하여 컨텍스트 검색과 생성, 컨텍스트 처리, 컨텍스트 관리라는 기초 구성 요소와, 이를 통합한 검색 증강 생성·메모리 시스템·도구 통합 추론·멀티에이전트 시스템이라는 응용 체계로 이루어진 분류 체계를 제시하였다. 같은 해 9월 앤스로픽은 자사 응용 인공지능 팀이 작성한 기술 블로그를 통해 컨텍스트 엔지니어링에 대한 체계적인 설명과 실무 지침을 공개하였다.

핵심 개념

유한한 자원으로서의 컨텍스트

컨텍스트 엔지니어링 논의의 상당 부분은 컨텍스트 윈도우가 커진다고 해서 모델의 성능이 그에 비례하여 향상되지는 않는다는 관찰에서 출발한다. 앤스로픽은 트랜스포머 구조에서 모든 토큰이 서로를 참조해야 하기 때문에 토큰 수가 늘어날수록 토큰 사이의 관계의 수가 제곱으로 늘어나며, 이로 인해 모델이 활용할 수 있는 주의력에 사실상 한계가 생긴다고 설명하였다. 벡터데이터베이스 기업 크로마의 연구진은 2025년 7월 공개한 기술 보고서에서 GPT-4.1, 클로드 4, 제미나이 2.5, 큐원3을 포함한 18개 모델을 대상으로 실험한 결과 입력 토큰 수가 늘어날수록 단순한 검색 과제에서도 성능이 비균일하게 저하되는 현상을 확인하고 이를 컨텍스트 로트라고 명명하였다. 이보다 앞서 스탠퍼드 대학교 등의 연구진이 2023년 발표한 논문은 다중 문서 질의응답 과제에서 정답이 담긴 문서가 입력의 처음이나 끝이 아니라 중간에 위치할 때 모델의 정확도가 뚜렷하게 낮아지는 현상을 확인하고 이를 로스트 인 더 미들이라는 이름으로 정리하였다.

컨텍스트 실패 유형

오버추어 맵스 재단의 전략가 드류 브로이니그는 2025년 발표한 일련의 글에서 컨텍스트가 길어질 때 나타나는 실패 양상을 네 가지로 구분하였다. 컨텍스트 포이즈닝은 한 번 발생한 환각이나 오류가 이후에도 반복적으로 참조되면서 굳어지는 현상이며, 컨텍스트 디스트랙션은 축적된 문맥이 지나치게 길어져 모델이 사전학습으로 습득한 지식보다 눈앞의 문맥에 과도하게 의존하게 되는 현상이다. 컨텍스트 컨퓨전은 과제와 무관한 정보가 컨텍스트에 섞여 들어가 낮은 품질의 응답을 유도하는 현상을 가리키며, 컨텍스트 클래시는 새로 유입된 정보나 도구의 결과가 이전에 주어진 정보나 지시와 서로 모순되는 현상을 가리킨다. 브로이니그는 이러한 분류가 컨텍스트 윈도우 안의 모든 요소가 응답에 영향을 미친다는 전제에서 출발한다고 서술하였다.

컨텍스트의 구성 요소

앤스로픽의 기술 블로그는 컨텍스트를 구성하는 요소를 시스템 지시문, 도구, 예시, 대화 이력 등으로 나누어 설명한다. 시스템 지시문은 지나치게 세세한 조건문을 하드코딩하여 깨지기 쉬운 지시문이 되는 경우와, 지나치게 추상적이어서 모델에 공유된 맥락이 있다고 잘못 가정하는 경우 사이의 적절한 지점에서 작성되어야 하며, 이를 위해 XML 태그나 마크다운 제목으로 지시문을 구획하는 방식이 흔히 쓰인다고 서술되어 있다. 도구는 에이전트가 외부 환경과 상호작용하며 새로운 정보를 컨텍스트로 끌어오는 통로 역할을 하는데, 기능이 서로 겹치지 않고 입력 매개변수가 모호하지 않은 도구 집합을 유지하는 것이 중요하다고 설명되어 있다. 도구 사이의 통신 규격을 표준화한 개방형 프로토콜로 앤스로픽이 2024년 11월 공개한 모델 컨텍스트 프로토콜이 있으며, 이는 아래의 관련 개념과의 비교 항목에서 별도로 다룬다.

예시는 퓨샷 프롬프팅이라고도 불리는 기법으로, 발생 가능한 모든 예외 상황을 나열하기보다 기대하는 행동을 대표적으로 보여주는 소수의 다양한 예시를 선별하는 방식이 권장된다고 서술되어 있다. 대화 이력과 도구 호출 결과는 작업이 진행될수록 계속 누적되는 정보로, 더 이상 필요하지 않아진 과거의 원본 도구 실행 결과를 제거하는 것이 비교적 안전하게 컨텍스트를 정리하는 방법 가운데 하나로 소개되어 있다. 검색된 외부 문서와 컨텍스트 윈도우 바깥에 저장된 메모리 역시 컨텍스트를 구성하는 요소에 포함되며, 이 두 요소를 다루는 구체적인 방식은 다음 항목에서 설명한다.

주요 기법

정보 검색 방식

앤스로픽은 임베딩 기반의 사전 검색을 미리 수행하여 관련 정보를 컨텍스트에 채워 넣는 방식과, 파일 경로나 저장된 질의처럼 가벼운 식별자만 유지하다가 실행 시점에 필요한 정보를 그때그때 불러오는 즉시 검색 방식을 구분하였다. 즉시 검색 방식은 사람이 방대한 자료를 통째로 암기하는 대신 파일 시스템이나 편지함, 책갈피와 같은 외부 색인 체계를 활용하는 것과 유사한 접근으로 설명되며, 앤스로픽의 코딩 도구 클로드 코드가 대용량 데이터베이스를 분석할 때 전체 데이터를 컨텍스트에 올리지 않고 표적화된 질의와 배시 명령을 활용하는 방식이 이에 해당한다고 서술되어 있다. 두 방식을 절충하여, 클로드 코드가 프로젝트 설정을 담은 CLAUDE.md 파일은 미리 컨텍스트에 포함시키면서도 glob이나 grep과 같은 명령으로 필요한 파일을 그때그때 탐색하는 혼합형 접근도 함께 소개되어 있다.

압축과 구조화된 메모

압축은 컨텍스트 윈도우가 한계에 다다른 대화를 요약하여 그 내용을 새로운 컨텍스트 윈도우로 옮겨 담는 기법으로, 장시간에 걸친 작업에서 일관성을 유지하기 위한 수단으로 소개되어 있다. 앤스로픽은 클로드 코드에서 대화 이력을 모델에 전달해 요약하도록 하되 설계 결정이나 해결되지 않은 오류와 같은 핵심 정보는 보존하고 중복된 도구 실행 결과와 같은 정보는 버리는 방식으로 이를 구현하였다고 서술하였다. 구조화된 메모는 컨텍스트 윈도우 밖의 파일에 진행 상황을 주기적으로 기록해두었다가 이후 시점에 다시 불러오는 기법으로, 클로드 코드가 작업 목록을 관리하는 방식이나 별도의 메모 파일을 유지하는 방식이 그 예로 제시되어 있다. 앤스로픽은 2025년 포켓몬 게임을 플레이하는 클로드 에이전트가 수천 번의 게임 진행 단계에 걸쳐 별도의 지시 없이도 탐색한 지역의 지도와 전투 전략에 관한 메모를 스스로 유지한 사례를 이러한 기법이 작동하는 예시로 소개하였다.

서브에이전트 아키텍처

서브에이전트 아키텍처는 하나의 에이전트가 프로젝트 전체의 상태를 계속 유지하는 대신, 특화된 하위 에이전트들이 각자 깨끗한 컨텍스트 윈도우를 가지고 좁혀진 작업을 수행하도록 하는 방식이다. 앤스로픽이 자사의 멀티에이전트 조사 시스템에 관해 설명한 글에 따르면, 개별 하위 에이전트는 탐색 과정에서 수만 개 이상의 토큰을 사용하더라도 상위 에이전트에는 천 개에서 이천 개 토큰 안팎으로 압축된 결과만을 반환하며, 이를 통해 상세한 탐색 과정은 하위 에이전트 안에 격리되고 상위 에이전트는 결과를 종합하는 데 집중할 수 있다고 서술되어 있다. 이 방식의 실효성에 대해서는 관련 논쟁과 비판적 시각 항목에서 다루는 것과 같이 업계 내에서 이견이 존재한다.

실제 적용 사례

컨텍스트 엔지니어링의 원칙은 코딩 에이전트에서 폭넓게 적용되고 있다. 앤스로픽의 클로드 코드는 프로젝트 설정을 담은 파일을 미리 컨텍스트에 포함하는 한편, 컨텍스트가 한계에 다다르면 대화 내용을 압축하고 최근에 접근한 파일 몇 개만을 함께 유지하는 방식으로 장시간 작업의 연속성을 지원한다. 코그니션의 데빈은 서로 다른 사용자에게 서로 다른 접근 권한을 부여할 수 있도록 에이전트의 판단 로직과 실행 환경을 분리하는 아키텍처를 채택하였으며, 코그니션은 이러한 설계가 컨텍스트를 공유하는 과정에서 발생하는 문제를 줄이기 위한 선택이라고 설명하였다.

여러 하위 에이전트가 협업하는 형태의 적용 사례도 존재한다. 앤스로픽은 자사의 조사 기능에 관한 글에서 멀티에이전트 구조가 특정 복잡한 조사 과제에서 단일 에이전트 구조보다 높은 성능을 보였다고 밝혔다. 랭체인이 제공하는 랭그래프와 같은 오픈소스 프레임워크는 검색과 메모리, 에이전트 워크플로를 위한 모듈을 제공하여 컨텍스트 엔지니어링을 구현하는 도구로 활용되고 있다. 이 밖에도 여러 기업과 개발자 커뮤니티가 컨텍스트 관리를 지원하는 프레임워크와 벡터데이터베이스, 메모리 서비스를 공개하고 있으나, 개별 도구의 목록보다는 검색과 메모리, 도구 호출을 결합하여 컨텍스트를 구성한다는 공통된 설계 패턴이 이 분야를 이해하는 데 더 중요하게 다루어진다.

관련 논쟁과 비판적 시각

멀티에이전트 아키텍처를 둘러싼 이견

2025년 6월 코그니션과 앤스로픽은 하루 간격을 두고 멀티에이전트 아키텍처에 대해 상반된 견해를 담은 글을 각각 발표하였다. 코그니션의 월든 얀은 6월 12일 공개한 글에서, 작업을 여러 에이전트에 나누어 맡기면 하위 에이전트들이 서로의 작업을 알지 못한 채 상충하는 결정을 내리게 되어 시스템이 취약해진다고 주장하였다. 그는 예를 들어 하나의 에이전트에는 게임의 배경을, 다른 에이전트에는 캐릭터를 맡기면 두 결과물의 화풍이나 설정이 서로 어긋날 수 있다고 서술하였다. 반면 앤스로픽은 다음날인 6월 13일 공개한 글에서, 하위 에이전트가 병렬로 폭넓게 탐색한 뒤 압축된 결과만을 상위 에이전트에 전달하는 구조가 특정 복잡한 조사 과제에서는 단일 에이전트보다 나은 성능을 보였다고 밝혔다. 두 조직 모두 컨텍스트를 어떻게 다루는지가 에이전트의 신뢰성을 좌우하는 핵심 요인이라는 점에는 견해를 같이 하였으나, 그 해법으로 작업을 하나의 에이전트에 집중시킬 것인지 여러 에이전트로 분산시킬 것인지에 대해서는 서로 다른 입장을 취하였다.

새로운 분야인가에 대한 논쟁

컨텍스트 엔지니어링이 프롬프트 엔지니어링을 넘어서는 독자적인 실천으로 성립하는지에 대해서도 서로 다른 시각이 존재한다. 개발자 도구 기업 인젠스트는 2025년 8월 게시한 글에서, 컨텍스트 엔지니어링이 새로운 기법의 집합이라기보다 에이전트형 시스템을 만드는 데 필요한 아키텍처 원칙을 정리한 것에 가까우며, 메모리나 검색과 같은 구성 요소 대부분이 이미 상용화되어 있어 실제 과제는 이들을 알맞게 통합하는 데 있다고 서술하였다. 반면 앤스로픽과 랭체인은 에이전트가 여러 차례의 추론에 걸쳐 스스로 생성한 정보를 다음 단계에 다시 활용해야 하는 상황이 보편화되면서, 단일 지시문의 문구를 다듬는 것을 넘어 시스템 지시문과 도구, 메모리를 아우르는 전체 상태를 지속적으로 다루어야 할 필요성이 생겼으며 이것이 프롬프트 엔지니어링과 구분되는 지점이라고 설명하였다.

관련 개념과의 비교

프롬프트 엔지니어링

프롬프트 엔지니어링은 모델에 주어지는 개별 지시문의 문구와 구조를 다듬어 원하는 출력을 유도하는 기법을 가리키며, 2022년 챗지피티의 대중화 이후 언어 모델 응용 개발의 중심 기술로 다루어졌다. 앤스로픽은 컨텍스트 엔지니어링을 프롬프트 엔지니어링의 대상을 프롬프트 바깥의 정보로까지 넓힌 것으로 규정하였으며, 두 개념이 상호 배타적이지 않고 프롬프트 작성이 컨텍스트 엔지니어링을 구성하는 하나의 요소로 포함되는 관계에 있다고 설명하였다.

검색 증강 생성

검색 증강 생성은 페이스북 인공지능 연구진이 2020년 발표한 논문에서 제시된 기법으로, 사전학습된 모델의 파라미터에 담긴 지식과 외부 문서에서 검색한 정보를 결합하여 모델의 응답을 생성하는 방식을 가리킨다. 컨텍스트 엔지니어링 논의에서 검색 증강 생성은 컨텍스트에 외부 지식을 채워 넣는 대표적인 기법 가운데 하나로 다루어지며, 정적으로 미리 검색해 두는 방식에서 에이전트가 실행 시점에 필요에 따라 검색을 수행하는 방식으로 활용 형태가 확장되어 왔다.

모델 컨텍스트 프로토콜

모델 컨텍스트 프로토콜은 앤스로픽이 2024년 11월 공개한 개방형 표준으로, 인공지능 모델이 외부의 데이터 저장소나 업무 도구, 개발 환경과 연결되는 방식을 표준화한다. 컨텍스트 엔지니어링이 무엇을 컨텍스트에 담을지를 다루는 설계상의 원칙과 방법론에 해당한다면, 모델 컨텍스트 프로토콜은 그러한 정보와 도구를 모델에 실제로 연결하는 통신 규격에 해당하며, 두 개념은 서로 다른 층위에서 맞물려 있다.

인컨텍스트 러닝

인컨텍스트 러닝은 모델이 파라미터를 갱신하는 미세조정 없이 프롬프트에 포함된 지시문과 예시만으로 새로운 과제를 수행하는 능력을 가리키는, 언어 모델 자체의 기술적 특성이다. 컨텍스트 엔지니어링은 이러한 인컨텍스트 러닝 능력이 실제로 발휘될 수 있도록 컨텍스트에 담기는 내용을 설계하는 응용 차원의 실천이라는 점에서, 모델의 능력을 가리키는 인컨텍스트 러닝과는 층위가 구분된다.

같이 보기

  • 프롬프트 엔지니어링
  • 검색 증강 생성
  • 모델 컨텍스트 프로토콜
  • 인컨텍스트 러닝
  • 에이전틱 인공지능
  • 컨텍스트 윈도우
  • 대규모 언어 모델

참고 자료