아마존 베드록, 스냅샷 복원 및 동적 메모리 회수 도입한 '에이전트코어 런타임 V2' 공개

아마존웹서비스(AWS)가 대화형 및 자율형 인공지능(AI) 에이전트를 배포하고 실행하는 완전관리형 컴퓨팅 레이어인 '아마존 베드록 에이전트코어 런타임(Amazon Bedrock AgentCore runtime)'의 신규 버전을 공개했다. 이번에 개편된 런타임은 세션 진행 중 비활성화되거나 해제된 메모리를 실시간으로 회수하는 동적 메모리 관리 체계를 갖췄으며, 컨테이너 이미지 크기나 에이전트 동시성 규모에 상관없이 일관된 콜드 스타트(초기 구동 지연) 시간을 유지하도록 재설계되었다. 기존 런타임은 세션 동안 발생한 최대 메모리 사용량(High Watermark)을 기준으로 비용이 청구되고 컨테이너 크기에 비례해 초기 지연이 급증했으나, 새 버전은 스냅샷 복원 기술을 통해 초기 구동 속도를 일정하게 유지하고 실제 사용된 메모리 자원만을 기반으로 과금한다.

AI 에이전트의 활용 형태는 단문 질의응답을 처리하는 챗봇에서 수 분에서 수 시간 동안 상태를 유지하는 코딩 에이전트 및 인간의 지속적 개입 없이 상시 동작하는 자율형 에이전트로 확장되고 있다. 기존 에이전트코어 런타임은 서버리스 기반의 세션 격리와 유휴 시 완전 정지(Scale to zero)를 제공했으나, 장시간 실행되거나 간헐적으로 트래픽이 몰리는 워크로드에서 한계를 보였다. 이전 방식에서는 세션 내에서 한 번 할당된 메모리를 세션이 끝날 때까지 유지했기 때문에, 일시적인 스파이크 이후 유휴 상태가 지속되더라도 피크치 기준의 높은 요금이 부과되었다. 또한 하드웨어 수준의 격리 특성상 트래픽 급증 시 새 환경을 부팅하고 컨테이너 이미지를 받아와 초기화하는 콜드 스타트 지연이 커졌고, 개발자들은 대기 환경을 미리 할당해 두는 등 별도의 복잡한 인프라 우회책을 직접 구축해야 했다.

새로운 에이전트코어 런타임은 메모리 온디맨드 페이징과 최적화된 스냅샷 복원 메커니즘을 핵심 기술로 채택했다. 런타임 인스턴스가 생성되거나 업데이트되면 컨테이너를 먼저 실행하여 정상(Healthy) 상태를 보고할 때까지 대기한 후, 모델 아티팩트 로딩이나 정적 설정 적용 등 일회성 초기화가 완료된 시점의 실행 환경을 스냅샷으로 캡처한다. 이때 캐시나 일시적인 메모리 등 복원 시 불필요한 데이터를 제거하여 컨테이너 이미지 크기가 커져도 스냅샷 크기가 일정하게 유지되도록 최적화했다. 새로운 세션이 시작될 때는 전체 환경을 새로 부팅하는 대신 이 경량화된 스냅샷을 즉각 복원한다. 또한 세션 실행 중에는 최소한의 상주 메모리로 시작하여 작업 부하에 맞춰 메모리를 동적으로 페이징 인(Paging-in)하고, 수십억 건의 세션 분석 패턴을 토대로 요청 버퍼가 해제되거나 사용 빈도가 낮아진 메모리를 즉각 회수한다.

공개된 성능 측정 데이터에 따르면 신규 런타임은 컨테이너 크기와 무관하게 안정적인 콜드 스타트 지연 시간을 보였다. 외부 모델 호출이나 도구 연동 없이 입력값을 그대로 반환하는 에코 에이전트(Echo Agent, 에이전트 코드 실행 시간 P75 기준 약 34밀리초)를 대상으로, 미국 서부 리전(us-west-2)의 Amazon EC2 인스턴스에서 boto3 SDK를 사용해 퍼블릭 인터넷 환경을 거쳐 미국 동부 리전(us-east-1)의 에이전트를 호출하는 방식으로 5,000회의 콜드 호출을 테스트했다. 측정 결과 200MB부터 2GB까지의 컨테이너 이미지 크기 전반에서 신규 런타임의 P75 콜드 스타트 지연 시간은 약 2초 수준으로 균일하게 유지되었다. 반면 기존 런타임은 200MB 이미지에서 약 5.4초였던 P75 지연 시간이 2GB 이미지에서는 30초에 근접할 정도로 이미지 크기에 비례해 급격히 증가했다.

이번 개편은 에이전트 기반 서비스의 사용자 경험 개선과 인프라 운영 비용 절감으로 이어진다. 단가 자체는 기가바이트-시간(GB-hours) 기준으로 이전보다 다소 높게 책정되었으나, 컨테이너 전체를 세션 내내 상주시키지 않고 필요한 시점에만 메모리를 적재 및 회수하므로 대부분의 에이전트에서 실제 청구되는 총 GB-hours 사용량이 감소해 결과적인 청구 비용이 줄어든다. 또한 대화형 에이전트를 운영하는 개발자를 위한 실무 팁으로, 사용자가 입력창에 텍스트를 작성하기 전 채팅 인터페이스를 여는 시점에 세션을 미리 생성해 두면 초기 환경 복원이 백그라운드에서 완료되어 콜드 스타트 지연을 사실상 사용자에게 노출하지 않고 감출 수 있는 방안도 함께 제시되었다.

새로운 런타임을 사용하려는 개발자는 런타임 생성 또는 업데이트 시 `platformVersion` 파라미터를 `V2`로 지정하면 되며, 관련 샘플과 부하 테스트 예제는 에이전트코어 깃허브(GitHub) 저장소에서 제공된다. 원문에서는 현재 지원 범위를 넘어 향후 도입될 기능들도 명시했다. 향후에는 예측 가능한 비용 관리가 필요한 상시 실행 워크로드를 위해 기본 메모리 사용량을 예약하고 초과분만 온디맨드로 과금하는 약정 베이스라인 할인(Committed baseline discounts) 모델이 추가될 예정이다. 아울러 더 큰 메모리, vCPU 및 세션 스토리지를 지원하는 대형 컴퓨팅 옵션, x86 환경용 코드와 도구를 그대로 이전할 수 있는 x86 마이크로VM(microVM) 지원, 세션 상태를 저장하고 무기한 재개할 수 있는 라이프사이클 제어 훅 및 스냅샷 기능, 그리고 무인 실행 에이전트의 권한 범위를 제한하기 위한 세션별 격리 자격 증명(Scoped identity) 체계가 차례로 제공될 계획이다.