Agens가 KV 캐시 18개 층만 쓰는 32B 오픈 모델을 공개했다.

• Agens Volundr 32B Preview는 긴 문맥 추론에서 KV 캐시 부담을 줄이려는 하이브리드 구조를 표방한다.
• 로컬 AI 운영에서는 파라미터 수보다 실제 메모리 사용량·속도·성능·운영 요건을 함께 검증해야 한다.
• 발표 주체의 자체 게시글인 만큼 독립 벤치마크와 라이선스·배포 조건 확인이 필요하다.

발췌는 Blockway 팀이 ‘Agens Volundr 32B Preview’를 공개했다는 자체 소개 글이다. 모델은 약 32B 규모의 dense 모델이며, 72개 층으로 구성되고 모든 층이 모든 토큰에서 실행된다고 설명한다. 작성자는 제한된 컴퓨팅 자원으로 학습했고 완전하지 않다는 점도 함께 밝혔다.

대규모 언어모델을 긴 입력 길이로 추론할 때에는 모델 가중치뿐 아니라 이전 토큰의 정보를 보관하는 KV 캐시가 GPU 메모리 사용량에 큰 영향을 줄 수 있다. 발췌상 이 모델은 대부분의 층이 KV 캐시를 하나씩 유지하지 않는 구조를 채택해, 로컬 환경에서 긴 문맥을 다루기 위한 메모리 부담을 낮추려는 목적을 제시한다.

사내 구축형 AI를 검토하는 법률·세무·노무·의료 분야 조직이라면, ‘32B’라는 파라미터 규모만으로 하드웨어 요구량이나 긴 문서 처리 능력을 판단하기보다 실제 추론 메모리, 지원 컨텍스트 길이, 처리속도, 정확도와 오류 양상을 분리해 평가할 필요가 있다. 특히 민감정보를 다루는 환경에서는 라이선스, 가중치 배포 조건, 온프레미스 실행 가능성, 보안 통제와 로그 관리도 별도로 확인해야 한다.

다만 해당 내용은 개발팀이 Reddit에 게시한 발표문 발췌이며, 독립적인 벤치마크 결과나 공개 라이선스, 지원하는 하드웨어·추론 엔진, KDA 층의 구체적 동작은 발췌만으로 확인되지 않는다. 업무 도입 판단에는 모델 카드, 저장소, 라이선스 전문 및 재현 가능한 성능 검증 자료의 원문 확인이 필요하다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.