Basalt가 단일 RTX 5090용 NVFP4 및 프리필 성능 개선을 공개했다.

• Basalt는 NVFP4 네이티브 지원과 긴 프롬프트 프리필 개선을 주장했다.
• 게시물은 RTX 5090 단일 환경의 생성·프리필 성능 및 Q8_0 대비 품질 지표를 자체 측정치로 제시했다.
• 도입 평가는 실제 모델·업무 프롬프트·동시성 조건에서 품질과 지연을 함께 비교할 필요가 있다.

게시물 작성자는 Basalt에 NVFP4 지원과 더 빠른 프리필 기능을 추가했다고 밝혔다. 제시된 단일 스트림 측정 환경은 400W RTX 5090과 DDR5 128GB이며, 구조화 출력에서 초당 304토큰, 일반 산문에서 초당 183토큰을 기록했다고 주장한다. 보조 GPU로 5060 Ti를 붙인 경우에는 각각 479토큰과 239토큰이라고 제시했으며, 이 수치는 게시물 작성자의 자체 벤치마크다.

NVFP4는 모델 가중치의 저장·연산 정밀도를 낮춰 메모리 사용량과 처리 효율을 개선하려는 양자화 계열과 관련된다. 게시물은 NVIDIA의 expert는 유지하고 dense layer는 Q6_K로 저장하는 `.basalt` 패킹 방식을 언급한다. 또한 Q8_0와의 비교에서 퍼플렉서티, KLD, 상위 1개 토큰 일치율을 제시했지만, 평가 데이터·모델 전체 구성·재현 절차는 발췌만으로 충분히 확인되지 않는다.

로컬 추론 환경을 구축하거나 고객사·사내 GPU에서 모델을 운영하는 경우, 토큰 생성 속도만 아니라 프리필과 첫 토큰까지의 시간이 사용자 체감 성능에 영향을 준다. 게시물은 64K 프롬프트에서 초당 8,582토큰의 프리필과 첫 토큰까지 7.6초를 주장하므로, 긴 문서 검색·요약이나 대규모 컨텍스트 기반 업무에서 검토할 비교 지표를 제시한다. 다만 실제 성능은 모델, 컨텍스트 길이, 동시 요청 수, 프롬프트 구성, 메모리 및 드라이버 조건에 따라 달라질 수 있다.

검토 시에는 동일 모델·동일 양자화 수준·동일 프롬프트에서 품질과 지연 시간을 함께 비교할 필요가 있다. 특히 양자화 품질 평가는 일반 텍스트뿐 아니라 코드, 구조화 출력, 한국어 등 실제 업무 입력으로 검증하는 편이 적절하다. 발췌가 중간에서 끝나므로 호환 모델, 라이선스, 설치 방식과 알려진 제약은 원문 게시물 전체 확인이 필요하다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.