Basalt는 Blackwell용 Qwen 추론 엔진으로 최대 665tok/s를 제시했다.

• Basalt는 Blackwell과 Qwen3.8 Flash-Next에 특화된 추론 엔진으로 소개됐다.
• 제시된 최대 665tok/s는 특정 하드웨어·양자화·작업 조건에서의 작성자 측정치로 보인다.
• 실무 평가는 처리량뿐 아니라 지연시간, 동시성, 정확도, 운영 제약과 재현성을 함께 봐야 한다.

발췌에 따르면 Basalt는 Strata 포크를 기반으로 한 Blackwell용 추론 엔진이며, Qwen3.8 Flash-Next와 Blackwell 아키텍처만 지원하도록 설계됐다. 작성자는 같은 가중치에서 Strata보다 최대 2.6배의 처리량을 달성할 수 있다고 주장했고, 듀얼 GPU와 단일 GPU 환경에서 각각 구조화 출력과 일반 문장 출력에 대한 토큰 처리량 수치를 제시했다.

LLM 추론 성능은 모델 크기와 양자화 방식, GPU 종류와 개수, 메모리, 입력 컨텍스트 길이, 배치 방식, 출력 형식에 크게 좌우된다. 발췌의 ‘665 struct’, ‘354 prose’, ‘7,317 prefill at 64k’ 등은 벤치마크 조건에 연결된 수치로 보이지만, 측정 방법과 재현 절차, 지연시간, 정확도 영향은 발췌만으로 확인되지 않는다.

사내 문서 질의, 초안 생성, 분류, 구조화 추출처럼 로컬 모델을 대량 운용하려는 조직에는 처리량 개선이 GPU 비용과 대기시간에 영향을 줄 수 있다. 그러나 실무에서는 초당 토큰 수만이 아니라 동시 사용자 수, 첫 응답까지의 시간, 긴 문서 입력 시 성능, 오류율, 모델 출력의 검증 절차를 함께 비교할 필요가 있다.

특히 이 엔진은 지원 모델과 하드웨어가 제한적이라고 명시돼 있어, 기존 장비나 다른 모델을 사용하는 환경에 그대로 적용될 수 있는지는 알 수 없다. 도입 검토 시에는 라이선스, 설치·운영 난이도, 지원되는 정밀도와 양자화 형식, 벤치마크 재현 가능성을 원문과 코드 기준으로 확인할 필요가 있다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.