TensorFold가 DGX Spark 2대에서 vLLM 대비 2.1~2.3배 처리량을 보였다.

• 게시물은 DGX Spark 2대 환경에서 TensorFold가 vLLM 키트보다 2.1~2.3배 빠르다고 주장한다.
• 비교에는 디코드·긴 컨텍스트 탐색·콜드 프리필·다중 요청 처리량이 포함된다.
• 결과는 특정 모델·양자화·병렬화·연결 조건의 자체 측정치이므로 별도 재현 검증이 필요하다.

게시물은 CX7 케이블로 연결한 DGX Spark 2대에서 TP=2로 DeepSeek-V4.1-Flash-1017을 실행한 결과를 제시한다. 모델은 EXL3 2.9bpw, 100만 컨텍스트라는 조건으로 소개됐으며, 동일 장비·가중치·프롬프트·측정일을 기준으로 TensorFold가 vLLM 키트보다 2.1~2.3배 빠르다고 작성자는 주장했다. 예시로 텍스트 디코드는 초당 27.0토큰 대 56.8토큰, 코드 디코드는 39.9토큰 대 92.2토큰으로 표기됐다.

추론 성능은 생성 단계인 디코드와 입력을 처리하는 프리필을 구분해 봐야 한다. 게시물은 64K 컨텍스트의 needle 테스트 시간, 8K·32K 프롬프트의 콜드 프리필 처리량, 코드 요청의 총 처리량도 함께 비교하려 한다. 텐서 병렬화는 모델을 여러 장치에 나눠 계산하는 방식이지만, 장치 간 연결 대역폭과 통신 오버헤드, 실행 엔진의 스케줄링 방식이 실제 이득을 좌우할 수 있다.

실무 운영자에게는 특정 엔진의 배수 수치보다 서비스 워크로드와 측정 조건의 일치 여부가 중요하다. 대화형 서비스는 첫 토큰 지연과 단일 요청 디코드 속도가, 배치 처리나 RAG는 프리필 처리량과 동시 요청 처리량이 더 중요한 지표가 될 수 있다. 또한 게시물의 결과는 특정 모델, EXL3 양자화, 2대 구성, TP=2 및 CX7 연결을 전제로 하므로 다른 GPU·모델·네트워크 구성에 그대로 적용하기 어렵다.

발췌는 32K 프리필 표의 뒤부분에서 끝나며, 전체 벤치마크 방법과 오류 범위, 소프트웨어 버전, 메모리 사용량, 안정성 정보는 확인되지 않는다. 따라서 엔진 교체나 장비 구매 판단에 활용하려면 원문의 재현 명령, 캐시 정책, 동시성 설정 및 장시간 부하 결과를 확인할 필요가 있다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.