ISTA-DASLab이 DeepSeek V4.1 Flash용 저비트 GGUF 양자화를 공개했다.

• 1.75~2.25bpw GGUF 3종이 공개됐으며 파일 크기는 120.7~155.2GB로 제시됐다.
• 희소 MoE 구조라 해도 실제 로컬 운영 요건은 파일 크기 외의 메모리·런타임 조건에 좌우된다.
• 품질, 호환성, 라이선스는 발췌만으로 확인되지 않아 원문 검토가 필요하다.

공개된 파일은 IQ1_M(1.75 bpw), IQ2_XXS(2.00 bpw), IQ2_XS(2.25 bpw) 등 3개 GGUF 양자화본이다. 발췌에 따르면 백본 크기는 120.7~155.2GB이며, 비트 폭은 검색·최적화 대상인 551.9B개 백본 파라미터에 대한 평균값으로 제시됐다.

대상 모델은 레이어당 384개 라우팅 전문가 중 토큰당 6개를 활성화하는 희소 mixture-of-experts(MoE) 구조로 소개됐다. 양자화는 모델 가중치의 정밀도를 낮춰 저장공간과 메모리 요구량을 줄이는 방식이며, GGUF는 로컬 추론 생태계에서 널리 활용되는 모델 파일 형식이다. 다만 모델의 전체 파라미터 수와 실제 구동 시 필요한 메모리·연산량은 같은 개념이 아니므로, 표기된 bpw나 파일 크기만으로 배포 가능 환경을 단정하기는 어렵다.

사내 폐쇄망이나 온프레미스 환경에서 대형 언어모델 활용을 검토하는 조직은 파일 크기뿐 아니라 추론 엔진 호환성, GPU·시스템 메모리, 컨텍스트 길이별 KV 캐시 부담을 함께 검토할 필요가 있다. 특히 법률·세무·의료 등 정확성이 중요한 업무에서는 저비트 양자화에 따른 추론 품질 변화가 문서 요약, 검색증강생성(RAG), 도구 호출 등 실제 워크플로에 미치는 영향을 별도로 평가하는 것이 중요하다.

발췌에는 GSQ와 RCO의 구체적 방법, 원본 대비 벤치마크, 상업 이용 가능 여부, 모델 및 양자화본의 라이선스가 담겨 있지 않다. 도입 또는 재배포 판단 전에는 원문 배포 페이지와 공식 모델 카드에서 해당 조건을 확인할 필요가 있다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.