Qwen3.8-Flash-Next, MLX-serve서 100만 토큰 컨텍스트 지원 출시

• MLX-serve에서 Qwen3.8-Flash-Next가 100만 토큰 컨텍스트를 지원하도록 튜닝돼 공개됐다.
• 애플 M5 Max 128GB 환경에서 8비트/4비트 혼합 양자화로 속도와 품질을 유지했다고 설명됐다.
• 커뮤니티 개발자의 실험적 결과로, 상용 수준 검증이나 공식 지원 여부는 확인되지 않는다.

Reddit r/LocalLLaMA에 올라온 글에 따르면, MLX-serve에서 Qwen3.8-Flash-Next 모델을 지원하도록 튜닝한 개발자가 최대 100만 토큰 컨텍스트를 처리할 수 있도록 구현했다고 밝혔다. KV 캐시를 8비트로 사용하며 애플 M5 Max 128GB 환경에서 약 76만 토큰 시점의 시연 영상을 공유했다.

긴 컨텍스트 처리는 대형 문서나 코드베이스 전체를 한 번에 모델에 입력해 분석하게 하려는 로컬 LLM 커뮤니티의 대표적 관심사다. MLX는 애플 실리콘에서 로컬로 모델을 구동하기 위한 프레임워크로, 클라우드 API 없이 개인 하드웨어에서 대형 모델을 돌리려는 시도들이 최근 활발하다.

실무자 입장에서는 로컬 환경에서 대용량 계약서·판례·회계 문서 전체를 한 번에 입력해 검토할 수 있는 가능성을 시사하지만, 이는 개인 개발자 커뮤니티의 실험적 결과로 공식 제품 수준의 안정성·정확성 검증은 아니다. 코딩 작업에서는 초당 75토큰, 일반 글쓰기에서는 초당 40토큰 수준의 생성 속도가 보고됐다는 점도 참고할 수 있다.

실제 업무 도입 전에는 양자화로 인한 정확도 손실 여부, 특정 하드웨어(M5 Max 128GB) 의존성, 공식 지원 여부 등을 추가로 확인할 필요가 있다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.