3.87B MoE 모델을 865억 토큰으로 처음부터 학습한 사례가 공개됐다.

• Apex-2는 3.87B 전체 파라미터와 1.45B 활성 파라미터를 제시한 MoE 학습 사례다.
• MoE 평가는 총 파라미터뿐 아니라 활성 연산량, 라우팅, 추론 호환성을 함께 봐야 한다.
• 업무 활용 전에는 데이터·라이선스·성능·안전성 관련 공개 정보의 확인이 필요하다.

발췌에 따르면 Apex-2는 디코더 전용 MoE 모델로, 모든 레이어가 MoE 구조이며 전체 파라미터는 3.87B, 토큰당 활성 파라미터는 1.45B다. 32개 레이어, 16개 전문가와 top-4 선택, 4096 컨텍스트, Qwen3 토크나이저를 사용했고, 외부 기반 가중치 없이 처음부터 학습했다고 작성자는 밝혔다.

MoE는 입력 토큰마다 일부 전문가만 선택해 계산하는 희소 모델 구조다. 일반적으로 전체 모델 규모와 실제 토큰 처리 시 활성화되는 연산량을 분리해 설계할 수 있지만, 전문가 라우팅, 데이터 분포, 학습 안정성, 추론 환경 호환성 등이 품질과 운영 난이도에 영향을 준다.

AI 모델을 자체 개발하거나 공개 모델을 평가하는 실무에서는 ‘파라미터 수’만으로 비용이나 성능을 판단하기 어려워진다는 점이 시사점이다. 학습 데이터의 성격과 라이선스, 벤치마크 조건, 추론 프레임워크 호환성, 배포 모델의 보안 검증 같은 항목을 모델 구조와 별도로 확인하는 평가 체계가 필요하다.

발췌에는 학습 데이터의 출처·구성, 학습 완료 성능, 안전성 평가, 라이선스 및 상업 이용 조건이 충분히 나타나지 않는다. 공개 모델을 업무에 활용하려면 모델 저장소의 문서와 배포 조건, 알려진 한계, 평가 방법을 원문에서 추가로 확인할 필요가 있다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.