모레가 AMD GPU AI 추론 비용 최적화 솔루션을 공개했다.

• AMD GPU 기반 AI 추론의 비용과 처리 효율을 겨냥한 소프트웨어 솔루션이 공개됐다.
• AI 추론 운영에서는 토큰 처리량·지연시간·GPU 활용률이 서비스 원가 산정의 주요 변수다.
• 도입 검토 시에는 성능 수치뿐 아니라 총소유비용, 호환성, 라이선스와 지원 조건을 함께 확인할 필요가 있다.

모레는 AMD 그래픽처리장치(GPU)를 기반으로 한 AI 추론 비용 최적화용 ‘토큰 팩토리’ 소프트웨어 솔루션을 제시했다. 조강원 모레 대표는 ‘AMD 어드밴싱 AI 월드투어 서울 2026’ 키노트에서 서비스 환경에서의 구현 방안을 소개하며, 데이터센터 사업자가 토큰 팩토리로 전환하는 데 필요한 소프트웨어 전략을 언급했다. 다만 발췌문만으로는 구체적인 최적화 방식, 지원하는 AMD GPU 범위, 실제 성능·비용 절감 수치 등은 확인되지 않는다.

AI 추론은 학습이 끝난 모델이 실제 서비스 요청에 응답하는 단계로, 생성형 AI에서는 입력·출력 토큰 처리량과 지연시간, GPU 활용률이 서비스 원가와 직결되는 경우가 많다. ‘토큰 팩토리’라는 표현은 데이터센터의 운영 성과를 서버 수나 단순 가동률보다 일정 시간에 안정적으로 처리·생산하는 AI 토큰의 관점에서 관리하려는 접근으로 이해할 수 있다. 특히 특정 GPU 생태계에 대한 의존도를 낮추거나 대체 인프라의 활용 가능성을 검토하는 시장 흐름에서도 AMD GPU용 소프트웨어 최적화는 의미를 가질 수 있다.

기업의 IT·재무·구매 부서는 AI 서비스 도입 또는 확대 시 모델 사용료만이 아니라 추론 인프라의 총소유비용(TCO)을 별도로 산정할 필요가 있다. 이때 GPU 조달가격, 전력·상면 비용, 모델별 처리량, 동시 요청 처리 능력, 응답 지연, 운영 소프트웨어 비용과 기술지원 조건 등을 함께 비교하는 방식이 중요하다. 데이터센터 사업자나 AI 서비스 제공자는 해당 솔루션이 기존 운영·모니터링 체계 및 모델 서빙 환경과 어떻게 연동되는지도 점검 대상이 될 수 있다.

향후에는 솔루션의 정식 제공 시점, 적용 가능한 모델과 프레임워크, 라이선스·지원 조건, 고객 환경에서 검증된 비용 절감 효과가 확인될 필요가 있다. 또한 ‘비용 최적화’가 단순히 처리량 향상에 따른 것인지, 전력 효율·자원 배분·모델 최적화 등을 포괄하는지에 따라 도입 검토의 기준도 달라질 수 있다.

본문은 수집한 기사의 제목과 발췌를 바탕으로 AI가 정리한 해설입니다. 수치·날짜·조문 등 세부 사실은 원문에서 확인하세요.