호재
슈퍼마이크로, IBM·Nvidia와 AI 추론 가속 솔루션 발표
2026.11.05

인공지능
Supermicro, IBM·Nvidia와 AI 추론용 KV 캐시 솔루션 출시
AI 요약
해당 요약은 AI가 생성한 결과물으로 정확성·완전성을 보장하지 않습니다.
종목을 추천하거나 투자를 권유하기 위한 목적이 아니므로 참고용으로만 이용해주세요.
종목을 추천하거나 투자를 권유하기 위한 목적이 아니므로 참고용으로만 이용해주세요.
23:50 발행
- Supermicro가 IBM과 Nvidia와 함께 개발한 AI 추론 워크로드의 응답 시간을 단축하는 KV 캐시 저장 솔루션을 발표했습니다.
- Supermicro와 Nvidia의 성능 테스트 결과, 13만 토큰 프롬프트에서 지속형 KV 캐시가 Time-to-First-Token을 최대 56배 빠르게 만드는 것으로 나타났습니다.
- 해당 솔루션은 이전에 계산된 키-밸류 상태를 영구 저장소에 저장해 재사용함으로써 GPU와 CPU 메모리 용량을 초과하는 KV 상태를 처리합니다.
AI 요약
해당 요약은 AI가 생성한 결과물으로 정확성·완전성을 보장하지 않습니다.
종목을 추천하거나 투자를 권유하기 위한 목적이 아니므로 참고용으로만 이용해주세요.
종목을 추천하거나 투자를 권유하기 위한 목적이 아니므로 참고용으로만 이용해주세요.



