홈
주식
뉴스
관심
국내 주식해외 주식
호재

슈퍼마이크로, IBM·Nvidia와 AI 추론 가속 솔루션 발표

2026.11.05
슈퍼마이크로, IBM·Nvidia와 AI 추론 가속 솔루션 발표
인공지능

Supermicro, IBM·Nvidia와 AI 추론용 KV 캐시 솔루션 출시

AI 요약
23:50 발행
  • Supermicro가 IBM과 Nvidia와 함께 개발한 AI 추론 워크로드의 응답 시간을 단축하는 KV 캐시 저장 솔루션을 발표했습니다.
  • Supermicro와 Nvidia의 성능 테스트 결과, 13만 토큰 프롬프트에서 지속형 KV 캐시가 Time-to-First-Token을 최대 56배 빠르게 만드는 것으로 나타났습니다.
  • 해당 솔루션은 이전에 계산된 키-밸류 상태를 영구 저장소에 저장해 재사용함으로써 GPU와 CPU 메모리 용량을 초과하는 KV 상태를 처리합니다.
IBM
IBM
슈퍼마이크로컴퓨터
슈퍼마이크로컴퓨터
엔비디아
엔비디아
AI 요약

다른 뉴스 둘러보기

리틀빗 사용에 만족하시나요?
여러분의 소중한 의견은
더 나은 리틀빗을 만드는 데 큰 힘이 됩니다.
CHATBOT
Button Icon