Reflex: Real-Time Vision-Language-Action Control through Streaming Inference

Mon, 01 Jan 0001 00:00:00 +0000

Yuanchun Guo (School of Computer Science, Beijing University of Posts and Telecommunications), Bingyan Liu (School of Computer Science, Beijing University of Posts and Telecommunications)

교신 저자: Bingyan Liu. 원문: arXiv:2607.14695.

번역 및 라이선스 안내. 이 페이지는 Yuanchun Guo, Bingyan Liu의 논문 “Reflex: Real-Time Vision-Language-Action Control through Streaming Inference”(arXiv:2607.14695)를 한국어로 번역하고 역주를 덧붙인 것이다. 원문은 CC BY-NC-SA 4.0 라이선스로 공개되어 있으며, 이 번역도 같은 라이선스(CC BY-NC-SA 4.0)를 따르고 비상업적 목적으로만 공유된다. 번역과 역주는 원저자가 검토하지 않았으며, 정확한 내용은 원문을 기준으로 한다.

Efficient Memory Management for Large Language Model Serving with PagedAttention

Mon, 01 Jan 0001 00:00:00 +0000

Woosuk Kwon (UC Berkeley)*, Zhuohan Li (UC Berkeley)*, Siyuan Zhuang (UC Berkeley), Ying Sheng (UC Berkeley, Stanford University), Lianmin Zheng (UC Berkeley), Cody Hao Yu (Independent Researcher), Joseph E. Gonzalez (UC Berkeley), Hao Zhang (UC San Diego), Ion Stoica (UC Berkeley)

* 공동 기여(Equal contribution). SOSP ‘23, October 23–26, 2023, Koblenz, Germany.

Abstract

대규모 언어 모델(LLM)을 높은 처리량(throughput)으로 서빙하려면 한 번에 충분히 많은 요청을 배치(batch)로 묶어 처리해야 한다. 그러나 기존 시스템은 이를 잘 해내지 못한다. 요청마다 필요한 키-값 캐시(KV cache) 메모리가 매우 크고, 그 크기가 동적으로 커졌다 줄어들기 때문이다. 이 메모리를 비효율적으로 관리하면 단편화(fragmentation)와 중복 저장 때문에 상당량이 낭비되고, 배치 크기가 제한된다. 이 문제를 해결하기 위해 본 논문은 운영체제의 고전적인 가상 메모리와 페이징 기법에서 착안한 어텐션 알고리즘인 PagedAttention을 제안한다. 이를 기반으로 LLM 서빙 시스템 vLLM을 구축했다. vLLM은 (1) KV 캐시 메모리 낭비를 거의 0에 가깝게 줄이고, (2) 요청 내부와 요청 사이에서 KV 캐시를 유연하게 공유해 메모리 사용량을 더 줄인다. 평가 결과, vLLM은 FasterTransformer, Orca 같은 당시 최고 수준의 시스템과 같은 수준의 지연 시간(latency)에서 널리 쓰이는 LLM의 처리량을 2–4배 높였다. 이 향상 폭은 시퀀스가 길수록, 모델이 클수록, 디코딩 알고리즘이 복잡할수록 더 커진다. vLLM의 소스 코드는 https://github.com/vllm-project/vllm 에 공개되어 있다.

Papers

Reflex: Real-Time Vision-Language-Action Control through Streaming Inference

Efficient Memory Management for Large Language Model Serving with PagedAttention

Abstract