전체 글(37)
-
LLM 서빙 스터디(7) 라우팅과 게이트웨이: AI Gateway와 llm-d
이 글은 LLM을 여러 모델과 여러 파드로 서빙할 때 그 앞에 서는 라우팅 계층을 다룹니다. 먼저 요청을 받아 알맞은 백엔드로 보내는 표준 게이트웨이인 Envoy Agent Router를 보고, 이어서 그 위에 "KV 캐시와 prefix를 인지하는" 지능형 라우팅을 얹는 llm-d로 넘어갑니다. 지난 글들이 한 모델을 GPU 위에서 어떻게 더 빨리 돌리느냐를 다뤘다면, 이번에는 한 단계 앞선 계층으로 시선을 옮깁니다. 왜 AI Gateway인가 AI Gateway는 흩어진 LLM 호출을 전용 단일 진입점으로 모으는 계층입니다. LLM을 프로덕션에 올리는 순간, 애플리케이션마다 OpenAI와 Bedrock, 사내 vLLM을 제각기 호출하는 구조가 빠르게 무너지기 때문입니다. 키가 코드마다 흩어지고, p..
2026.09.18 -
LLM 서빙 스터디(6) AWS Tranium Workshop
AWS community workshop 을 통해서 eks 환경에서 aws trainium 을 활용한 다양한 실습을 해보았습니다.좋은 기회 만들어주신 CloudNet@ 팀과 가시다님께 감사드립니다.- eks 및 접속 환경 설정- trainium infra 배포- vllm 으로 trainium 인스턴스에서 추론 테스트- prometheus/grafana observability 환경 구성1. EKS 및 접속 환경 설정AWS Trainium(Trn1) 기반 EKS 위에서 vLLM + neuronx-distributed(NxD)로 LLM 추론을 스케일링하는 AWSKRUS 커뮤니티 워크숍 실습을 수행했습니다워크숍 구성Workshop Studio로 제공되는 사전 프로비저닝 환경을 씁니다. 대시보드에 계정 접근 수..
2026.09.12 -
LLM 서빙 스터디(5) LLM 특화 추론 최적화 기법 정리
LLM 서빙은 더 이상 "하나의 모델을 빠르게 실행하는 시스템"이 아니라, 요청의 의미를 이해하고 알맞은 모델·도구·하드웨어·실행 위치를 고르는 지능형 추론 시스템(intelligent inference system)으로 진화하고 있습니다. 예전 서빙 엔진은 들어온 요청을 그냥 실행했습니다. 지금의 서빙 엔진은 실행에 앞서 먼저 묻습니다. 아예 새로 계산해야 하나, 어떤 모델로 보내야 하나, 텍스트가 아닌 입력은 어떻게 다루나, 어디서 돌려야 하나, 어떤 파인튜닝 어댑터로 처리하나, 그리고 이 서빙이 학습 루프의 일부라면 무엇이 더 필요한가. 이번 글은 서빙 시스템에 새로 추가된 바로 이 여섯 개의 결정 포인트인 Semantic caching, semantic routing, multimodal serv..
2026.09.05 -
LLM 서빙 스터디(4) 다양한 추론 최적화 기법 정리
LLM 추론 최적화 7가지: 하나의 지도로 읽기FlashAttention, KV 캐시 오프로딩, 추측 디코딩, Prefill-Decode 분리, 멀티 GPU/노드 병렬화. 이름만 늘어놓으면 서로 상관없는 일곱 개의 기법처럼 보입니다. 하지만 이들은 결국 Attention 알고리즘의 단점과 자원 소모를 보완하기 위한 각각 다른 접근 방식입니다. 추론은 왜 느리고 비싼가LLM 추론 최적화를 위해서는 "현재 상황에서 무엇이 병목인가"를 도출해야 합니다. hw적으로는 연산(compute) vs 메모리 대역폭(memory bandwidth) 입니다. 하나는 행렬 곱 같은 연산을 텐서 코어로 밀어붙이는 일(compute-bound), 다른 하나는 가중치나 캐시를 메모리에서 읽어오는 일(memory-bandwid..
2026.08.30 -
LLM 서빙 스터디(3) Qwen3.5 모델 T4에서 서빙 최적화 하기
colab에서 무료로 사용할 수 있는 GPU인 T4를 활용해서 LLM 을 크기별로 서빙하고, 다양한 서빙 최적화 기법들을 vLLM을 활용해서 적용하며 결과를 비교해 보겠습니다. 실행 대상: Qwen 3 모델 Qwen3은 Alibaba에서 2025년 8월에 공개된 LLM입니다. 테스트 대상 모델로 상대적 구모델인 Qwen3 을 선정한 이유는 최신 LLM 중에서 비교적 다양한 모델 사이즈를 지원하면서, 변형/최적화 된 attention kernel 을 상대적으로 덜 활용했기 때문에 무료 코랩에서 사용할 수 있는 T4 환경에서 상대적으로 안정적으로 동작한다는 점을 고려했습니다. 서비스에 도입을 검토하신다면 현재 시점에서는 Qwen family 의 후속으로 나온 Qwen 3.8 3.6 3.5 시리즈를 ..
2026.08.23 -
LLM 서빙 스터디 (2) 모델 서빙 시스템 디자인과 모범 사례
단일 모델 서빙 시스템 디자인논리적으로 시스템 디자인을 풀어나가는 건 항상 어렵게 느껴집니다. 스터디에서 제시된 과제를 "단일 모델 서빙 시스템 디자인" 이라는 과제를 vLLM / Triton Inference Server 등을 활용하지 않고 문제 정의 → 개념 설계 → 상세 설계 → 개선 으로 순서를 재구성해서 풀어나가 보겠습니다. 1. 문제/기능 정의기능 정의HTTP API로 prompt를 받는다.backend worker process에서 모델을 로드하고 inference를 수행한다.단일 요청, batch 요청, streaming 요청을 처리한다. → 4. 개선 단계에서 다루겠습니다.request와 output을 추적하기 위해 sequence id를 관리한다.나중에 vLLM 같은 serving f..
2026.08.16