[TTOWAH NEWS] 2026.10.22 vLLM, DeepInfer 대비 디코딩 성능 격차 6% 이… 외 8건

오늘의 뉴스 한눈에 보기

1. vLLM, DeepInfer 대비 디코딩 성능 격차 6% 이내 발표
2. Spark-X2.6-4B 공개…vLLM 출시 당일 지원
3. vLLM·앤트그룹, 양자화 추론 커널 Humming 공개
4. NVIDIA, OpenShell 참조 아키텍처 소개
5. NVIDIA, 언어·로봇·바이오·양자 공개 모델 확대
6. NVIDIA, 에이전트 툴킷에 기업 지식 기반 추가
7. OpenAI, GPT-Rosalind로 신경퇴행 연구 가설 제시
8. vLLM, Flint 첫날 지원…단일 GPU로 실행
9. Recursive Flint, 로컬 코딩용 오픈 모델 공개

TTOWAH NEWS

최근 나온 AI와 개발 도구 소식 가운데 주목할 만한 것을 골라 원문 근거와 함께 정리했습니다.

주요 소식

핵심vLLM, DeepInfer 대비 디코딩 성능 격차 6% 이내 발표

• vLLM은 DeepSeek-V4.1-Flash의 컨텍스트 131K, nextn=3 설정에서 GB200으로 배치 크기 8~256을 시험해 DeepInfer 공개 처리량과의 차이가 6% 이내였다고 밝혔다.
• AgentX에서는 캐시·입력·출력을 합쳐 GPU당 초당 95만4000토큰을 처리했다고 밝혔다. 이용자당 P90 초당 196토큰 조건에서 DeepSeek 비혼잡 시간대 API 요금을 적용한 매출은 GPU당 시간당 38.96달러로 제시했다.
• vLLM은 자사 시험에는 AgentX를, DeepSeek는 실제 운영 워크로드를 사용했다며 두 매출 수치를 직접 비교할 수 없다고 설명했다.

출처: 근거 1 · vLLM 발표 · 근거 2 · vLLM 발표 · 근거 3 · vLLM 발표

핵심Spark-X2.6-4B 공개…vLLM 출시 당일 지원

• vLLM은 Spark-X2.6-4B 공개 당일부터 해당 모델을 구동할 수 있도록 지원한다고 밝혔다.
• Spark-X2.6-4B의 추론 강도는 없음·낮음·높음의 세 단계로 선택할 수 있다고 안내됐다.

출처: vLLM 발표

핵심vLLM·앤트그룹, 양자화 추론 커널 Humming 공개

• Humming은 튜링 이후 NVIDIA GPU 아키텍처와 T-Head의 Zhenwu 810E 같은 CUDA 호환 장치를 지원한다.
• 통합 아키텍처를 통해 밀집 모델과 MoE 작업에서 다양한 가중치·활성값 양자화 형식의 조합을 지원한다.
• vLLM은 일부 B300 대형 배치 MoE 커널에서 Marlin 대비 약 5배 성능을 제시했다. 종단 간 처리량 14~43% 향상은 H20 8장·TP=8·DeepSeek-V4.1-Flash의 MXFP4 가중치를 유지하고, Marlin W4A16(BF16 활성값)을 Humming W4A8(토큰별 FP8 활성값)로 바꾼 시험 결과다.

출처: 근거 1 · Announcing Humming: Fast, Flexible Kernels for Quantized Inference · 근거 2 · vLLM 발표

핵심NVIDIA, OpenShell 참조 아키텍처 소개

• NVIDIA는 OpenShell이 에이전트 작업을 실행 내내 신뢰하지 않는 대상으로 취급하고, 필요한 시점에 필요한 접근 권한만 부여한다고 설명했다.
• 슈퍼바이저는 샌드박스와 완전히 분리돼 실행되며, 외부로 나가는 요청이 정책에 맞는지 검사하고 인증 정보 접근을 중개한다고 밝혔다.
• 정책 검증기는 형식 검증을 통해 정책이 허용하는 권한이 조직에서 정한 상한을 벗어나지 않는지 확인한다고 설명했다.

출처: 근거 1 · How NVIDIA OpenShell Reference Architecture Secures and Governs AI Agent Workloads at Scale · 근거 2 · NVIDIA AI 발표

핵심NVIDIA, 언어·로봇·바이오·양자 공개 모델 확대

• NVIDIA는 Kumo의 공개 기반 모델과 라이브러리·도구가 구조화된 기업 데이터를 활용해 결과 예측, 사기 위험 평가, 행동 추천을 지원한다고 설명했다.
• Cosmos에는 실제 환경 시험에 앞서 대화형 주행과 로봇 조작 상황의 동작을 평가하는 시뮬레이션 체크포인트를 추가한다고 밝혔다.
• NVIDIA는 BioNeMo RFD4-Proteina가 아미노산 200개 단백질 벤치마크에서 RFdiffusion3보다 약 13배 빠르게 설계를 생성한다고 밝혔다.

출처: NVIDIA Open Models Advance Europe’s Sovereign Intelligence Across Industries

핵심NVIDIA, 에이전트 툴킷에 기업 지식 기반 추가

• NVIDIA는 데이터를 옮기거나 기존 업무 흐름과 거버넌스 통제를 바꾸지 않고도 새 구성 요소를 사용할 수 있다고 설명했다.
• NVIDIA에 따르면 Auto-Ontology 라이브러리는 기업의 원시 데이터를 고객·제품·주문 같은 업무 개념으로 바꾸고 개념 간 관계를 연결한다.
• NVIDIA는 OpenShell이 안전한 실행 경계를 제공해 기업이 에이전트의 접근 대상과 수행 작업을 통제할 수 있도록 한다고 밝혔다.

출처: NVIDIA Agent Toolkit Expands, Grounding Enterprise Agents in Company Data

핵심OpenAI, GPT-Rosalind로 신경퇴행 연구 가설 제시

• OpenAI는 DCTN1 기능을 방해했을 때 콜레스테롤 합성 관련 유전자 발현이 증가했다며, 콜레스테롤이 신경세포 내 필요한 곳에 도달하지 못할 가능성을 검증할 가설로 제시했다.
• 같은 데이터의 소뇌 신경세포 한 집단에서는 TSC2 기능 방해가 수십 개 유전자의 발현을 바꾼 반면, TSC1 기능 방해는 같은 세포 유형의 유전자 발현에 미치는 영향이 작았다고 밝혔다.

출처: 근거 1 · OpenAI 발표 · 근거 2 · OpenAI 발표

핵심vLLM, Flint 첫날 지원…단일 GPU로 실행

• vLLM은 Flint가 전체 400억 개의 매개변수 중 토큰당 약 25억 개만 활성화하는 MoE 모델이며, 26만 2,000토큰 문맥을 지원한다고 설명했다.
• vLLM은 Flint 전용 커널 최적화를 통해 모델 순전파에 필요한 커널 수를 1,096개에서 346개로 줄였다고 밝혔다.
• Flint 전용 커널은 단일 Blackwell GPU와 BF16 KV 캐시 구성을 대상으로 하며, 다른 구성에서는 vLLM의 표준 계층을 사용한다고 안내했다.

출처: Day-0 Support for Flint on vLLM

핵심Recursive Flint, 로컬 코딩용 오픈 모델 공개

• Ollama의 모델 설명에 따르면 Flint는 총 398억 개의 매개변수 중 토큰당 약 25억 개를 활성화하며, 26만 2000토큰의 문맥을 지원한다.
• Flint는 아파치 2.0 라이선스로 배포되며, 애플 실리콘과 기타 GPU 하드웨어에서 사용할 수 있는 양자화 버전도 제공된다.
• Recursive가 발표한 평가 점수는 Terminal-Bench 2.1에서 54.9%, SWE-bench Pro v2에서 89.7%, SWE-bench Verified에서 74.2%다. Ollama는 평가 설정과 실행 환경이 점수에 영향을 줄 수 있다고 설명했다.
• OpenRouter도 Flint 제공을 시작했다고 밝혔다. 추론과 도구 호출을 지원하며, 출시 시점에는 무료로 이용할 수 있다고 안내했다.

출처: 근거 1 · flint · 근거 2 · Ollama 발표 · 근거 3 · OpenRouter 발표