Qwen3.6 35B 로컬 구동 완벽 가이드 2026년 최신 총정리

Qwen3.6 35B 로컬 구동은 이제 RTX 4090 한 장으로도 충분히 가능해졌습니다. MoE 아키텍처 덕분에 35B 모델이 3B 수준의 속도로 돌아가고, 에이전틱 코딩에서는 Llama 3.3 70B를 뛰어넘는 성능을 보여줍니다. 이 글은 설치부터 양자화 선택, 실제 벤치마크까지 한 번에 정리합니다.

Qwen3.6 35B 로컬 구동이 지금 주목받는 이유

2026년 3월 30일 OpenRouter에 프리뷰가 올라오고 4월 2일 정식 공개된 Qwen3.6은 오픈소스 LLM 지형을 다시 그렸습니다. 특히 Qwen3.6-35B-A3B는 SWE-Bench Verified에서 38.2%를 기록하며 오픈소스 1위에 올랐고, 이는 일부 상용 모델을 위협하는 수준입니다.

단순히 성능이 좋은 것을 넘어, Qwen3.6 35B 로컬 구동이 소비자 GPU 한 장에서 실용 가능한 속도로 돌아간다는 점이 핵심입니다. 💡 클라우드 API 비용 부담 없이, 프라이버시를 지키며 에이전틱 코딩을 구현하고 싶은 개발자라면 지금이 도입 적기입니다.

Qwen3.6-35B-A3B MoE 아키텍처 원리

이름 뒤에 붙은 A3B는 "Active 3B"를 뜻합니다. 총 파라미터는 35B이지만 추론 시 실제로 활성화되는 전문가(expert) 파라미터는 3B에 불과합니다. 이것이 Qwen3.6-35B-A3B MoE 아키텍처의 핵심이며, 속도와 품질을 동시에 잡는 비결입니다.

왜 MoE가 유리한가

토큰마다 전체 35B를 깨우는 dense 모델과 달리, MoE는 입력에 가장 적합한 전문가 블록만 선택적으로 활성화합니다. 결과적으로 ✅ 추론 속도는 3B 모델 수준, ✅ 품질은 35B 모델 수준에 가깝게 수렴합니다. 동일 하드웨어에서 Llama-3.3-70B 대비 약 2.8배 높은 처리량이 보고되는 이유입니다.

메모리 사용량의 함정

⚠️ 단, 메모리는 전체 파라미터 기준으로 로드됩니다. 활성 파라미터가 3B여도 VRAM은 dense 34B 모델과 비슷하게 필요합니다. Qwen3.6 35B 로컬 구동을 준비할 때 GPU 메모리 계산은 35B 기준으로 해야 한다는 뜻입니다.

Qwen 로컬 구동 GPU 요구사양 정리

Qwen 로컬 구동 GPU 요구사양은 선택한 양자화 수준에 따라 크게 달라집니다. 대표적인 GGUF 양자화별 VRAM 요구량을 정리하면 다음과 같습니다.

양자화VRAM 요구권장 GPU품질
Q4_K_M약 22GBRTX 4090 / 3090실용 최고 밸런스
Q5_K_M약 26GBRTX 5090 / A6000고품질
Q8_0약 38GBA6000 / H100거의 원본 수준
Q2_K약 14GBRTX 4080 / 3080 Ti경량, 품질 저하

💡 가장 현실적인 조합은 RTX 4090 24GB + Q4_K_M입니다. 문맥을 32K 이상 쓰려면 KV 캐시 공간까지 고려해 Q4_K_S를 선택하는 것도 방법입니다.

Ollama Qwen3.6 설치법 단계별 가이드

초보자에게 가장 쉬운 방법은 Ollama입니다. Ollama Qwen3.6 설치법은 4단계로 끝납니다.

1단계. 공식 사이트에서 Ollama를 설치합니다. macOS·Windows·Linux 모두 공식 바이너리가 제공됩니다.

2단계. 터미널에서 모델을 받습니다.

ollama pull qwen3.6:35b-a3b-q4_K_M

3단계. 대화형으로 바로 실행합니다.

ollama run qwen3.6:35b-a3b-q4_K_M

4단계. API 엔드포인트(http://localhost:11434)를 통해 VS Code Continue, Cursor, Open WebUI 등에 연결하면 실제 업무에 투입할 수 있습니다. ✅ Claude Code 호환 래퍼를 얹으면 에이전틱 코딩도 그대로 활용됩니다.

GGUF 양자화 모델 선택 기준

GGUF 양자화 모델 선택은 "VRAM 용량 ÷ 활용 컨텍스트"를 먼저 따지는 게 정석입니다. 단순히 파일 크기만 보고 고르면 긴 컨텍스트에서 OOM(메모리 부족)이 납니다.

📋 실전 선택 체크리스트입니다.

  • 일반 채팅·요약: Q4_K_M이 가성비 최상
  • 코드 생성·리팩터링: Q5_K_M 이상 권장. 양자화 손실이 코드 품질에 직격
  • 64K~128K 장문 컨텍스트: Q4_K_S + flash-attention으로 KV 캐시 절약
  • VRAM 16GB 이하: Q3_K_M 또는 IQ3_XXS, 속도 우선

⚠️ Q2_K는 응답의 일관성이 떨어져 장시간 에이전트 작업에는 비추천입니다.

Qwen vs Llama 3.3 70B 성능 비교

Qwen vs Llama 3.3 70B 성능 비교는 파라미터만 보면 불공정해 보이지만, 실제 벤치마크에서는 이야기가 다릅니다.

항목Qwen3.6-35B-A3BLlama 3.3 70B
SWE-Bench Verified38.2%약 27%
LiveCodeBench72.4%약 55%
AgentBench81.7%약 68%
처리량 (동일 GPU)2.8배 빠름기준
기본 컨텍스트262K (최대 1M)128K

✅ 코딩·에이전트 작업 중심이라면 Qwen3.6-35B-A3B가 우세합니다. Llama 3.3 70B는 일반 대화의 자연스러움과 한국어 미세 뉘앙스에서 여전히 강점을 가지므로, 용도에 맞게 선택하세요.

실전 운영 팁과 주의사항

Qwen3.6 35B 로컬 구동을 안정적으로 운영하려면 몇 가지 디테일을 챙겨야 합니다.

💡 첫째, 컨텍스트 길이는 필요한 만큼만 설정하세요. Ollama에서 num_ctx를 32768로 두면 일상 코딩에는 충분하고 VRAM도 여유롭습니다.

💡 둘째, 시스템 프롬프트에 역할을 명확히 부여하세요. Qwen3.6은 에이전틱 지시에 매우 민감하게 반응하기 때문에 "reason → plan → act" 패턴을 프롬프트에 넣으면 체감 품질이 크게 올라갑니다.

💡 셋째, 장시간 작업에는 flash-attention 2를 켜세요. 메모리 20% 이상 절약과 속도 개선 효과가 있습니다.

자주 묻는 질문 FAQ

Q. Qwen3.6 35B 로컬 구동에 최소 어떤 GPU가 필요한가요?

VRAM 16GB 이상이면 IQ3 양자화로 구동 가능하고, 실용적으로는 VRAM 24GB의 RTX 3090·4090이 마지노선입니다. 12GB 이하 GPU에서는 7B·14B 계열 모델을 권장합니다.

Q. 한국어 성능은 Llama 계열과 비교해 어떤가요?

Qwen 시리즈는 중국어 외에도 한국어 토큰 비중이 높아 자연스러운 한국어 응답을 제공합니다. 다만 전문 번역·문학 분야 미세 뉘앙스에서는 아직 상용 모델에 미치지 못할 수 있습니다.

Q. 상업적으로 사용해도 되나요?

Qwen3.6은 Apache 2.0 기반의 관대한 라이선스로 공개되어 있어 상업적 이용이 가능합니다. 다만 배포 전 공식 라이선스 조항을 반드시 확인하세요.

Q. Ollama 말고 다른 실행 옵션이 있나요?

llama.cpp, vLLM, LM Studio, text-generation-webui 모두 Qwen3.6 GGUF를 지원합니다. 서버로 대량 요청을 받을 계획이면 vLLM이 가장 효율적입니다.

📢 이 글이 도움이 되었다면

Qwen3.6 35B 로컬 구동을 실제로 셋업해보셨다면 댓글로 경험을 공유해주세요. 최신 오픈소스 LLM과 에이전틱 코딩 가이드를 꾸준히 업데이트하니, 구독과 공유로 함께해주시면 큰 힘이 됩니다. 🙌

이 블로그의 인기 게시물

Qwen3.6 vLLM 설정 방법 완벽 가이드 2026년 최신

Qwen3.6 vLLM 설정 방법을 처음 시도한다면, 명령어 옵션 하나에 성능이 10배 차이 납니다. 이 글은 vLLM 설치부터 Tensor Parallel 멀티 GPU 배포, reasoning-parser 설정, OpenAI 호환 API 연동 테스트까지 실무 기준으로 정리합니다. 📋 목차 왜 Qwen3.6에 vLLM을 쓰는가 준비물과 시스템 요구사항 1단계. vLLM 설치 및 환경 구성 2단계. Qwen3.6 vllm serve 명령어 옵션 3단계. Tensor Parallel 멀티 GPU 배포 4단계. max-model-len과 reasoning-parser 설정 5단계. OpenAI 호환 API 연동 테스트 자주 하는 실수와 주의사항 자주 묻는 질문 FAQ 왜 Qwen3.6에 vLLM을 쓰는가 Ollama·llama.cpp도 훌륭하지만, 동시 요청이 많거나 팀 단위로 Qwen3.6을 서빙해야 한다면 vLLM 이 사실상 표준입니다. PagedAttention과 continuous batching으로 동일 GPU에서 2~5배 높은 처리량을 뽑아내기 때문입니다. 특히 Qwen3.6-35B-A3B의 MoE 구조는 vLLM의 최신 스케줄러와 궁합이 좋습니다. Qwen3.6 vLLM 설정 방법만 제대로 잡으면, 262K 컨텍스트와 reasoning 모드까지 한 서버에서 그대로 활용할 수 있습니다. 준비물과 시스템 요구사항 본격적으로 Qwen3.6 vLLM 설정 방법을 따라가기 전에 아래 환경을 먼저 점검하세요. ✅ OS : Ubuntu 22.04 LTS 권장 (CUDA 드라이버 호환성 최상) ✅ Python : 3.10 ~ 3.12 ✅ CUDA : 12.4 이상 ✅ GPU : A6000 48GB × 1 또는 RTX 4090 24GB × 2 (Tensor Parallel) ✅ 디스크 : 70GB 이상 여유 공간 (모델 가중치 다운로드용) ✅ Hugging Face 계정 및 액세스 토큰 (ModelScope ...
자세한 내용 보기

Gemma 4 로컬 실행: LM Studio Headless CLI와 Claude Code 연동 가이드

왜 로컬에서 LLM을 돌려야 할까? 클라우드 AI API는 편리하지만, 매번 따라오는 문제가 있어요. 요금 폭탄, 속도 제한, 개인정보 유출 우려, 그리고 네트워크 지연까지. 특히 코드 리뷰, 초안 작성, 프롬프트 테스트처럼 빠른 반복이 필요한 작업에서는 매 요청마다 클라우드를 거치는 게 병목이 돼요. Gemma 4 로컬 실행 은 이런 문제를 근본적으로 해결하는 접근법이에요. Google이 공개한 Gemma 4는 mixture-of-experts(MoE) 구조를 채택해서 26B 파라미터 모델이면서도 추론 시 4B 파라미터만 활성화해요. 덕분에 M4 Pro MacBook(48GB) 같은 소비자용 하드웨어에서도 초당 51토큰이라는 실용적인 속도를 낼 수 있어요. 이 글에서는 LM Studio의 새로운 Headless CLI를 활용해 Gemma 4 로컬 실행 환경을 구축하고, Claude Code와 연동해 완전한 오프라인 코드 어시스턴트를 만드는 과정을 다뤄요. Gemma 4 아키텍처: MoE가 개발자에게 의미하는 것 10B급 품질, 4B급 비용의 비밀 Gemma 4 26B-A4B 모델은 128개 전문가(expert) 중 8개만 활성화해서 실제 연산에 사용하는 파라미터는 3.8B에 불과해요. 벤치마크 성능은 MMLU Pro 82.6%, AIME 2026 88.3%로 31B dense 모델에 근접하면서도 훨씬 적은 연산 자원을 소모해요. Per-Layer Embeddings 구조를 사용하며, 도구 호출(tool use) 학습도 완료된 상태라 에이전트 워크플로우에 바로 투입할 수 있어요. MoE의 메모리 특성 — 흔한 오해 바로잡기 한 가지 주의할 점이 있어요. MoE는 연산량(FLOPs)은 줄여주지만, 메모리(VRAM/RAM) 사용량은 dense 모델과 크게 다르지 않아요. 비활성 전문가들도 여전히 메모리에 로드되어 있어야 하거든요. 다만 tok/s(초당 토큰 생성 속도)는 확실히 개선돼요. NVIDIA GPU 사용자라면 비활성 전문가를 CPU RAM으로 오프로드하...
자세한 내용 보기