Qwen3.6-35B-A3B 커뮤니티 리뷰: uncensored 변종, MTP 가속, Hermes 호환

  • whackur
  • Ai
  • 2026년 6월 30일
  • 업데이트: 2026년 7월 2일
목차

Alibaba가 2026년 4월 출시한 Qwen3.6-35B-A3B는 총 파라미터 35B에 토큰당 활성 파라미터 약 3B인 MoE 모델이다. 기본 컨텍스트 262K, 공식 SWE-bench 점수 73.4%. 출시 두 달 만에 로컬 LLM 커뮤니티에서 가장 많이 테스트된 35B급 모델이 됐다.

이 글은 Reddit, Hacker News, 개인 블로그에서 공유된 커뮤니티 경험을 모은 것이다. 개인 사례가 많으므로 독립 재현이 필요하고, 환경(하드웨어, 드라이버, 설정)에 따라 결과가 달라진다.

기본 스펙

항목값
아키텍처MoE (256 experts, 토큰당 8 routed + 1 shared)
파라미터35B total / ~3B active
컨텍스트262K (YaRN으로 1M까지 확장)
멀티모달텍스트, 이미지, 비디오
라이선스Apache 2.0

공식 벤치마크(Alibaba 발표 기준): SWE-bench 73.4%, GPQA 86.0, LiveCodeBench v6 80.7, MMLU-Pro 85.2, AIME 2026 92.7.

uncensored 변종 비교

베이스 모델은 특정 주제에서 거절 응답이 많다. 커뮤니티에서는 refusal을 제거하거나 줄인 변종을 여럿 만들었다. 여기서 자주 쓰이는 abliteration은 모델 내부 활성값에서 거절을 매개하는 방향(refusal direction)을 찾아 제거하는 기법이다. 파인튜닝 없이 가중치 수정만으로 거절을 줄이는 대신, 다른 능력이 함께 손상될 위험이 있어 변종마다 품질 편차가 크다.

HauhauCS Aggressive

r/hermesagent 커뮤니티 변종 종합 가이드에 따르면 2026년 6월 기준 다운로드 122만 건, 좋아요 761개로 uncensored 변종 중 가장 많이 검증됐다. 제작자는 465회 테스트에서 refusal 0회, 베이스 모델과 동일한 품질을 주장했다. VRAM은 Q4_K_P 기준 약 22GB, IQ4_XS 기준 약 20GB다. 긴 agentic loop에서 topic drift가 간헐적으로 발생한다고 제작자 본인도 인정했다.

커뮤니티 평가를 한 마디로 요약하면, 질문한 것만 답하고 사용자가 이상한 질문을 해야만 이상한 답이 나온다는 평이 많다(r/hermesagent 가이드 참고).

다른 uncensored 변종

변종기법다운로드비고
Wasserstein (LuffyTheFox)임베딩 공간 Wasserstein distance 기반455K다른 uncensoring 경로라 edge case 행동이 다를 수 있음
heretic (llmfan46)abliteration + decensor hybrid53KKL divergence 0.0015, 거절 88% 감소
huihui-ai Abliterated순수 abliteration19K제작자가 “개념 증명 수준"이라 평가

표의 KL divergence는 베이스 모델과 출력 분포가 얼마나 달라졌는지를 나타낸다. 값이 작을수록 uncensoring 이후에도 원래 모델의 행동이 그만큼 보존됐다는 뜻이다.

Hermes Agent 사용 후기

장점

r/hermesagent 가이드와 r/LocalLLM tool calling 테스트에서 나온 긍정적 평가:

  • Tool calling: Qwen3.5 대비 안정성 개선. MCPMark 점수 37.0 (개인 측정).
  • 코딩: 코드베이스 전체 분석, 수정 능력이 좋다는 평이 많음.
  • 추론: 추론 깊이가 길고 복잡한 문제에 강하다.
  • 가성비: 약 21GB VRAM에서 frontier급 성능을 기대할 수 있다는 평가.

Simon Willison은 자신의 블로그에서 “노트북에서 Qwen3.6이 Claude Opus 4.7보다 나은 펠리컨을 그렸다”고 적었다. HN 코멘트에는 “Power Ranking 태스크 98개 중 11개 해결"이라는 사례도 올라왔다. 두 사례 모두 개별 데이터 포인트다.

문제점

HackerNoon 분석 및 커뮤니티 스레드에서 공통으로 지적된 문제:

  • Tool call loop: 같은 tool을 반복 호출하는 버그가 가장 흔하다.
  • Topic drift: 긴 agentic loop에서 주제 이탈이 발생한다.
  • Temperature 민감도: temp=1.0이 repetition과 looping을 줄이는 데 효과적이다. 기본값 0.6~0.8에서는 루프가 더 잦다.
  • 코드 재현: distilled 변종은 CodeNeedle 점수가 낮게 나오는 편이라, 긴 코드를 그대로 재현할 때 실수할 가능성이 있다.

권장 설정

temp=1.0, top_k=20, presence_penalty=1.5, top_p=0.95
--jinja --reasoning-budget 4096 --spec-type draft-mtp  # MTP 활성화 시
enable_thinking: false  # tool call parsing 방해 시

MTP 가속 실측치

MTP(Multi-Token Prediction)는 여러 토큰을 한 번에 예측해 생성 속도를 높이는 기법이다. draft로 미리 낸 토큰을 본 모델이 받아들이는 비율이 acceptance rate이고, 이 값이 높을수록 가속 폭이 커진다. llama.cpp에서 --spec-type draft-mtp로 활성화한다. VRAM 용량별 결과가 크게 다르다.

12GB VRAM (RTX 4070 Super)

r/LocalLLaMA K_P quants 스레드에서 공유된 실측치. 설정: -fitt 1536, --spec-draft-n-max 2, -ctk/-ctv q8_0.

  • 결과: 70~82 tok/s, 128K 컨텍스트 기준
  • acceptance rate: 0.69~0.95 (작업마다 편차가 크다)
  • 12GB VRAM에서 35B급 모델을 128K 컨텍스트로 실행할 수 있다.

16GB VRAM (RTX 5080)

설정속도
Q4_K_XL + MTP74 tok/s (acceptance ~79.5%)
Q4_K_XL, MTP 없음, 짧은 컨텍스트97 tok/s
Q4_K_XL, MTP 없음, 128K 컨텍스트56 tok/s

128K 컨텍스트에서 prompt processing은 약 1,584 tok/s (처리 시간 약 81초). MTP가 효과를 내려면 모델 전체가 VRAM에 올라가야 한다. MTP compute buffer 때문에 VRAM 여유가 줄어들면, MoE expert layer가 CPU로 밀리고 그 병목 때문에 MTP 없을 때보다 느려질 수 있다.

이 수치들은 모두 개인 실측이라 하드웨어, 드라이버, 설정에 따라 결과가 달라진다.

주요 변종 요약

변종타입다운로드VRAMMTP비고
Qwopus v1Reasoning Distilled299K~22GB미출시temp=1.0 권장
lordx64 Opus 4.7Reasoning Distilled158K~22GBAPEX 경유가장 깔끔한 reasoning trace
hesamation Opus 4.6Reasoning Distilled206K~22GBAPEX 경유MMLU-Pro 75.71% (70문항)
HauhauCS AggressiveUncensored1.22M~22GB미출시다운로드 최다, 가장 많이 검증
hereticAbliterated54K~22GB내장KL divergence 0.0015
unsloth MTPVanilla+MTP548K~23GB내장MTP 참조 구현
mudler APEX MTPAPEX+MTP33K~18GB내장품질/용량 비율 우수

한계와 미해결 항목

  • 커뮤니티 데이터이므로 독립 재현이 필요하다.
  • llama.cpp에서 MTP와 Vision(--mmproj)을 병렬 사용하지 못한다.
  • Qwopus + MTP 조합, HauhauCS Balanced/Moderate 변종은 요청이 많지만 아직 미출시다.
  • 24GB 이상 GPU에서 MTP 성능 데이터는 아직 부족하다.

함께 보면 좋을 자료

참고 자료

태그 :
공유 :