Lynn Engine

Spark sm_121 / R6000 sm_120 NVFP4 推理运行时 · 主线 W4A8 + 自训 MTP · MIT

⚠️ v0.x 早期:本站为模型 README 引用的 Modelfile 模板 + install.sh 着陆点。完整 docs/API 后续到位。源代码:GitHub MerkyorLynn/Lynn(monorepo,`lynn-engine/` 子目录)。

4-quadrant 模型矩阵

线	面向	格式	引擎
9B Dense Q4_K_M	Mac / CPU / 16G 显存	GGUF Q4_K_M	llama.cpp
9B Dense NVFP4	NVIDIA 端侧 / 小显卡	Lynn-native NVFP4	lynn-engine
35B-A3B MoE Q4_K_M	Spark / Mac Studio	GGUF Q4_K_M	llama.cpp
35B-A3B MoE NVFP4	R6000 / Blackwell	Lynn-native W4A16 NVFP4	lynn-engine

Ollama Modelfile 模板

Qwen3.6-35B-A3B Q4_K_M imatrix(HF / MS):

# Modelfile for Qwen3.6-35B-A3B Q4_K_M imatrix
# Usage: ollama create qwen36-q4km -f Modelfile && ollama run qwen36-q4km

FROM ./qwen-35b-a3b.Q4_K_M.imatrix.gguf

# Qwen3.6 uses standard im_start/im_end ChatML markers.
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>
"""

PARAMETER stop "<|im_end|>"
PARAMETER stop "<|im_start|>"
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 32768

下载: qwen36-q4km.Modelfile

install.sh α(将上线)

# lynn-engine α installer for Spark sm_121
# curl -fsSL https://engine.merkyorlynn.com/install.sh | bash
# (脚本将于 v0.x 上线,目前请直接 GitHub clone:)
git clone https://github.com/MerkyorLynn/Lynn.git
cd Lynn/lynn-engine && pip install -e .

资源

GitHub monorepo(lynn-engine / brain / desktop / 智能体三轨)
HF nerkyor(模型权重)
ModelScope Merkyor
dl.merkyorlynn.com(国内 mirror,即将上线)

License

MIT(Lynn engine + brain + desktop)。模型权重见各 repo LICENSE。

Lynn Engine · v0.x · 2026-05-18