8G 显存竟能跑 125B 大模型！Qwen3.8-Flash-Next 本地部署，N卡、A卡都能用！实测来了 | 零度解说

亲爱的 摸摸头好舒服 哎呀 戳人家干嘛了 大家好 这里是零度解说 现在只需要一张8G以上的显卡 就可以跑起1250亿参数的大模型 生成速度最高可以达到 将近100 Token每秒 更离谱的是 不需要服务器 不需要高端显卡 甚至不需要昂贵的工作站 你只需要一张30系 40系 或者50系显卡 再配上一个稍微大点的内存 就可以直接把这个庞然大物 搬到本地电脑里 最近一位国外的开发者 通过开源项目 可以把1250亿参数的 Qwen3.8-Flash-Next模型 直接在消费级电脑上运行 接下来我们就来实测一下 看看它的效果到底如何 开始之前 首先需要打开零度博客上这篇文章 链接我会放在视频下方 打开以后接着往下拉 上面有我们今天所需的全部资料 首先第一步 需要把开源项目下载下来 点击前往打开它进行下载 打开以后往下拉 现在把开源项目下载下来 点击这个代码 先把它放到桌面上 点击下载 下载好以后先关掉 把它解压出来 先放桌面上 解压好以后打开它 进入根目录 打开里面的启动脚本 运行start_here批处理 它会自启终端 启动以后稍等一会 它会检测当前的硬件设备 当前显存是8G 内存是64G 接着选择模型 第一个是原生模型

Qwen3.8-Flash-Next 质量最好但速度稍微慢一点 第二个是经过作者优化的 可以节省63%的思考时间 输出速度会更快 质量几乎不变 选择第二个 这一步选择量化版本 第一个是Q2量化版 大概需要34G内存 如果内存没有那么大 可以使用虚拟内存 第二个是IQ2XS量化版 需要大概36G内存 第三个是IQ3版本 需要大概43G内存 大家根据自己的情况选择 比如选择第三个 这一步选择上下文长度 它会自动进行推荐 不同显存推荐不同长度 当前8G显卡推荐32K 24G显卡推荐128K 大家根据实际情况选择 今天要测试的内容较多 首先使用24G显存显卡 这样效果会更好一点 现在切换到24G显存 推荐选择第四个 即128K上下文长度 这里选择4并确认 这一步选择KV缓存 作者推荐使用8 Bit 如果是4 Bit的话 速度更快但效果稍差 直接选择第一个 选择8 Bit 是否开启图像识别模型 大小约为1.4G 需要识别图片输入Y 不需要输入N即可 输入Y 现在开始下载 下载过程需要一些时间 请耐心等待 如果不在海外的话 必须使用全局科学上网 否则无法正常下载 现在已经开始 首先安装Llama cpp 它是基于Llama

cpp启动的 现在安装Cuda引擎 下载过程需要几分钟 这里快速跳过 几分钟后安装完成 下方会提供访问地址 即127.0.0.1:8080 在浏览器中打开地址 复制地址 点击打开 第一次打开如果报错 因为客户端存在缓存 通过键盘快捷键 Ctrl+F5强制刷新 刷新后即可正常显示 这就是安装后的控制面板 这里是对话与监控面板 先最小化 已经配置完毕 现在开始实际测试 看看它的效果如何 先让它写游戏测试代码能力 让它编写3D滑雪游戏 提示词已放在零度博客 点击发送 现在已经开始生成 稍等片刻 当前速度每秒63 Token 可以在监控面板查看 能看到具体运行参数 输出Token数与显存占用 过程中发现一个优点 虽然长任务需要十几分钟 但不会像原本的Llama cpp 报错说上下文长度不够 目前没有发现这个问题 它可以流畅地运行长任务 这是一个很大的优点 十几分钟后终于完成 我们测试效果 拷贝出代码 直接运行 看能否一次性通过 大家看一下 完美运行 直接全屏化 上方有操作说明 方向键控制滑雪转换 空格开始 支持加速减速 测试一下效果 点击开始 这就是刚生成的滑雪游戏

直接体验一下 方向键控制滑雪方向 避开障碍物继续前行 雪山场景与音效很棒 游戏可以正常运行 我没写任何一行代码 只需告诉它需要3D游戏 它就把游戏制作了出来 整个过程只用了十几分钟 而且完全在本地运行 不需API与Token费用 完全免费开源 运行起来非常流畅 1250亿参数大模型 本地生成的游戏效果很棒 现在增加难度 编写3D FPS射击游戏 看能否一次性通过 输入提示词点击发送 提示词已在博客更新 已经开始生成 这个任务更复杂耗时 发现不同任务的速度不同 输出速度有些许差异 滑雪游戏是每秒60 这次大概每秒45 Token 耐心等待一下 半小时后终于完成 打开测试一下 可以正常打开 没有任何错误 点击Start进入游戏 这是单HTML文件 不需要安装包和游戏引擎 浏览器打开即用 生成了完整的3D游戏 完全由本地开源模型编写 包含基地集装箱与高楼 右下角雷达红点是敌人 任务是消灭所有敌人 方向键移动 Shift冲刺 跳跃并开火击杀敌人 击中会显示伤害和爆头 右键可以开镜瞄准 子弹打空按R换弹 右下角有换弹进度