Reddit AI 一手情报日报 · 11月6日
适合自己跑模型、做图、接 AI 活的人:5 条带数字的一手实测,帮你省 API 钱、避坑。
采集窗口:2026-11-05 12:40 至 2026-11-06 12:39(北京时间)。本期只读扫描 14 个版块,只留带一手数字的实测与案例;另有 5 条 11 月 5 日已用条目已去重,不再重复收录。
一张旧 RTX 3090 能跑 DeepSeek-V4.1-Flash 吗?
结论:能,41 tok/s。u/musicurgy 在单张 RTX 3090 上用 Delta Inference Engine v0.93 跑 DeepSeek-V4.1-Flash-1017,192GB 内存 + IQ2_XXS(2-bit)量化、301GB 模型,跑出 41 tok/s;64GB 内存也能用,21 tok/s。首个 token 比上一版快约 40%,180-token 提示从 3.8 秒降到 2.3 秒,读提示最高 740 tok/s。
质量没有被速度吃掉:同一套 99 道难题,本地 2-bit 版答对 57 道,完整 API 版 59 道,Qwen3.8 Flash-Next API 版 44 道。双卡(3060+3090)还能再快 7%。
局限:这是作者自研引擎的一手实测,2-bit 量化的质量仍低于官方 API;跑满速需要 192GB 内存,64GB 只是“能用”。原帖:r/LocalLLaMA · u/musicurgy · 2026-11-06 02:23 · 117 赞 / 25 评论
现在用什么模型跑 agent 最省钱?
结论:单张 RTX 5080 + 64GB 内存跑 Qwen3.8 Flash-Next,真实 agent 编程会话平均 195.6 tok/s,峰值 263 tok/s,读提示约 5700 tok/s。u/yehyakar 的实测用 Basalt 引擎 + Unsloth UD-IQ3_XXS 量化 + Lamina 起草器,在 opencode 的真实会话里完成 151 个请求,上下文最高 202K token,最低也有 156 tok/s。
对比 llama.cpp:Basalt 解码速度约 3.5 倍,带投机解码约 5 倍,读提示约 7 倍。新量化也有功劳:11 月 4 日发布的 Unsloth UD-IQ3_XXS 把 wikitext 困惑度从 3.382 降到 3.247,接近 BF16 原版的 3.273;Lamina 起草器接受率从 83.1% 升到 85.8%。
成本:整套配置要下载约 90GB。同一帖评论里有人报 5070 Ti + 原版 Strata 解码约 59 tok/s,供对照。原帖:r/LocalLLaMA · u/yehyakar · 2026-11-06 00:23 · 51 赞 / 26 评论
本地跑 Qwen3.8-27B,哪个推理引擎最快?
结论:u/fuzhongkai 在单张 RTX 5090 上横向测了 6 个引擎,TensorSharp-GGUF 综合 94.6 分排第一。评分(满分 100,含速度与质量):TensorSharp-GGUF 94.6(质量 95.7、性能 97.2,344/362 项通过)、NInfer 88.4、TensorSharp-NInfer 81.4、Ignis 73.6、vLLM 71.5、SGLang 67.2、llama.cpp 63.8。
长上下文分项:64K 最快首 token 是 Ignis,6.28 秒;4 并发 128K 时 TensorSharp-GGUF 238 tok/s;256K 最快首 token 仍是 Ignis,43.9 秒;4 并发时 TensorSharp-GGUF 304 tok/s。作者还放了分段测试数据:解码用投机解码可比不用的快 2.7 倍(Ignis 65→227 tok/s)。
局限:作者是 TensorSharp 的作者,自研引擎排第一,评分口径由作者自定,结论需谨慎看待,仅供选型参考。原帖:r/LocalLLaMA · u/fuzhongkai · 2026-11-06 07:39 · 14 赞 / 23 评论
免费修图不用 Photoshop,本地能做到图层编辑吗?
结论:能。免费开源的 Kokon 0.12 配合 Qwen-Image 2.1,让原本只能整图编辑的模型输出可编辑图层,还能导出 PSD。u/Ok-Director4174 的一手体验:先由 44MB 的 MobileSAM 在 CPU 上做对象分割,再逐对象调用图像模型填充。
速度:RTX 5070 Ti 上每个对象填充约 15–25 秒,M2 Pro 约 1–2 分钟;M2 Pro 处理 1MP 图片约 1 分钟。硬件门槛:NVIDIA 需要 12GB 显存(8GB 为测试版),AMD/Intel 走 Vulkan 测试版。
局限:填充会凭空编造物体、密集人群会合并或拆分、被遮挡的部分补不出来、混合经常失败;Qwen-Image 2.1 权重是研究许可,商用前先确认许可。原帖:r/LocalLLaMA · u/Ok-Director4174 · 2026-11-05 22:06 · 66 赞 / 22 评论
Agent 真能帮人赚钱或省钱吗?
结论:本周 r/AI_Agents 的一则汇总帖列出 4 个案例,数字来自汇总转述,待核验。一名承包商用 Grok Bot 当办公室员工,称 2026 年 10 月收入涨 50% 至 32 万美元,Stripe 截图毛流水 17.6 万美元;Pieter Levels 用 Claude Code 梳理服务器和模型开支,约砍 3.4 万美元/月,其中约 2.9 万美元/月来自把 Photo AI 换到更便宜的视频模型并改道图片任务。
另外两例:拍 3 本宝可梦卡册、Grok Bot 估价后上架 200 个 eBay listing,2 周 74 单、收入 2616 美元——但评论提醒 eBay 曾因机器人上架封号;Grok Bot 电话询价特斯拉充电桩安装,报价从 2171 美元砍到 861 美元,省 1310 美元。作者本人还用 Grok Bot 要到延误航班的 100 美元 eCredit。
本条为二手汇总,非一手实测,数字未独立核验,仅作线索;原帖评论里附了各案例的原文链接。原帖:r/AI_Agents · u/abe17124 · 2026-11-06 11:16 · 3 赞 / 9 评论
常见问题
单张 RTX 3090 跑 DeepSeek-V4.1-Flash 有多快?
41 tok/s(192GB 内存 + IQ2_XXS 2-bit 量化);64GB 内存 21 tok/s;首 token 比上一版快约 40%。99 道难题本地答对 57 道,接近完整 API 的 59 道。
本地跑 agent 编程,Qwen3.8 Flash-Next 在 RTX 5080 上什么速度?
真实会话平均 195.6 tok/s、峰值 263 tok/s,读提示约 5700 tok/s;Basalt 引擎解码约 llama.cpp 的 3.5 倍,带投机解码约 5 倍。
有没有免费的本地 AI 修图工具能做图层?
Kokon 0.12 免费开源,配合 Qwen-Image 2.1 可做可编辑图层并导出 PSD;RTX 5070 Ti 上每个对象填充约 15–25 秒。局限是填充会编造物体、遮挡部分补不出来。
Agent 真能省钱吗?
本周汇总:Pieter Levels 砍约 3.4 万美元/月开支;宝可梦卡 2 周卖 2616 美元;特斯拉充电桩询价省 1310 美元。均为汇总帖转述,待核验;eBay 机器人上架有封号风险。
以上内容转述自 Reddit 公开帖子,仅供信息参考。