V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  BingoXuan  ›  全部回复第 2 页 / 共 159 页
回复总数  3161
1  2  3  4  5  6  7  8  9  10 ... 159  
7 月 8 日
回复了 mingtdlb 创建的主题 Local LLM 跑本地大模型 电费要多少?
不算输入,只有 216k 输出,0.25 度电,按视频 6 毛钱一度电来算,7 毛 5 每百万 token 。配置铭凡 7455hx+crucial 64G + rtx pro 4500 。模型用的是 Nvidia/Qwen3.6-27B-NVFP4 ,按照平均生成速度 60tokens/s 。
7 月 6 日
回复了 Folder 创建的主题 问与答 2026 年的 ARM 开发平台选择
rootfs 哪里来的? glibc 用的是哪个版本?这两个都是巨坑。用 conan 配合 docker 交叉编译非常方便,远程 debug 也方便。
上单条 D5 ,不然买板子非常受限。现在我的主机用的是 22/23 年买的 2x32G 笔记本 D5 (迷你主机),主板只能选铭凡的 modt 。只有一条 pcie 5.0x16 。想再多加一块显卡也不行
7 月 2 日
回复了 Bullish 创建的主题 汇丰银行 汇丰 ➡️ 会疯!
最后一次 ATM 大额取款是否再检视前不久进行?是否有设立定期存款?是否在一周内进行资金出和入?
6 月 28 日
回复了 DearFox 创建的主题 生活 你们做的噩梦,是基于现实的?还是抽象的?
@leena
就三个,其中两个都成了噩梦/doge/
6 月 24 日
回复了 DearFox 创建的主题 生活 你们做的噩梦,是基于现实的?还是抽象的?
@leena
几乎所有前女友都成了我的噩梦,还是不要梦见好
6 月 24 日
回复了 DearFox 创建的主题 生活 你们做的噩梦,是基于现实的?还是抽象的?
现实,梦见前女友
1. 有些青菜需要焯水,有些炒的时候不能乱翻。青菜我都是随便炒,能吃就行。我是没学完我妈那堆技巧。
2. 调味都是靠感觉,生抽可以最后放。广东人表示在家做为什么放蚝油
3. 还是靠感觉,多做就好了。煎/焗就在锅热火猛时候加点盐水
4. 大火烧热油,放入蒜粒,爆炒几下马上下青菜。
6 月 15 日
回复了 admin948 创建的主题 程序员 Github Copilot 计费方式修改后的受害者来了
完全放弃 copilot 了,又蠢又贵。自部署的 27B 体验良好,轻量工作完全没有压力,无限 token 完全不焦虑。66 token/s 体验非常良好。
6 月 15 日
回复了 femsdfq 创建的主题 汇丰银行 香港汇丰崩了吗
@femsdfq
汇丰最近也在裁员,搞末位淘汰,又是降本增笑了
6 月 15 日
回复了 femsdfq 创建的主题 汇丰银行 香港汇丰崩了吗
应该是。进去就弹出无有效邮箱和电话号码(时不时反馈邮件和短信通知怎么可能没有),然后进去所有信息都无法获取
6 月 11 日
回复了 Livid 创建的主题 Local LLM DiffusionGemma
@coefu
但不得不说,阿里的确做出了很不一样的东西。27B 给人的感觉就是在知识面和逻辑和权重大小做了一个很好的平衡。而且训练时候加入 MTP 在本地部署极佳。同时也给人感觉出道即巅峰。这个板块沉寂另外一个原因可能大家有更多时间去做 harness ,而不是部署测试各种模型上。

@kennylam777
我给 Codex 5.4 High 和 27B 给出三个不同的 bug 。27B 可以找到两个(虽然费思考),但 Codex 反而职能找到 1 个。其实本地模型利好 Nvidia 这些硬件厂商,但 Nemotron 系列差强人意。我自己用 RTX Pro 4500 部署,Q6 加上 MTP 有 50tps 。日常使用来说非常流畅。唯一慢的地方是我。哈哈哈哈哈
6 月 11 日
回复了 Livid 创建的主题 Local LLM DiffusionGemma
@kennylam777
我在 OpenRouter 测试时候,使用同样的 skill ,Gemma4 31B 不能一次完成任务,Qwen3.6 27B 反而可以。本地跑 27B Q6_K 质量不输 OpenRouter FP8 。未试过本地部署 Gemma 31B ,有空再测试一下。目前日常使用 PI+27B 体感上不输给 Codex 5.4 High 。本来还想开一个 Pro ,看来现在完全无必要。

另外如果按你所说,那么 Gemma 31B 的表现可以推算出其本身是为了泛用而训练的。训练语料并没有偏重在 coding 方面。

现在大厂都选择闭源来实现更高利润率,最近几个月开源模型越来越少。尤其是 3.7 系列推出那么久都没有任何开源模型就说明 3.6 27B 大概率绝唱。而且 0.8B/4B/9B 也没有后续了。AI 真实成本远比现在使用 coding plan 或者 api 更贵。开源沦为赚取名声的途径。
6 月 11 日
回复了 Livid 创建的主题 Local LLM DiffusionGemma
@coefu
Qwen 感觉应该是放弃开源了,虽然 Gemma 开源比不上 Qwen ,但在现在这种环境下,真的是贵在坚持和创新

@kennylam777
现在 3.6 27B 还不错,但是怕是绝唱了
6 月 11 日
回复了 ttgo 创建的主题 MacBook Pro mbp m1 pro 挺耐用啊,战力大于 m4?
本地 llm 推理还没普及情况下,m1-m5 都没有什么太大差别。今年再续一次 ac+,再战 2 年
6 月 10 日
回复了 zfree 创建的主题 iMac 2019 款 iMac , 5K 屏,改不改显示器呢?
拆了清灰换硅脂看看再说,最小化修改。反正 macOS 支持不是还有一年么?不行也能装 Linux
1  2  3  4  5  6  7  8  9  10 ... 159  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5603 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 884cce6c · 34ms · UTC 01:46 · PVG 09:46 · LAX 18:46 · JFK 21:46
♥ Do have faith in what you're doing.