 |
BingoXuanV2EX member #170096, joined on 2016-04-22 13:23:09 +08:00Today's activity rank 9068 |
 |
Per BingoXuan's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
BingoXuan's recent replies
10h 10m ago Replied to a topic by murongxdb › OpenAI › 我 chovy， GPT 20x 的额度是不是砍了 |
这两天用了 16 亿 Token ，大部分时候都是 sol high/xhigh plan + luna max sub agent ，体感上确实消耗更快
Aug 31 Replied to a topic by Kakarrot › 配件 › MacBook Air M5 扩展坞推荐 |
雷电一转多下行 hub ，走雷电原生 dp 信号
Aug 29 Replied to a topic by andie › 程序员 › 想看看各位使用 Pi 的姿势 |
在做一个 web ide （核心是 pi ）让团队的硬件工程本地跑个 mcp 服务就可以让 ai 云端生成固件烧录控制硬件加速开发（其实就是硬件版的 lovable ）
Aug 21 Replied to a topic by lgc931018 › OpenAI › 刚刚看到 Tibo 说 Codex 额度用的太快是 sub2api 的问题 |
@lgc931018
我有观察 usage 的，看起来并没有 reset 。刚刚开了 sol high+luna max 的子 agent 讨论了大规模重构方案，我驳回了 2 次才消费了 6%。我的场景是本地长期 2 个处理 repo ，偶尔有 1-2 个 repo 偶尔需要修改，每个 repo 不超过 3 个 thread ，网页版隔离上下文讨论其他方案。我不确定其他不使用 sub2api 同样遇到额度快速消耗的场景是怎么样。btw ，我的账号都是走一个固定 ip 的，虽然是机房 ip ，但是纯净度还 ok 。
我有观察 usage 的，看起来并没有 reset 。刚刚开了 sol high+luna max 的子 agent 讨论了大规模重构方案，我驳回了 2 次才消费了 6%。我的场景是本地长期 2 个处理 repo ，偶尔有 1-2 个 repo 偶尔需要修改，每个 repo 不超过 3 个 thread ，网页版隔离上下文讨论其他方案。我不确定其他不使用 sub2api 同样遇到额度快速消耗的场景是怎么样。btw ，我的账号都是走一个固定 ip 的，虽然是机房 ip ，但是纯净度还 ok 。
Aug 21 Replied to a topic by lgc931018 › OpenAI › 刚刚看到 Tibo 说 Codex 额度用的太快是 sub2api 的问题 |
我昨天没有收到重置，今天用 luna max 跑了好几个任务，额度还是卡在 72%
Aug 19 Replied to a topic by sentinelK › Local LLM › RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s） |
@sentinelK
sglang 推荐 nvfp4 量化是 RadixArk/Qwen3.8-27B-NVFP4 版本。unsloth 家的 nvfp4 量化可能还不如自家的 gguf 。NVIDIA 的 3.6 27B 的 nvfp4 量化明显比 unsloth 好得多。qwen3.8 的 kv cache 量化最多只能去到 fp8 ，到目前 nvfp4 的 kv cache 量化各家支持还是半残废。Blackwell 的硬件潜力还没有完全挖掘出来。
sglang 推荐 nvfp4 量化是 RadixArk/Qwen3.8-27B-NVFP4 版本。unsloth 家的 nvfp4 量化可能还不如自家的 gguf 。NVIDIA 的 3.6 27B 的 nvfp4 量化明显比 unsloth 好得多。qwen3.8 的 kv cache 量化最多只能去到 fp8 ，到目前 nvfp4 的 kv cache 量化各家支持还是半残废。Blackwell 的硬件潜力还没有完全挖掘出来。
Aug 18 Replied to a topic by BingoW › Local LLM › 想本地化最小成本部署 qwen3.8 27b 求个配置建议 |
等 Qwen3.8 35BA3B 吧。3.8 27B 最大问题不是权重。而是 kv cache 。q8 量化跑满 262k 上下文要 8-9G 显存。开 turbo quant 有损失。即使是 Blackwell 显卡，vllm 和 sglang 都还没支持完整的 nvfp4 kv cache 支持
Aug 11 Replied to a topic by OBJECTION › 健身 › 中登有多少在健身的... |
一三五去游半个小时
Aug 7 Replied to a topic by netox › 分享发现 › 在线体验 16K token/s 的新大模型部署架构 |
@cowcomic
deepseek 激活也是 13B 。这时候就是 xilinx 出马了，通过 pcie 重新烧录权重数据。那样 n 张互联就能跑 deepseek v4 flash 0731 了。主要问题是如何把权重数据变成可烧录。
deepseek 激活也是 13B 。这时候就是 xilinx 出马了，通过 pcie 重新烧录权重数据。那样 n 张互联就能跑 deepseek v4 flash 0731 了。主要问题是如何把权重数据变成可烧录。
Select Language