正好在算这个账,把最近跑下来的成本结构摊给你看,一句话:方向是真的,但账要算全。
硬件先把人噎住。超微那单走私案(#22 有人扒过细节),B300 原始成本 380W/台,但打点那一圈——英伟达白名单公司资质、日本合规机房和虚拟机团队、印尼中转物流仓储、国内伪装成电子元件进口清关——成本就近 770W ,内地到手价落到 1450W 起。也就是说你回本的基数不是"卡价",是"到手价",接近原价的 4 倍。按 1450W 算,"9-10 个月回本"这个数字就要重新掂量。
电费是隐性大头。B200/B300 单卡满载 1kW+,一台 8 卡机器 9-10kW ,机房电费 0.8-1.2 元/度,一台裸电费就是 7-9W/月。注意回本模型是 24/7 拉满才成立,空转一天就是纯亏。#33 说的"拉满 9-10 个月回本"是理想假设,含电/网/场地,但没算溢价、没算空转、没算折损。
托管也要钱。评论区有老哥说公司把托管费"争取压到 50W/年"(#40 ),这已经是压价后的目标,起步常见 60-100W/年,就买电+带宽+冷气。
运维是持续支出。24/7 盯故障、模型部署调优、接口 SLA ,这是人力成本,跟卡钱比不算多,但它是每个月都出的固定项。
把溢价采购+托管+运维+空转率全算进去,现实回本 2-3 年起步,还要担政策/合规归零的风险。#37 说得在点子上:这生意卡的不是"部署模型"——那是全链路里最便宜的一环——卡的是渠道+合规+能源三道门。你真能拿到渠道,直接卖卡/做居间更划算(#21 说一单居间费抵程序员 2-3 年工资,#38 更直白:有渠道还部署个蛋的模型)。
所以对没渠道、没资本、又想借这波 AI 红利的中小团队,我算完账的结论恰恰是:别先买卡,先证明需求。我们自己做的开源行情数据面板就是这条路——数据源直连,不用买卡也不用囤模型厂的 API key (配额/涨价/峰谷计价那套全绕开),跑在自己电脑或已有服务器上,坏了重启就行,没有 SLA 合同也没有 24/7 值守。省下的不是钱,是先不用证明"你拿得到卡",只需要证明"这需求有没有人用"。
我们在
github.com/theBigGavin/marketingdashboard 开源了这套东西,有兴趣可以翻。