想要一个 ai 写作助手, (例如半导体, 新能源等等最新技术分析文章), 应该直接自己训练, 还是有现成的平台提供这样的服务.

[daiv]

目标

• 一个写作助手, 需要在一个方向写出专业分析文章
• 专业分析新技术, 而不是写出新技术, (写新技术, 新应用的优缺点/应用点/所需条件等)

需求:

• 数据库要新, (GPT-4, 最新是 2023 年 4 月, 这样不符合要求, 要足够新, 例如近期的文章都需要加入)
• 限定行业或者方向, 缩小范围 (例如半导体, 新能源等等最新技术分析文章, 期望小而精, 例如锂电池一个库, 氢能源一个库, 都可以分开, 或者应该合并更好)

方案选择(问题)

1. 现成的服务平台提供类似的,(目前没看到), 我们自己提供最新文章, 然后生成一些想要的文章
2. 自己训练, 如果自己训练是不是可以考虑直接 京东买一块 4090D + 合适的模型 (零基础, 平时写 Go+Python, 后端, 立刻开始试试. 虽然看到 2080ti 22g 性价比, 但是想省时省事一些,还有售后)
3. 如果自己训练, 数据集是不是分割越小越好.例如 氢能源单独一个.

模型选择

• Chinese-Mixtral-8x7B (今天 twitter 看到 https://github.com/HIT-SCIR/Chinese-Mixtral-8x7B )
• 34B-Chat (V2ex 看到, @ShadowPower 推荐的 https://www.v2ex.com/t/1004201#reply43 )
• RWKV-Runner ( 也是 @ShadowPower 推荐, https://github.com/josStorer/RWKV-Runner )

显卡

看到有货, 可以买了, 目前能自营买到最好的显卡了吧. 特供版本

七彩虹（ Colorful ） iGame GeForce RTX 4090 D Advanced GDDR6X 24G 大显存 游戏电竞电脑显卡 ￥ 13999.00

https://item.jd.com/100081721839.html

---

谢谢

[daiv]

跑模型 1 块 4090D

如果训练, 并且缩小范围, 大约需要怎么样的硬件来搭配?

[daiv]

或者说,

这样的需求不叫训练, 微调 就够了

[perfectar]

我的理解哈，不一定对。
1. 如果是想快速对某个垂直领域（半导体-新能源等）的数据做理解、分析、总结，可以基于 ChatGPT+RAG 知识库的方式去做，可以参考 langchain 和 LlamaIndex 等框架。优点是：成本比较低，技术路线较成熟，见效快；缺点是：对生成内容的格式、风格等依赖于模型本身的能力，可能无法满足你的特定需求；
2. 如果你的垂直领域数据量足够，且能够转成指令数据集（可人工标注，或者 Self-Instruct ），也可以试试进行指令微调 SFT ，利用 LoRA 或者 QLoRA 等方式，对显存要求不太高。这种方式的优点是可以直接将知识灌入模型本身，直接对齐垂直领域使用需求，缺点是数据若更新较频繁模型的微调成本也会较高。
供参考。

[cat9life]

同上 RAG 才是正解。微调并不适合你的场景，而训练开个玩笑 就好比你想造车现在研究反向确实钢铁是怎么炼成的

[daiv]

@perfectar 感谢,第一点提到的 RAG, 更好更合适, 第二点的微调可能成本都会很高, 不单单是硬件还需要人工等等.

@cat9life 对的, 现在了解一下 RAG, 然后试试

[ShadowPower]

用少量样本训练模型其实学不到知识……
模型的绝大多数知识都在预训练阶段获得，微调只是改变模型的输出风格和表达习惯

[laipidov]

RAG 是靠谱的选择，目前看自己训练没法得到理想的效果，模型选型需要好一点，可以试试 qwen 和 baichuan

prompt 和解码参数也非常重要，对模型的输出结果影响很大

就是不知道 op 的写作中，是不是需要特别强的逻辑推理能力，还是说一般的写作逻辑能力就足以应对。

[laipidov]

目前看，24g 的显存，基本上只能是 7b 的模型了，13b 都不太好说

[luchenwei9266]

4090D 在 AI 推理方面被阉割过，游戏性能还是和之前差不错，多嘴一句。如果只是为了大显存，可以考虑魔改的 2080ti 22G ，4090D 这价格应该能买 4 块了。

[daiv]

@ShadowPower @laipidov 感谢感谢, 我先用 RAG 试试, 看看效果如何, 目前不是很需要特别强的逻辑推理, 因为是介绍性的文章.


@luchenwei9266 2080ti 22G * 4 这样来组? 88G 显存了, 但是买这样的魔改, 要做好折腾的心理准备,

[luchenwei9266]

@daiv #10 嗯，肯定要折腾一下的，不然你这卡顶多跑个 7B 左右的模型，量化过的 13B 估计也能凑合