大模型
平台
- 百度智能云+千帆大模型知识库
- 阿里云 PAI+向量检索，需要部署向量数据库、大模型服务、LangChain 串联，后来推出百炼大模型服务平台可以免去开发步骤
- AWS Askture 构建基于 MVP（LLM+Vector+Prompt）架构的企业下一代知识库
- 萌嘉网络科技 TorchV 系列产品 ，以 TorchV Bot 为例，它是一款基于 RAG+LLM 技术的客服机器人，零人工维护成本，开箱即用，提供 SaaS 服务和私有化部署两种应用形式。
知识库要求
- 知识库要有足够的数量和质量
- 数量要求出现在对 embedding 模以及 LLM 模型微调环节，前者 QA 问答对要求在几千级别，后者在上万级别，这样才能获得比较好的微调效果。
- 安全要求，选择私有化部署还是平台
- 微调需要一定的算法能力
- 微调需要 GPU,也就是一定的资源
本地化模型
聚合平台
本地化对显卡要求很高，家用电脑部署的基本都是智障 AI
所以收集了几个聚合平台，只需要选定模型和使用 api 就可以调用，一般速度和价格都还可以。
互相邀请可以白嫖一点额度，记录下后面用。
- 302AI
- 硅基流动统一登录
- 派欧算力云
- 腾讯云
- 腾讯云
- [火山引擎]https://www.volcengine.com/experience/ark?utm_term=202502dsinvite&ac=DSASUQY5&rc=QBCIQQ1U