KTransformers 能帮你完成什么工作
选一项工作查看准备材料、执行建议和交付检查。
01运行异构设备模型推理
- 准备材料
- 支持模型
- CPU与GPU环境
- 推理输入
- 怎样开始
- 选择项目支持的模型，并确定 CPU、GPU 与内存资源配置。
- 按异构推理说明启动模型，提交一个实际任务输入。
- 查看推理结果与运行日志，核对设备分工配置是否适合当前模型。
- 交付目标
- 模型推理结果
- 人工检查
- 核对模型支持、资源配置与输出质量。
KTransformers 是什么
通过 CPU 与 GPU 异构计算运行语言模型推理，并提供模型监督微调能力。
费用与使用条件
正式使用前，查看官方当前账号、功能、导出和输入资料要求，核对结果是否适合你的任务。
