Lighteval 能帮你完成什么工作
选一项工作查看准备材料、执行建议和交付检查。
01检查模型的逐题评估结果
- 准备材料
- 模型或服务接口
- 评估任务
- 评分要求
- 怎样开始
- 选定模型后端、评估任务与指标，固定本轮的推理设置。
- 运行评估并保留每个样例的模型回答。
- 查看逐题结果，区分知识错误、输出格式问题与评分偏差。
- 交付目标
- 逐样本结果
- 评估汇总
- 人工检查
- 检查错误样本和指标定义，不能只看汇总分数。
Lighteval 是什么
跨模型后端运行语言模型评估，并保存逐条样本结果供检查和比较。
费用与使用条件
正式使用前，查看官方当前账号、功能、导出和输入资料要求，核对结果是否适合你的任务。