自 ChatGPT 发布以来，大型语言模型(LLM)领域出现了大量创新。来自充满活力的初创公司和主要云提供商的新专有模型不断涌现，同时出现了大量开放权重模型，这些模型目前占据了 HuggingFace 中心的主导地位。
选择合适的 LLM 是一件令人生畏的事情。但不要害怕！在这篇面向企业从业者的博客文章中，我们将通过以下方式帮助您为生成式 AI 用例做出明智的决策：
介绍一些关键的 LLM 绩效指标
解释 其他重要的决策因素
描述Dataiku 的 LLM Mesh如何提供模型可选性并确保您可以轻松地将生成式 AI 技术纳入数据工作流程
请继续阅读，我们将为您揭开 LLM 绩效评估的复杂性，并为您提供一些初步知识，帮助您根据自己的用例选择最佳评估。敬请期待配套博客，其中详细介绍了可重复、实用的 LLM 选择流程。
法学硕士整体表现评估
让我们关注最有用的公共信息来源，以定量评估 LLM 生成的文本的质量。有多种方法可以执行此类评估，因为 LLM 支持无数用例。除了答案的准确性之外，还有几个维度需要考虑，例如答案的清晰度、语气或遵循用户指示的程度。两种主要方法脱颖而出：使用公共主题基准的自动测试和众包盲评。
主题基准测试由一组评估特定功能的问题和一种自动检查这些问题答案的方法组成，通常使用基本事实答案（或代码基准测试的单元测试）。下表列出了一些最常见的主题基准测试，并说明了所涵盖的功能范围。
GM3877 - 额外请求的 charts_v3_1-用于评估 LLM 的常见基准示例
评估法学硕士 (LLM) 的常见基准示例
主题基准提供了一种方便且客观的方法来跨多个维度比较 LLM，但它们也存在一些缺点。最令人担忧的是，LLM 可能会过度拟合这些基准，特别是如果一些测试示例被无意地添加到 LLM 的训练语料库中。
LLM 发布图表
Chatbot Arena是这些主题基准的有力补充。底层平台使所有互联网用 新加坡电话号码数据 户都可以提供提示，从两个未公开且随机选择的 LLM 中接收两个完成项，并表达对这两个完成项之一的偏好。到目前为止，Chatbot Arena 已经收集了超过 1,300,000 个这样的人工配对比较，可以按照与竞技象棋选手类似的 Elo 等级对 LLM 进行排名。
聊天输出
Chatbot Arena 的用户界面可并排比较两个 LLM 完成情况（我们更喜欢 B 面！）
尽管耗时更长、更难重现，但基于 Chatbot Arena 的 LLM 评估可以避免过度拟合和数据污染的风险。它们有望更好地反映现实生活中的 LLM 使用情况和人类偏好。Chatbot Arena 还包括针对更特定类型查询的排行榜（例如，“编码”、“较长查询”、“法语”）。