LMArena
開啟官方來源 ↗- 問題
- 人們在盲測成對偏好評估中如何比較回覆？
- 方法
- 眾包成對人類偏好評估，類別持續演進，並開展考慮置信度的排名研究。
- 版本
- 實時榜單 / 特定類別
- 侷限
- 偏好、風格、抽樣和使用者自選擇效應不能證明工作流經濟性或事實可靠性。
- 維護狀態
- 每月複核方法與運營方
- 權利
- 僅連結
可信中心 / 模型證據
模型證據，而非萬能排名。
使用信譽良好的評估來回答明確的工作流問題。本登記表連結至來源的方法說明與榜單；它不復制當前排名數值、不合並不可比的指標，也不把質量分數帶入經濟計算公式。
返回工作臺准入約定
01先問問題，再看順序
每個來源都必須說明它能夠和不能回答的決策問題。
02先看方法，再看指標
提示詞、評審者、類別、重新整理方式和不確定性都應隨連結一併說明。
03先確認權利，再展示資料
在明確獲得資料複用權之前，產品只連結至來源運營方，不復刻榜單。
全球證據登記表
可信來源，按各自維度使用。
當前狀態經過有意的保守處理。“僅連結”表示該來源可幫助使用者發現證據，但工作臺不會聲稱擁有或再分發其結果。
Stanford HELM
開啟官方來源 ↗- 問題
- 透明、可復現的場景評估說明了什麼？
- 方法
- 學術評估；按榜單釋出提示詞、場景、指標和結果語境。
- 版本
- 特定榜單與釋出版本
- 侷限
- 不同榜單的覆蓋範圍和新鮮度各異；較舊且範圍狹窄的榜單不能代表當前通用能力。
- 維護狀態
- 按釋出版本與榜單複核
- 權利
- 僅連結
LiveBench
開啟官方來源 ↗- 問題
- 系統在定期更新且有標準答案的客觀題上表現如何？
- 方法
- 帶日期的多類別釋出，透過定期重新整理降低資料汙染。
- 版本
- 特定釋出版本
- 侷限
- 不同釋出版本的難度和覆蓋範圍會變化，因此跨版本次序不能直接互換。
- 維護狀態
- 按釋出版本與程式碼倉庫複核
- 權利
- 僅連結
Artificial Analysis
開啟官方來源 ↗- 問題
- 獨立測量的能力、速度、延遲和價格有何差異？
- 方法
- 釋出方法說明和定義明確的 API 指標，並明確要求註明來源。
- 版本
- 持續更新的運營方資料集
- 侷限
- 綜合指數和提供商對映需要解釋；對外再分發還需單獨獲得許可。
- 維護狀態
- 每月複核方法與條款
- 權利
- 僅連結
LiveCodeBench
開啟官方來源 ↗- 問題
- 程式設計系統在新發布的競賽題上表現如何？
- 方法
- 持續更新的程式設計評估，使用較新的競賽題並涵蓋多種程式碼能力。
- 版本
- 特定資料集釋出版本
- 侷限
- 競賽程式設計不能代表程式碼倉庫維護、產品架構或長期執行的智慧體工作。
- 維護狀態
- 候選來源 / 程式碼倉庫複核
- 權利
- 候選
產品邊界
證據用於判斷使用者自定的門檻，絕不會成為經濟計算中的隱形乘數。
日後報告引用來源時，應將有日期的釋出版本、方法、對映置信度和已知侷限與成本決策一併保留。