LMArena
オープンソース ◀- お問い合わせ
- どのようにして、人々は盲目な対面設定テストで応答を比較しますか?
- メソッド
- 進化したカテゴリと自信に満ちたランキング研究で、クラウドソースの対面人間の好み。
- バージョン
- ライブボード/カテゴリ別
- 制限事項
- 好み、スタイル、サンプリング、およびユーザー選択効果は、ワークフロー経済や実際の信頼性を確立しません。
- 健康保健
- 月次方法とオペレータレビュー
- アクセス
- リンクのみ
トラストセンター/モデル証拠
普遍的なランキングなしでモデル証拠。
評判の良い評価を使用して、定義されたワークフローの質問に答えます。 このレジストリは、ソースメソッドとボードへのリンクです。現在のランク値をコピーしたり、メトリックとは違ってマージしたり、品質スコアをお金の式に送ります。
ワークベンチに戻る入学約款
01注文前の質問
すべてのソースは、それができる決定の質問に名前を付けなければならないし、答えることができません。
02メトリック前のメソッド
プロンプト、判断、カテゴリ、リフレッシュ行動、およびリンクによる不確実性旅行。
03表示前の権利
正確なデータ再利用が消去されるまで、製品がボードを再生成するのではなく、オペレータにリンクします。
グローバル証拠レジストリ
信頼できる情報源は、次元固有のままにしました。
現在の状態は意図的に保守的です。 「リンクのみ」とは、ソースは、ワークベンチを所有し、またはその結果を再配布することなく、発見値を追加することができることを意味します。
Stanford HELM
オープンソース ◀- お問い合わせ
- 透明で再現性のあるシナリオ評価は?
- メソッド
- 公開されたプロンプト、シナリオ、メトリック、および結果のコンテキストによる学術評価。
- バージョン
- 特定のボードおよびリリース
- 制限事項
- ボードにカバレッジと鮮度が異なります。古い狭いボードは、現在の一般的な機能ではスタンドできません。
- 健康保健
- リリースとボードレビュー
- アクセス
- リンクのみ
LiveBench
オープンソース ◀- お問い合わせ
- システムがグラウンド・トレースの応答でリフレッシュされた客観的な質問でどのように機能しますか?
- メソッド
- 定期的な更新による汚染を減らすために設計された日付付きマルチカテゴリリリース。
- バージョン
- 特定のリリース
- 制限事項
- 難易度とカバレッジはリリース間で動きますので、クロスリリースの注文は直接交換できません。
- 健康保健
- リリースとリポジトリのレビュー
- アクセス
- リンクのみ
Artificial Analysis
オープンソース ◀- お問い合わせ
- 独立した能力、速度、遅延、価格測定はどのように異なるのですか?
- メソッド
- 公開方法論と明示的なアトリビューション要件を持つAPIメトリックを定義しました。
- バージョン
- 継続的に更新されたオペレータのデータセット
- 制限事項
- コンポジットインデックスとプロバイダマッピングは、解釈が必要です。外部の再配布は、別の許可を必要とします。
- 健康保健
- 月次方法と条件レビュー
- アクセス
- リンクのみ
LiveCodeBench
オープンソース ◀- お問い合わせ
- 新しくリリースされたコンテストの問題でコーディングシステムを実行する方法は?
- メソッド
- 新しいコンテストの問題と複数のコード機能を使用して、継続的に更新されたコーディング評価。
- バージョン
- データセットリリース固有の
- 制限事項
- コンテストのコーディングは、リポジトリのメンテナンス、製品アーキテクチャ、または長期にわたるエージェントの作業を表すものではありません。
- 健康保健
- Candidate/リポジトリレビュー
- アクセス
- 助成金
プロダクト境界
証拠はユーザー定義のしきい値に通知します。 経済の見えないマルチプライヤーになることはありません。
レポートがソースを後で引用するときは、期限付きリリース、メソッド、自信をマッピングし、コストの決定と既知の制限を追跡する必要があります。