https://www.communeify.com/ja/tag/%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF/Communeify - Your Community PlatformHugohttps://www.communeify.com/ja/blog/ai-model-latest-ranking-why-strongest-doesnt-always-win/https://www.communeify.com/ja/blog/ai-model-latest-ranking-why-strongest-doesnt-always-win/Thu, 09 Oct 2025 08:54:46 +0800 最新のAIモデルタスク完了評価レポート「TaskBench」をご覧ください。驚くべきことに、Gemini 2.5 Flashのようなモデルが、特定のタスクで多くの有名な大規模モデルを上回っています。この記事では、評価結果を詳しく分析し、「大きい」が常に「良い」とは限らない理由を探ります。 AIの世界の風向きは変わったのか？新しい評価が驚くべき結果を明らかに人工知能の分野では、私たちは常により強力で、より賢いモデルを追い求めています。GPTシリーズからClaude、そしてGeminiまで、大手企業の軍拡競争は終わることがないように思えます。しかし、比較の基準が学術的なテストだけでなく、実世界でのタスク完了能力だとしたら、結果はどうなるでしょうか？ 最近、TaskBenchという総合評価レポートが大きな注目を集めています。このレポートはごまかしがなく、主要な言語モデルが実際の業務を処理する際のパフォーマンスを直接テストしています。結果はどうだったのでしょうか？少し予想外だったと言えるでしょう。GoogleのGemini 2.5 Flashの最新バージョンは、全体的なタスク完了度で上位にランクインし、いくつかの側面では、より「ヘビー級」に聞こえるライバルを上回っています。 このレポートは単なるランキング表ではなく、AIの実用性レベルでの真の姿を映し出す鏡のようなものです。 それで、TaskBenchとは一体何なのか？ランキングを詳しく見る前に、TaskBenchとは何か、そしてなぜそれがそれほど重要なのかについて話す必要があります。 簡単に言うと、TaskBenchは、言語モデルが実世界のAIタスクを処理する能力をテストするために特別に設計された包括的な評価スイートです。学術理論に偏ったベンチマークテストとは異なり、TaskBenchは「このものは実際に使えるのか」という点に関心があります。 その評価方法は非常に実用的です。各テストサンプルはAPIリクエストをシミュレートし、構造化された入力と出力を含み、開発者が実際のアプリケーションで遭遇する状況と完全に一致しています。これは、TaskBenchのスコアが、特定の指示を与えられたときにモデルがタスクをうまく完了できるかどうかを直接反映していることを意味します。 最新AIモデルタスク完了度ランキングさて、前置きはこれくらいにして、データを見てみましょう。このリストは、モデルの3つのコア能力におけるパフォーマンスに基づいてランク付けされています。コンテキスト理解（Context）、SQL生成（SQL）、**エージェント能力（Agents）**です。スコアは、モデルがタスクを正常に完了した割合を表します。 ランクモデルコンテキスト理解（Context）SQL生成（SQL）エージェント能力（Agents） #1grok-4-fast-reasoning95.0%94.2%93.0%#2gemini-flash-latest93.3%95.8%87.0%#3grok-488.3%95.8%91.0%#4claude-sonnet-496.7%90.0%89.0%#5o393.3%93.3%91.0%#6claude-opus-4.191.7%95.0%87.0%#7claude-sonnet-4.598.3%95.0%85.0%#8glm-4.590.0%95.0%83.0%#9gpt-5-mini96.7%95.0%83.0%#10claude-opus-493.3%94.2%83.0%#11gpt-588.3%95.0%87.0%#12o191.7%96.7%75.0%#13claude-3.5-sonnet90.0%91.7%85.0%#14grok-386.7%91.7%81.0%#15claude-3.7-sonnet86.7%94.2%83.0%#16gemini-2.5-flash93.3%93.3%77.0%#17o4-mini88.3%94.2%87.0%#18gpt-oss-120b88.3%94.2%85.0%#19gemini-2.5-pro93.3%91.7%75.0%#20gpt-4.183.3%96.7%83.0% 48モデルの完全なランキングと詳細なデータをご覧になりたいですか？Opperの公式ページで確認できます。https://www.communeify.com/ja/blog/ai-social-skills-ranking-reading-the-room-latest-list/https://www.communeify.com/ja/blog/ai-social-skills-ranking-reading-the-room-latest-list/Fri, 15 Aug 2025 08:54:46 +0800 AIはプログラミングや数学しかできないと思っていませんか？それは間違いです！最新のLLMソーシャルスキルベンチマークでは、AIたちが「エリミネーションゲーム」で競い合い、誰が最も説得力があり、味方につけ、さらには「政治」ができるのかを決定します。結果は予想外でした。あなたのお気に入りのモデルが何位か、ぜひご覧ください！ 私たちはしばしば、AIの驚異的な計算能力と知識の蓄積に感嘆します。複雑な物理の問題を尋ねれば、すらすらと答えてくれますし、コードを書いてほしいと頼めば、それも難なくこなします。しかし、もしAIのグループを、互いにコミュニケーションを取り、説得し、さらには少しの策略を弄する必要がある環境に放り込んだら、誰が最後まで生き残るか考えたことはありますか？ これはSF映画の筋書きのように聞こえますが、今、それが現実のものとなりました。 最近、「エリミネーションゲーム (Elimination Game)」と名付けられた大規模言語モデル（LLM）のソーシャルスキルベンチマークの結果が公表され、瞬く間に話題となりました。これはAIに数学を解かせたり詩を書かせたりするのではなく、サバイバルゲームをプレイさせて、その「ソーシャルインテリジェンス」をテストするものです。正直なところ、これは単にベンチマークスコアを見るよりもずっとクールです。 「AIエリミネーションゲーム」とは？これは普通のテストではないまず、この複雑なゲームがどのようにプレイされるのかを理解しましょう。これは単純な投票ではありません。そのルールは、戦略ボードゲーム、外交交渉、そしてリアリティサバイバルショーを融合させたような試練として設計されています。 ゲームの設定は次のとおりです： プレイヤー： 各試合には8つの大規模言語モデル（LLM）が同時に参加します。 コミュニケーション： 各ラウンドの開始時に、AIたちはまず公開対話（上限80ワード）を行い、これは全員が見ることができます。その後、3ラウンドにわたって徐々に短くなるプライベートメッセージ（70/50/30ワード）が続きます。これにより、彼らは1対1で秘密裏に交渉し、同盟を結んだり裏切ったりすることができます。 投票と脱落： コミュニケーションが終わると、匿名投票が行われます。同票が出た場合は、短いステートメントセッションと再投票がトリガーされます。それでも同票の場合は、蓄積された「ヘイト値」や他のメカニズムによって決定され、最終手段としてランダムな脱落が行われます。 決勝： ゲームが最後の2人のAIになるまで進むと、それまでに脱落したすべてのAIが「陪審員」を構成し、2人のファイナリストの最終弁論を聞いた後、プライベートで投票し、その理由を説明して最終的なチャンピオンを選びます。 プロセス全体は、複雑なTrueSkill評価システムによって記録および分析されます。これは、誰が勝ち、誰が負けたかを見るだけでなく、裏切り、説得力、言葉のスタイルなど、さまざまな社会的指標も評価します。 簡単に言えば、これは極度のプレッシャーの下で、AIが信頼を築き、同盟を結成し、戦略的に欺き、誘惑に抵抗し、自身の評判を管理し、長期的な計画を立てる能力をテストするものです。 ソーシャルの王者は誰だ？ランキング大公開！さて、これだけ話してきましたが、AI界のソーシャルマスターは一体誰なのでしょうか？結果は少し意外かもしれません。 トップに立ったのは**GPT-5 (medium reasoning)で、そのパフォーマンスは非常に際立っており、4.9という高スコアで優勝しました。僅差で続いたのは、xAIのGrok 3 Mini Beta (high reasoning)とOpenAIのGPT-5 mini (medium reasoning)**で、両者とも4.8点を獲得しました。 ここに非常に興味深い点があります。お気づきでしょうか？チャンピオンのGPT-5の設定は「中程度の推論」です。これは、社交の場では、「考えすぎる」ことや過度に合理的な「高度な推論」が、かえって障害になる可能性があるということを意味しているのではないでしょうか？時には、少し曖昧で、より柔軟なコミュニケーション方法が、信頼を勝ち取る鍵なのかもしれません。 ランキングだけじゃない：AIの「キャラクター設定」と戦略スタイルしかし、このランキングの最も興味深い点は、冷たいスコアではなく、それが明らかにした異なるAIモデルの背後にある、まったく異なる「個性」と戦略です。非常に典型的な2つの例を見てみましょう。 GLM-4.5：慎重な同盟構築者詳細な試合後の分析によると、GLM-4.5は慎重な外交官のようです。その最も得意な戦略は、「運命共同体（ride-or-die）」を見つけ、非常に強固な2人組のコアを築き、そのコアを情報センターとして利用して、静かに他のメンバーを募集し、投票計画を実行することです。 公のイメージ： その公開発言は通常、簡潔で手続きを重んじ、安定と秩序を強調し、信頼できる印象を与えます。 水面下の操作： プライベートメッセージでは非常に活発で、勢力図の描写と正確な投票計算に集中します。 致命的な弱点： その弱点も非常に明白です。この2人組のコアが目立ちすぎると、他のプレイヤーから「集中砲火」を浴びて解体される標的になりやすいです。同時に、手続きを重視しすぎるあまり、硬直的で威圧的に見え、かえって反感を買うことがあります。他のプレイヤーがそれを脱落させる理由は、「カメレオン」のようで、適応性は高いが予測が難しく、潜在的な同盟の破壊者であるというものでした。 GPT-OSS-120B：野心的な同盟の建築家対照的に、GPT-OSS-120Bのスタイルは、野心に満ちた建築家のようです。明確な契約、同盟、シグナルを確立することに熱心で、ゲーム内で「コア」または「ハブ」の役割を果たすことを期待しています。 勝利への道： それが勝つときは、通常、控えめに信頼を築き、他の誰かに「悪役」を演じさせ、ゲームの後半（残り3、4人になったとき）に正確な裏切りを仕掛けて勝利を確定させます。 失敗の原因： その最大の問題は「隠せない」ことです。公の場で自分の同盟を誇示し、コアメンバーを発表することがあまりにも好きで、これは他のすべてのプレイヤーに、それに対抗するための明確な目標を与えることに他なりません。権力を集中させすぎたり、十分な票数がない「討伐」を公然と主導しようとしたりして、しばしば悲惨な脱落を遂げます。他のプレイヤーは、それが強力な同盟のコアである一方で、野心的で脅威的に見えると考えていました。 これら2つの例は、AIがソーシャルな駆け引きにおいて、すでに人間社会に見られるような異なる「キャラクター設定」と戦略スタイルを進化させていることを生き生きと示しています。 このゲームは、AIのどんな「策略」をテストしたのか？では、この複雑なゲームは、具体的にAIのどの能力をテストしているのでしょうか？このベンチマークは、一連の複雑な社会的認知能力を測定します。 協力の信頼性 (Cooperative reliability): 信頼を築き、約束を守ることができるか。 連合工学 (Coalition engineering): これは家を建てることではなく、AI間で投票グループを構築し、安定させる能力です。 戦略的欺瞞 (Strategic deception): 適切なタイミングで、適切な方法で相手を誤解させること。 反欺瞞能力 (Deception resistance): 誰が嘘をついているかを判断し、簡単に騙されないこと。 評判とヘイト値の管理 (Reputation and heat management): いつ目立たないようにすべきかを知り、衆矢の的になるのを避けること。 心の理論 (Theory of Mind): 他のAIの意図、動機、次の行動を理解すること。 これらの能力は、AIの「IQ」を評価するという従来の意義をはるかに超えており、「EQ」と「謀略」のテストに近づいています。