新しいAIはどれがいい？自分専用のベンチマークで見分ける方法(ep.111)

<p>【トーク内容】</p><p>新しいAIモデルが出るたびに、「生成AI、どれがいい？」と迷います。AI比較の記事やベンチマークのスコアを見ても、自分の仕事にどれだけ役立つかまでは分かりません。今回は、現役AIエンジニアのしぶちょーに、自分専用のAIベンチマークの作り方を聞きます。</p><p><br></p><p>しぶちょーが新モデルのたびに試すのは、「旋盤のゲームを作ってください」と一言だけ渡す旋盤ゲームベンチです。条件は、自分の専門分野であること、30分ほどで回せること、結果が一目で分かること。有名な「自転車に乗るペリカンのSVG」が引退しつつある話、同じお題を3〜5回走らせる理由、性能が落ちる「ナーフ」の見え方を経て、最後は「いいベンチはいつか死ぬ」という話まで。</p><p><br></p><p>後半は、AI素人のかねりんが自分のベンチを探します。なかでも話が膨らんだのは、かねりんの声が欠けた伝説の回（ep.31）をAIに面白く補完させるお題と、人間より面白い対話をAIができたらMC引退を考える「引退ベンチマーク」。途中の脱線では、ビデオポッドキャストに意味はあるのか、しぶちょーのショートがインスタで3〜4万再生された話もしています。</p><p><br></p><p>【目次】</p><p>00:00:00 オープニング／しぶちょーの旋盤ゲームベンチ・月10万円ベンチ</p><p>00:09:58 脱線：ビデオポッドキャストに意味はある？</p><p>00:14:59 ショートがインスタで3〜4万再生／動画は動画に振り切る</p><p>00:23:22 切り貼りベンチ／定量より定性でいい／ペリカンベンチ引退</p><p>00:31:49 本題：自分流AIベンチマークを作る5つの視点</p><p>00:37:14 固定課題と派生・採点は3〜5回／いいベンチはいつか死ぬ</p><p>00:44:16 かねりんのベンチ探し／工場シミュレーター・名古屋弁・刑事</p><p>00:52:22 伝説の欠損回をAIに補完させる／引退ベンチマーク案</p><p>01:04:40 まとめ：公式スコアはお勉強、自作ベンチは自分の物差し／エンディング</p><p>01:08:27 アフタートーク</p><p><br></p><p>【今回の放送回に関連するリンク】</p><p>▼本編で話した伝説の回（ep.31）</p><p><a href="https://ochitsuki-ai.com/episodes/ep-031">https://ochitsuki-ai.com/episodes/ep-031</a></p><p><br></p><p>【今回の要チェックキーワード】</p><p>ベンチマーク：AIモデルの性能を、同じお題で測って比べるためのテスト。</p><p>定量評価・定性評価：数字で測る評価と、見た目や手応えで判断する評価。自作のベンチは定性でもよい。</p><p>LMアリーナ：2つのAIの回答を人が見比べて投票し、順位をつけるサイト。</p><p>旋盤（せんばん）：金属を回しながら削る工作機械。しぶちょーの自作ベンチのお題。</p><p>SVG：線や図形を式で描く画像形式（ベクター形式）。拡大しても粗くならない。</p><p>ペリカンベンチマーク：自転車に乗るペリカンのSVGを描かせる有名なベンチ。差が出にくくなり、番組では「ほぼ引退」と紹介。</p><p>固定課題とシャドウ課題：毎回同じお題と、表に出さない秘密のお題。お題への最適化を見抜くために両方を持つ。</p><p>ナーフ：提供中のAIの性能が、公開時より下がること。ゲーム用語から。</p><p>TTS：文字を音声に変える技術（Text to Speech）。</p><p>インセプションのトーテム：映画『インセプション』で、夢か現実かを確かめるために自分だけが持つ小道具。</p><p><br></p><p>—----------------------------</p><p>【番組の概要】</p><p>日々のAIトピックを、現役のAIエンジニアがやさしく解説する対談番組。AIニュースに驚き疲れたあなたに、おちつきを提供します。AIニュースの、驚くポイント、驚かなくても良いポイントがわかります。</p><p><br></p><p>★ご感想やコメントは、番組公式ハッシュタグをつけてX（旧Twitter）でポストしていただけるとありがたいです。</p><p><br></p><p>【番組公式Webサイト】※お便りはこちらから</p><p><a href="https://ochitsuki-ai.com/">https://ochitsuki-ai.com/</a></p><p><br></p><p>【番組公式ツール】</p><p>・おちつきAI RAG</p><p><a href="https://ochitsuki-airag.com/">https://ochitsuki-airag.com/</a></p><p><br></p><p>【おちつきAI【切り抜き】】</p><p>・Spotify</p><p><a href="https://open.spotify.com/show/1ZDi70pwl9jQaLGD9mIDPq">https://open.spotify.com/show/1ZDi70pwl9jQaLGD9mIDPq</a></p><p>・Apple Podcasts</p><p><a href="https://podcasts.apple.com/jp/podcast/id6814639855">https://podcasts.apple.com/jp/podcast/id6814639855</a></p><p><br></p><p>【番組公式ハッシュタグ】</p><p>#おちつきAI</p><p><br></p><p>