同じプロンプトを複数のAIモデルに一気に投げるシステム作った話

最近、大規模言語モデルの進化のスピードは本当に驚異的ですよね。毎週のように新しいモデルが発表されたり、既存モデルのアップデートがあったり。ほんのりAI詳しいマンとして認知されてきているみたいなので、毎回試したくなる衝動に駆られますが。。。実際に試してみようと思うと、毎回手動でチャット画面を開いて、同じ質問を投げ入れて、結果を比べて…なんてことをしていると、結構時間がかかるんですよね。

そう、メンドクサイことはAIにシステムを作らせましょう。作りました。

仕組みはシンプル

わかってる人にはそんな難しいことじゃないんですけど、APIプールを使います。

APIプールって何？

例えばClaudeやChatGPT、DeepSeekなど、各社それぞれにAPIでの従量課金制アクセスが準備されていますが、色々試すには全部に契約して前金でクレジットをいれて……と容易ではないです。

APIプールは1サービスの契約でほぼ全部のLLMが使えるサービス。最近決済システムのStripeに75億ドルで買収された、OpenRouterが有名です。APIキーの管理も1個で済みますし、課金も1箇所。なんでも試したい人にはうってつけです。

似たようなサービスは何社かあって、私はHermes Agentで使いやすいのでNous Portalというところのを使ってます。

実装

私はレンサバに置いていつでも試せるようにPHPとSvelteと、履歴も見れるようにMySQLで作りましたけど、ぶっちゃけ言語はなんでもいいと思います。一番手軽なのはTypeScriptでファイルベースのログ管理かなと。

正直、Githubに上げるほどのものでもないので、お手持ちのClaudeCodeなりCodexなりGrokBuildなりに

APIプールを使って、複数のLLMに一括で同じプロンプトを送って、生成内容を比較できるようなWebシステムを作って。

「どのAPIプールを使う？どこにデプロイする？」とかいくつか質問されると思いますが、10分も待てば作ってくれると思います。

使ってみた

生成時間、使用トークン、おおよその金額表示付きです。

金額計算は、Nous Portal の API プールでモデルリストを取得した時のレートで計算されています。これでコストパフォーマンスを実際の金額で把握できます。消費トークン量だけだとわかりにくいですからね。

超便利

コストが丸わかり

超便利。（2回目）

気になる新しいモデルと、定番モデルとの生成内容を比べて見れるのは嬉しいです。同じプロンプトで金額の違いも見れるのがエグいです。ちなテキスト数千行程度だと高級なモデルでも0.1ドルもいかないので、セントで表示しています。

生成文章の違いが丸わかり

金額とか時間とかは計測・計算すればこれまでも求められましたけど、文章の質の違いってなかなか見比べるのが難しいんですよね。まったく同じ文章でちょっと違うとかならDiffで差分で済みますけど。

並べて見てみるとけっこー違いがはっきり。「めっちゃAIくさい」「あ、ここハルシネーション」「このモデル文字数オーバーやばい」とか、単体の生成文で見ても気づかなかったことが気づくようになります。

超便利。（3回目）