はじめに
こんにちは！スタイル・エッジでエンジニアをしている べぷおじ です！
AWS Summit 2025で「Amazon Bedrock による生成 AI ワークロードの最適化と拡張 - コスト、速度、精度の最適バランスを目指して -」というセッションに参加したので、内容や学びを記載していきます！
セッション概要
基本情報
- セッションタイトル:Amazon Bedrock による生成 AI ワークロードの最適化と拡張 - コスト、速度、精度の最適バランスを目指して -
- 登壇企業: アマゾン ウェブ サービス ジャパン合同会社
- 登壇者: 秦 将之氏
- セッション時間: 12:50～13:30
セッション選択理由
弊社でもAmazon Bedrockを用いたナレッジボットの作成と運用を行っているのですが、生成モデルの処理速度と回答精度のトレードオフに課題感を感じています。
そのため、このセッションを通して生成モデル最適化の戦略を学びたいと考えました。
セッション内容
Amazon Bedrockにおける、最適な基盤モデルの選択について、Amazon Bedrockの機能がどのように役立つかを説明するセッションでした。
以下、紹介された機能を記載していきます。
Intelligent Prompt Routing
モデルごとの応答品質の違いに対する許容度を設定することで、与えられたプロンプトによって利用するモデルを動的に変更できる機能です。
内部的にはプロンプトエンコーダーがパフォーマンスの予測を行うことで、ルーティングを実現しているとのことでした。
これによって下記のような質問による利用モデルの分岐が期待できます
- シンプルな質問→性能が低いが高速なモデルに
- 難解な質問→性能が高いが低速なモデルに docs.aws.amazon.com
Distillation（モデルの蒸留）
高度なモデルを教師モデルとして、コスト効率の良いモデルを生徒モデルとして学習させることによって、高度なモデルと同等の性能をコスト効率の良いモデルで実現する手法です。
ファインチューニングと比較して、下記ユースケースで採用できるとのことでした
- コスト効率を目指す場合
- 学習用のデータが少ない場合
Amazon Bedrock Marketplace
100以上のモデルが提供されているプラットフォームで、下記のような特徴があるようです。
- 得意な領域に特化したモデルがある
- 提供されているモデルは、APIを通じて利用できる
- 一部はBedrockが利用するツールと組み合わせて利用できる
印象に残ったポイント
ファインチューニングを行うにはデータが足りず、プロンプトでの調整も限界を感じていたので、モデルの蒸留のような手法があることに驚きました。
運用データと実行ログを組み合わせることでも学習できるとのことだったので、ナレッジボットのログをうまく活用してみたいです。
また、Amazon Bedrock Marketplaceで公開されているモデルの多さに驚きました。
タンパク質の構造予測に特化したモデルなど、ニッチなものも多くあるとのことだったので探してみようと思います。
業務への活かし方
冒頭でも述べた通り、弊社で運用しているナレッジボットは、回答速度と回答精度の両立がネックになっています。
現状は回答精度を重視して高度なモデルを採用しているのですが、今回のセッションを通して、解決の糸口が見えたので早速下記を試してみようと思います！
- 「こんにちは」などの挨拶系のものや単純な質問についてはコスト効率の良いモデルを利用するように設定する
- コスト効率の良いモデルについて、高度なモデルと同じような回答を目指して、モデル蒸留を実施する
おまけ
セッション以外にも、会場には他にもたくさんの企業やAWSがブースを出しており、いろいろな体験ができました！ いくつか箇条書きで紹介します。
大喜利をAIが評価してくれるブース
自分の大喜利の回答を複数のAIの審査員が評価してくれるブースがありました！
審査員の個性が特徴的で、フィードバックの種類も本格的だったりで見ていて面白かったです。
個人的にダジャレ周りで似たようなことをやってみたいなと思わせてくれるようなブースでした。
自分で書いたコースを走れるブース
実際に自分でコースを作成して、そのコースを実際に走る体験ができるというブースもありました！
自分のコースに対して AIがコメントをくれたり、ロケーションも設定できるのが面白かったです。
VRでバーチャルデータセンターツアーができるブース
人が並んでいたり時間がなかったりで今回体験ができませんでしたが、謎多きAWSのデータセンターをVRで体験できるものもありました！
次の機会があれば、今度こそ体験してみたいです！
まとめ
Amazon Bedrockの機能を活用すれば、現状課題と感じている速度と精度の両立に対して有効なアプローチがとれることを実感しました。
AI周りは成長が著しく、このような魅力的な新機能がどんどんできているので、キャッチアップできるように、情報の感度は高めていきたいです。
またセッションをみるだけでなく、いろいろなブースで体験をしたり、実際の企業の方々とお話しできたりすることもAWS Summitの大きな魅力でした。
AWS Summitで学んだことを弊社に持ち帰り、「悩む人の明日を開く」ことを目指して、システム開発に引き続き邁進していきたいと思います。
一緒に働く仲間を募集しています！
スタイル・エッジでは仲間を募集中です。
ご興味をお持ちいただけた方は、ぜひ採用サイトもご覧ください！
recruit.styleedge.co.jp
