MakeSomethingNewが「社内LLM基盤構築サービス」を提供開始、安全なAI Agent活用を支援

役立つ社畜リリース

2026.05.21

サービス提供の背景

企業における生成AIの活用は、個人利用や部門単位での試験導入から、業務システムや社内ナレッジ、ワークフローと連携した本格的な運用へと移行しつつあります。しかし、この本格運用においては、利用者ごとの権限管理、モデルごとのコスト・レイテンシ管理、監査ログの取得、障害時の代替ルート確保など、全社展開に向けた様々な課題が顕在化しています。

具体的には、部門ごとに個別のAIツールやAPI連携を導入した場合、以下のような課題が発生する可能性があります。

誰が、どの業務で、どのモデルを利用しているか把握しづらいです。
部署ごとに認証、ログ、セキュリティ設計が分散する傾向があります。
LLM APIのレート制限や障害時に業務影響が出やすいです。
コスト、トークン量、レイテンシ、エラーを横断的に管理することが難しいです。
AI Agentから社内APIや社内データへ安全に接続する設計が困難です。

このような課題に対し、MakeSomethingNewは、生成AI活用支援、AI Agent構築支援、Web開発の知見を活かし、企業が安全にLLMを業務利用できる共通基盤の設計・構築を支援するとのことです。

サービスの主な特徴

本サービスは、社内アプリケーション、チャットUI、AI AgentなどからのLLM利用を一元化し、以下の特徴を通じて企業全体の生成AI活用を支援します。

1. 社内IDと連携した認証認可

Entra IDなどの社内ID基盤と連携し、ユーザー、部門、アプリケーションロールに応じて、利用可能なモデルや用途を制御します。これにより、個人利用の拡散を防ぎながら、企業の統制に沿った生成AI活用が実現できます。

2. 複数LLMプロバイダーへのルーティング

Azure OpenAI、OpenAI API、Groqなど複数のLLMプロバイダーを束ね、モデル特性、レート制限、応答速度、コスト、障害状況に応じてリクエストを振り分けます。特定モデルやリージョンに障害が発生した場合も、代替先への切り替えが支援されます。

3. 利用ログ・監査ログの可視化

ユーザー、部門、アプリ、モデル単位で、トークン使用量、レイテンシ、エラー、コストを追跡できるようにします。運用チーム、セキュリティ部門、事業部門が同じログを参照しながら、利用状況の把握、改善、監査対応を行える状態を目指します。

4. AI Agent構築に必要な社内接続基盤

LLM APIを単に中継するだけでなく、AI Agentが参照する社内データ、実行するツール、呼び出す業務APIを管理可能な形で接続します。これにより、開発チームは、認証・ログ・ルーティングなどの共通機能ではなく、各業務に特化したAgent設計に集中できるとされています。

想定する導入シーン

本サービスは、以下のような企業や部門での活用が想定されています。

全社的に生成AI活用を進めたいが、セキュリティや監査面に課題がある企業
複数部門でAI Agentを導入したい企業
Azure OpenAI、OpenAI、Groqなど複数LLMを用途別に使い分けたい企業
社内チャット、業務システム、ナレッジベースにLLMを組み込みたい企業
LLM利用量、コスト、レイテンシ、エラーを一元的に可視化したい企業

MakeSomethingNewについて

MakeSomethingNew株式会社は、「新しい何かを創造する」ことを掲げ、NPO向けシステム開発、生成AI活用支援、Web開発を提供している企業です。生成AI・LLMを活用したWebサービス開発、AI Agent構築、プロンプトエンジニアリング、業務システムへのAI組み込みなどを通じて、企業や組織の新しい事業開発と業務改善を支援しています。