アイレット、LLM の「ブラックボックス化」を解消し、品質とコストを可視化する「LLM Observability 導入支援サービス」を提供開始

～自社運用で年間31.2人日の工数削減を実証。高度な分析基盤で生成 AI のビジネス価値を最大化～

システム・アプリケーションの開発、グラフィック・UI/UX デザイン制作からインフラの構築・運用までをワンストップで提供するアイレット株式会社（本社：東京都港区、代表取締役社長：岩永充正、以下アイレット）は、大規模言語モデル（LLM）を搭載したアプリケーションの動作を可視化し、品質向上とコスト最適化を支援する「LLM Observability 導入支援サービス」を本日より提供します。

本サービスは、生成 AI 活用の課題である「回答精度の不安定さ（ハルシネーション等）」や「不透明なコスト」をリアルタイムで監視・分析できる環境を構築し、企業の生成 AI 活用における成果の最大化と安定運用を支援します。

LLM Observability 導入支援サービスページ

■サービス提供背景

昨今、多くの企業で生成 AI の実用化が加速する一方で、運用フェーズにおける「回答精度の不安定さ（ハルシネーション等）」や「不透明なコスト構造」が、本格導入を阻む大きな壁となっています。

こうした AI 特有の内部動作をリアルタイムで可視化し、状態を正確に把握する仕組みが「LLM Observability（LLM 可観測性）」です。従来のシステム監視では捉えきれなかった「回答の妥当性」や「プロンプトごとのトークン消費量」を多角的に分析することで、AI モデルのブラックボックス化を防ぎ、継続的な品質改善を可能にします。

自社運用で実証された「年間 31.2 人日」の工数削減実績

アイレットは、これまで自社で提供するクラウド活用総合支援サービス「cloudpack」のサポートデスク業務において、生成 AI を活用した回答精度評価の自動化・可視化基盤を独自に構築し、運用してまいりました。 RAG 評価フレームワーク「Ragas」と Datadog の「LLM Observability」を連携することで、従来は膨大な時間を要していた手作業による評価プロセスを自動化しました。その結果、月間約2.6人日、年間で31.2人日と大幅な工数削減を実現し、AI 活用の実効性を証明しています。

本サービスは、この自社運用で培った現場で役立つ実践的なノウハウを、お客様の環境へ最適化して提供するものです。次世代 MSP（Managed Service Provider）を推進し、多くのお客様のインフラを守り続けてきたアイレットだからこそ、運用を見据えた「品質の安定」と「コストの最適化」の両立が実現可能です。

アイレットは今後も、生成 AI をはじめとする先端技術の可能性を追求し、インフラからアプリケーションまでを一貫してサポートする強みを活かした高品質なソリューションを提供してまいります。

参照：生成 AI の回答精度の判定を自動化し、業務工数を大幅に削減！Ragas と LLM Observability の導入事例

■「LLM Observability 導入支援サービス」の概要

本サービスは、LLM を利用した AI アプリケーションのパフォーマンスやコスト増加の要因をリアルタイムで監視・特定できる環境を提供します。

支援内容	コンサルティング LLM アプリ観測基盤の構築データ分析・改善活動の技術支援
主な監視項目	インプット/アウトプット、トークン数/コスト、レイテンシ、エラー率
利用料金	顧客要望と規模に基づき、ヒアリング後に算出

【アイレット株式会社会社概要】

会社名：アイレット株式会社 https://www.iret.co.jp/
設立　：2003年10月
所在地：東京都港区虎ノ門1-17-1 虎ノ門ヒルズビジネスタワー29F
代表者：代表取締役社長　岩永充正
資本金：7,000万円
主要株主：KDDI Digital Divergence Holdings株式会社
事業内容：
・クラウドを活用したシステム、スマホアプリの開発・運用

・UI/UX デザイン制作

・クラウド設計・構築、運用保守からセキュリティまでサポートする自社サービス「cloudpack」

の提供

・生成 AI 導入・活用支援、および AI 駆動開発の推進

・KDDIグループと連携したDX・クラウド開発推進

※ cloudpack の名称は、アイレット株式会社の登録商標です。