AIが観測性を高める方法

今の時代、過去を懐かしむのは当然ですが、私たちは、以前と同じ観測可能性を持つことは決してできないような環境にいます。

「AI が観測可能性をどのように強化できるか」からの翻訳。

最近では、可観測性はより洗練されてきました。すべてが大規模なメインフレームとログ上で実行され、利用可能なすべての監視データを簡単に収集して視覚化できた IT 監視の初期の頃と比べると、明らかに進歩しています。

最新のアプリケーションがほとんどの組織の中核となった後も、状況ははるかに単純になりました。しかし、 Kubernetes、マイクロサービス、サーバーレスの現在の世界では、状況は大きく異なります。ハンマーを取り、その容易に観察できる流れを叩き壊し、それが 100 個の破片に砕け散るのを想像してください。しかし、それらの小さな破片はすべて、依然としてしっかりと接続され、常に通信している必要があります。

本質的に、この状況は初期に導入された抽象化と仮想化によって引き起こされています。その後、Kubernetes が登場し、その短命、急速な変化、分散型の性質によって、複雑さが増しました。ここでは、すべての管理、監視、トラブルシューティングが困難になり、多くの人が圧倒され、何に巻き込まれたのか疑問に思います。私たちは自分自身に問いかけるかもしれません – 本当にすべてがそれほど複雑である必要があるのでしょうか?

過去を懐かしむのは当然ですが、私たちは、可観測性が以前と同じではなくなる環境にいます。

「現代的な」可観測性の限界を再考する

まず、一歩下がって、定義から始めて、いくつかの基本原則について説明しましょう。クラウド インフラストラクチャとアプリケーションのコンテキストでは、可観測性とは、ソフトウェアを検査し、データに基づいて意思決定を行い、運用システムを監視および修正する技術です。これらの決定は、継続的な監視、アラート、トラブルシューティングだけでなく、特定の結果とサービス レベルの目標に焦点を当てる必要があることに注意することが重要です。

次に、コーディングやインフラストラクチャの問題がビッグデータの問題に発展し、これらの最新の観測システムのコンピューティング、ネットワーク、およびストレージ要件をより効率的にする方法を見つけることも必要になっている今日の世界で、信頼性の高い観測システムを設計する技術について考えてみましょう。データが増えても洞察力が向上するわけではありません。

抽象化、仮想化、マイクロサービスは氷山の一角に過ぎないことがわかりました。 Copilot、Code Whisperer などの AI ツールの登場と継続的な導入により、人間が書いたコードが期待どおりに実行されているかどうかを理解するために、数十億ものさまざまなイベントを処理、分析、相関させることは、事実上解決不可能な問題になっています。再び、可観測性が差し迫ったビッグデータの課題となります。

エンジニアが可観測性信号を理解し、テレメトリ データを分析するスキルを持っていたとしても(このような人材を見つけるのは困難です)、整理すべきデータの量は非現実的であり、驚異的ですらあります。実際のところ、この膨大な量のデータの大部分は、重要なビジネス システムのパフォーマンスに関する洞察を提供するのに特に役立つものではありません。

多ければ良いというものではありません。同時に、最も人気のある可観測性ソリューションのほとんどは、多数の高度な機能と追加のツールを使用して、膨大なデータフローとビッグデータ問題の複雑さに対処する必要があることを示しています。これらすべてには、データインフレに見合った高額な価格が付いています。しかし、まだ希望はあります。

AIの可観測性の時代の到来

マイクロサービスと AI 生成コードの現代の可観測性の時代では、可観測性は複雑であったり高価である必要はなく、確かに、AI の採用の増加は大きな期待をもたらします。 AI 駆動型コードを駆動する Big Language Model (LLM) は、可観測性に対する新しいアプローチを提供します。

これはどのように作動しますか？ LLM は、高度に分散された動的システムにおけるログ データやその他のテレメトリの本質である、大量の反復テキスト データ内のパターンの処理、学習、識別に長けています。 LLM は、基本的な質問に答え、有用な推論、仮説、予測を導き出す方法を知っています。

このアプローチは完璧ではありません。LLM モデルはリアルタイム用に設計されておらず、すべての可観測性の課題を解決するためにコンテキストの全範囲を決定するのに十分な精度がありません。ただし、人間が大量の機械生成データを妥当な時間内に理解して文脈化するよりも、まず LLM でベースラインを確立し、何が起こっているかを理解し、役立つ推奨事項を取得する方がはるかに簡単です。

したがって、LLM は観測可能性の問題を解決するのに非常に重要です。これらは、テキストベースのシステムでの使用や、分析および洞察の提供を目的として設計されています。これを統合することで、簡単に可観測性に適用でき、意味のある推奨事項を提供できます。

この点において、LLM の最大の価値の 1 つは、技術的熟練度が高くない実務者をより適切にサポートし、彼らが対処しなければならない大量の複雑なデータに対処できるようにすることであると私たちは考えています。回復を必要とするほとんどの本番環境の問題には、履歴コンテキスト データに基づいて LLM が支援するのに十分な時間があります。このように、LLM は可観測性をより簡単かつコスト効率の高いものにします。

同時に、AI は観測可能性の面でますます強力になってきており、今後はさらに興味深く破壊的な機会が生まれます。以下に挙げるのは、難解なクエリ言語ではなく自然言語で記述および調査できる LLM です。これは、あらゆるレベルのユーザーにとって大きなメリットですが、特にビジネス ユニットのマネージャーなど、実務経験の少ないユーザーにとっては大きなメリットとなります。

ユーザーは、すべての関連情報に精通した専門家である必要はなくなり、一般的なパラメータに関連するクエリを、生産エンジニアだけでなくビジネス部門の責任者が使用する自然言語で記述できるようになりました。これにより、生産エンジニアだけでなく、幅広い新しいプロセスと関係者の可観測性が向上します。

Logz.io ではすでに LLM との統合を開始しており、現在はこれらの新しい AI 機能を活用するように設計されたプラットフォーム上の魅力的な新機能の開発に熱心に取り組んでいます。私たちは、これが、必要な可観測性を求めているビッグデータの課題に直面している組織にとって、重要なイノベーションの次の波をもたらす手段であると信じています。コストと複雑さという差し迫った問題が市場には残っていますが、これは誰もが楽観的になれる多くの理由を与えてくれると私たちは考えています。