Calyptia Core Docker 拡張機能を使用した可観測性データパイプラインの構成、管理、簡素化

この投稿は、 カリプティアの創設者兼CEOであるエドゥアルドシルバと共同執筆しました。

---

アプリケーションは、多くの可観測性データを生成します。 また、そのデータをさまざまなシステムにソース、取り込み、フィルタリング、出力するのは常に苦労する可能性があります。 これらの可観測性データパイプラインを管理することは、データを活用して実用的な洞察をすばやく得るために不可欠です。

クラウド環境およびコンテナー化された環境では、Fluent Bit はクラウドネイティブ環境間でデータをマーシャリングするための一般的な選択肢です。 超高速、軽量、高度にスケーラブルなロギングおよびメトリックプロセッサおよびフォワーダーであり、最近30億ダウンロードに達しました。

Fluent Bitの作成者によるCalyptia Coreは、強力な処理エンジンを使用してデータ収集プロセスをさらに簡素化します。 Calyptia Core を使用すると、カスタムの可観測性データ パイプラインを作成し、データを制御できます。

また、新しい Calyptia Core Docker 拡張機能を使用すると、Docker Desktop 内で可観測性パイプラインを構築および管理できます。 それがどのように機能するかを見てみましょう!

カリプティアコアとは何ですか?

Calyptia Core は、既存の可観測性とセキュリティのインフラストラクチャに接続して、大量のログ、メトリクス、セキュリティ、イベントデータの処理を支援します。 カリプティアコアを使用すると、次のことができます。

• 共通のソースを主要な目的地に接続します(例: Splunk、Datadog、Elasticsearchなど)
• レプリカあたり毎秒 100k のイベントを効率的なルーティングで処理します。
• Kubernetesとそのさまざまなフレーバー(GKE、EKS、AKS、OPENSHIFT、Tanzuなど)からデータを自動的に収集します。
• データの問題をデバッグするために、データ パイプラインに信頼性を大規模に組み込みます。

なぜカリプティアコア?

概念としての可観測性は、エンジニアの日常生活では一般的です。 しかし、データ標準、データスキーマ、ストレージバックエンド、開発スタックが異なると、ツールの疲労の一因となり、開発者の生産性が低下し、総所有コストが増加します。  

Calyptia Core は、可観測性パイプラインの構築プロセスを簡素化することを目的としています。 また、ストリーミング可観測性データを拡張して、カスタムマーカーを追加したり、不要なフィールドを破棄またはマスクしたりすることもできます。  

Calyptia Core を Docker 拡張機能として実行する理由

Docker拡張機能は、ソフトウェアアプリケーションを構築し、日常のワークフローに統合するのに役立ちます。 Calyptia Core を Docker 拡張機能として使用することで、Calyptia Core をより簡単かつ迅速にデプロイできるようになりました。

拡張機能をインストールして起動すると、Calyptia コアが実行されます。 これにより、可観測性パイプラインを簡単に定義および管理し、最も重要なこと、つまりデータから実用的な洞察を発見することに集中できます。

カリプティアコアの使用を開始する

Calyptia Core は Docker Extension Marketplace にあります。 以下のチュートリアルでは、Docker Desktop に Calyptia Core をインストールし、モックデータを使用してデータ パイプラインを構築し、Vivo で視覚化します。

初期設定

最新バージョンの Docker デスクトップ (または少なくとも v4.8+) がインストールされていることを確認します。 また、[設定] タブで Kubernetes を有効にする必要があります。 これにより、Docker Desktop の起動時に Kubernetes シングルノード クラスターが開始されます。

Calyptia Core Docker 拡張機能のインストール

ステップ1

Docker Desktop を開き、[拡張機能] の下の [拡張機能の追加] をクリックして、Docker 拡張機能マーケットプレースに移動します。

ステップ 2

Calyptia コア Docker 拡張機能をインストールします。

詳細をクリックすると、インストール中にプルされたコンテナまたはバイナリを確認できます。

ステップ 3

拡張機能がインストールされたら、Calyptia Core をデプロイする準備が整います。[コアのデプロイ] を選択すると、Docker 拡張機能のトークンにログインして認証するように求められます。

ブラウザに、からの https://core.calyptia.com/ メッセージが表示されます デバイスの確認を求めます。

ステップ 4

確認後、カリプティアコアが展開されます。 [コアの管理] を選択して、データ パイプラインを構築、構成、管理できるようになりました。

あなたはに連れて行かれ core.calyptia.comるでしょう、 ここでは、ソースコネクタと宛先コネクタのホストからカスタム可観測性データパイプラインを構築できます。

ステップ 5

このチュートリアルでは、新しいパイプラインを作成し、名前として設定 docker-extension しましょう。

として「モックデータ」 source を追加し、として「Vivo」 destinationを追加します。

注:Vivoは、Calyptia Core Docker Extensionに組み込まれたリアルタイムデータビューアです。 新しいフィールドやコネクタの追加など、データ パイプラインに変更を加えたり、Docker 拡張機能で Vivo からのストリーミング可観測性データを表示したりできます。

ステップ 6

[保存とデプロイ] をクリックして、Docker デスクトップ環境でパイプラインを作成します。

Vivoライブデータビューアを使用すると、Dockerデスクトップを離れることなくデータを表示できます。

結論

Calyptia Core Docker 拡張機能を使用すると、Docker Desktop 開発者環境を離れることなく、可観測性パイプラインの管理とデプロイが簡単になります。 そして、それはほんの始まりに過ぎません。 また、Calyptia Core の自動ログ記録を使用して Kubernetes ポッドからの自動データ収集を行い、メタデータを使用して、選択した宛先に配信される前に処理ルールを実行することもできます。

Calyptiaコアドッカー拡張機能 を試してみて、ご意見をお聞かせください [メール保護]。