データオプス
ビッグデータ、ファストデータ、IoTデータ、スモールデータ。 組織がデータ主導型に移行するにつれて、データの利用は拡大している。 データを共有し、企業全体で利用できるようにする必要があるため、データ分析と統合はますます重要になっている。
DevOpsの原則に基づいて組織化された開発チームは、自動化された反復可能な手法によって、高品質のアプリケーションを本番環境に提供することができる。
DataOpsはこれらの教訓に基づき、データ・エンジニアだけでなく、データ・リテラシーのあるあらゆるユーザーが、 、データ・ストリームを構築・運用し、迅速にデプロイできるようにする。
DataOpsは、基本的にはDevOpsと同じ原則に従っている：
データエンジニアリングは、どのような組織においても重要な役割を担ってきたし、今後も担っていくだろう。
継続的な統合、データマート、データ ウェアハウスのための大規模なデータエンジニアリング能力をすでに持っているか、これから始めるかに関係なく。
しかし、そのためには、データエンジニアとユーザーがすべてのステークホルダーの価値創造を最大化できるよう、安定したセキュアな環境に対する信頼が必要である。
Apache Kafkaの信頼性は、エンジニアがすべてのリアルタイムデータとアプリケーションを統合的に可視化できるかどうかにかかっている。 あるいは、無限の障害モードがKafkaストリーミング・アプリのパフォーマンスと可用性に影響を与える可能性があるため、運用に不可欠な情報を見逃してしまう危険性もある。
Replica Fetcher ThreadsやDisk Write wait timesのようなアプリケーションを見てKafkaインフラを監視しても、スキーマ・ドリフト、不正なACL、最大クォータ、貧弱なパーティショニングがあれば誰も救われない。
Apache Kafkaは複雑なブラックボックスであり、スキーマ・レジストリ、Kafka Connect、リアルタイム・フローを含む多くのサービスを監視する必要がある。
Apache Kafkaを利用している組織では、Litmus Edge Managerを利用して、Litmusエッジプロセスのすべてのデータとイベントをスチームすることもできます。
私のリアルタイム・データ・プラットフォーム、ストリーミング・アプリケーション、データは健全ですか？
このガイドでは、Litmus Edge Manager Kafka Broker IntegrationとLensesを接続することで、Litmus Edge Managerを組織のKafkaインフラストラクチャとアプリケーションパフォーマンスの監視に追加し、単一のロールベースでセキュリティ保護されたKafka UIから監視できるようにする方法を紹介します。
また、フルサービスの可視化をスピンアップすることで、Litmus Edgeのすべてのデータと、これらのデータを活用したアプリの健全性を常に把握することができます。
さらに、例えばアラートなどの通知を受け取ることができる：
