バッチを超えて、ERP がデータ ストリーミングでどのように高速化するか

データは移動します。 すべてのデータは、その生涯のある時点で、ある場所から、または別の場所に移動されます。 データベースからアプリケーションへ、何らかのクラウドベースのリポジトリから IoT デバイスへの送受信、または単にオペレーティング システム内の内部サービス間やそれに関連する接続ポイント間で、データはほぼ常に移動しています。

データが保存され、長期ストレージに存在する場合でも、通常は、ある段階で何らかの転送メカニズムを通じて処理されます。 これらの核となる自明の理は、私たちがデータの周期に焦点を当て、必要な場所にタイムリーに到達する能力を調べることが多いことを意味します。

ミレニアル時代以前を振り返ると、データ サービスとそれに依存するユーザーは、データ バックボーンに最新の情報を提供したい場合、しばしば「夜間ビルド」に対応する必要がありました。 これは、ワークロードの自動化またはジョブ スケジューリングとも呼ばれるバッチ処理の時代でした (そして実際には今もそうです)。

データ統合およびエンタープライズクラウドプラットフォーム企業によるとティブコ, バッチ処理は、短時間で大量のデータを処理するためのコスト効率の高い方法です。

「バッチ処理の良い例は、クレジット カード会社が請求を行う方法です。 顧客がクレジット カードの請求書を受け取るとき、それは取引ごとに個別に請求されるわけではありません。 むしろ、月全体に対して 1 つの請求書が発行されます。 その請求書はバッチ処理を使用して作成されます。 すべての情報は月中に収集されますが、特定の日に一度に処理されます」とティブコは技術説明文書で述べています。

バッチを超えてリアルタイムへ

しかし、世界は今、バッチよりも速く動いています。 私たちは皆、スマートフォンがタイムリーなサービスを数秒で提供し、エンタープライズ アプリケーションが継続的に統合されたサービスと接続を提供する必要がある常時接続の世界で働いています。 今はリアルタイムデータの時代です。

この分野を実現するテクノロジーの中で鍵となるのは、アパッチカフカ。 そのルーツを 2011 年に遡ると、このテクノロジーは、企業で働くソフトウェア エンジニアによって推進されるメッセージング キューを作成する社内プロジェクトから生まれました。リンクトイン。Apache Kafka データ ストリーミング プラットフォームは、当初の「基本的な」メッセージング キューから、現在では 1 秒あたり 100 万を超えるメッセージを処理できるようになり、これは 1 日あたり数兆のメッセージに相当します。

このテクノロジーは Kafka を超えています – Jay Kreps、Confluent

純粋な Apache Kafka はオープンソースのままであり、運用管理の責任はユーザーの手に委ねられていますが、合流フルマネージドのクラウドネイティブなストリーム処理および分析サービスを提供します。 これは、Confluent の共同創設者兼 CEO の Jay Kreps 氏が、最新のリアルタイム アプリケーションのユースケースにおいて「Kafka を超えている」テクノロジーであり、同氏が言うところのリアルタイム意思決定、または少なくともそのようなプロセスのデジタル反復を強化します。 。

データストリーミングとは何ですか?

ソフトウェア エンジニアリング学校に少し戻って、データ ストリーミングをコンピューティング原理として定義できます。 これは、アプリケーション、コンポーネント、またはサービスを通過するデータの時系列シーケンスを監視するアプローチを意味します。 通常、データ ストリーミング サービスは、特定の IT システム内で発生する低レベルのデータ レコードに焦点を当てており、単一のキーボード ストロークから産業用機械の計測センサーの読み取り値に至るまで、あらゆるものに関連するログ ファイルを伝送します。

これらの記録は細かくて小さいですが、一度集約されると、IT 導入内で正確に何が起こっているかを豊かに説明するのに役立ちます。 この現実は論理的に私たちを ERP へと導きます。つまり、データ ストリーミング分析は、エンタープライズ ソフトウェア アプリケーションや機能の内部で何が起こっているかを正確にエンジニアリングしたビューを提供します。 では、この力をどのように応用すればよいのでしょうか?

「ここでは明白なことを述べていますが、あらゆる組織を軌道に乗せるのはデータです。したがって、データ ストリーミングが約束するリアルタイム アクセスは、論理的には巨大な資産と見なされるべきです」と、EMEA 北部担当シニア バイス プレジデントの Chris Gorton 氏は述べています。データ管理プラットフォーム会社の南部および新興市場