Apache Storm vs Apache Spark

• Apache Storm is a task-parallel continuous computational engine. トポロジーと呼ばれるDirected Acyclic Graphs (DAG)でワークフローを定義している。 これらのトポロジーは、ユーザーによってシャットダウンされるか、回復不可能な障害が発生するまで実行されます。 Apache StormはHadoopクラスタ上では動作せず、Zookeeperと独自のミニオンワーカーを使用してプロセスを管理する。 Apache Storm は HDFS に対してファイルの読み取りと書き込みができます。
• Apache Storm は、すでに使用しているキューイングおよびデータベース技術と統合されています。 Storm トポロジーはデータのストリームを消費し、それらのストリームを任意に複雑な方法で処理し、必要に応じて計算の各段階間でストリームを再分割します。 Apache Stormはタプルとストリームをベースにしています。 タプルは基本的にデータが何であり、どのように構造化されているかです。
• Apache Spark フレームワークは Spark Core とライブラリのセットで構成されています。 Spark Coreは、エンドユーザーにシームレスなエクスペリエンスを提供することによって、ジョブを実行し、管理します。 ユーザーがSpark Coreにジョブを投入すると、Spark Coreがその後の処理、実行、ユーザーへの返信を行います。 Spark Core APIは、Scala、Python、Java、Rなど、さまざまなスクリプト言語で提供されています。
• Apache Sparkでは、Apache Stormを使って、非構造化データを目的の形式に変換することが可能です。 Apache Spark のクラスターマネージャーには、Apache YARN または Mesos を選択することができます。
• Apache Spark のリソース マネージャーには、Hadoop 分散ファイル システム (HDFS)、Google クラウド ストレージ、Amazon S3、Microsoft Azure を選択できます。
• Apache Spark はバッチおよびストリーミング モード用のデータ処理エンジンで、SQL クエリー、グラフ処理、機械学習が特徴です。

Head to Head Comparison Between Apache Storm and Apache Spark (Infographics)

Below is the top 15 comparison between Data Science and Machine Learning



Key Differences Between Apache Storm and Apache Spark :

以下は、Apache Storm と Apache Spark の主な違いを説明するポイントのリストです。

• Apache Storm はタスク並列計算を実行し、Apache Spark はデータ並列計算を実行します。
• Apache Storm でワーカー ノードに障害が発生した場合、Nimbus はワーカー タスクを他のノードに割り当て、障害が発生したノードに送信されたすべてのタプルはタイムアウトし、その結果自動的に再生されますが、Apache Spark ではワーカー ノードに障害が発生すると、システムは入力データの残りのコピーから再計算し、データが複製されていない場合はデータが失われる可能性があります。
• Apache Stromの配信保証は安全なデータソースに依存しますが、Apache SparkではHDFSにバックアップされたデータソースは安全です。
• Apache Stormはリアルタイムのストリーミングデータを処理するストリーム処理エンジンですが、Apache Sparkは汎用的なコンピューティングエンジンです。

Apache Stormの特徴。

1. Fault tolerance – ワーカスレッドが死んだり、ノードがダウンした場合、ワーカーは自動的に再起動される
2. Scalability – 高い拡張性により、Storm はリソースを直線的に追加して負荷上昇時にもパフォーマンスを維持でき、ノードあたり 100 バイト/秒のスループットが達成できる
3. Latency – 問題に応じてデータの更新とエンドツーエンド配信レスポンスを秒単位あるいは分単位で実行することができる。
4. システムのデプロイと運用が容易
5. Hadoopと統合してより高いスループットを活用
6. 実装が容易であらゆるプログラミング言語と統合可能
7. Apache Stormはオープンソースで堅牢、かつユーザーフレンドリーなシステムです。
8. Apache Storm は、信じられないほど高速なリアルタイムストリーム処理を可能にし、データを処理する膨大なパワーを備えています。
9. Apache Storm は運用インテリジェンスを備えており、クラスタの接続ノードが死んだりメッセージが失われた場合でもデータ処理を保証します

Apache Spark の特徴：

1. スピード。 Apache Spark は、Hadoop クラスタでアプリケーションを実行する際に、メモリ上で最大 100 倍、ディスク上で実行する場合は 10 倍の速度で処理できます。 Apache Spark はリアルタイムのストリーミングデータを処理できる。
2. ユーザビリティ。 Apache Sparkは、Java、Scala、Python、R
3. Lazy Evaluationのような複数の言語をサポートする能力を持っている。 Apache Sparkでは、変換は本質的に怠惰である。 既存のRDDから新しいRDDを形成した後に、結果を与える。 Apache Spark は独立して実行でき、また Hadoop YARN Cluster Manager 上でも実行できるため、既存の Hadoop データを読み込むことができる。 Apache Spark は、RDD コンセプトを使用してフォールト トレランスを提供します。 Spark RDDは、クラスタ内の任意のワーカーノードの障害を処理するように設計されています。

Apache StormとApache Sparkの比較表

私は、Apache StormとApache Sparkの主要アーティファクトと区別について説明しています。

HDFS

は、Apache Stormに比べてレイテンシーが高い。 Netty

を用いた基本的なモニタリング

Conclusion

Apache Storm と Apache Spark は、ストリーミングの取り込みと変換の問題を解決する素晴らしいソリューションです。 Apache Storm と Apache Spark の両方は、データを処理するために Hadoop クラスターの一部になることができます。 Apache Stormは、リアルタイムのストリーム処理のためのソリューションです。 しかし、Storm は、リソースが限られているため、開発者がアプリケーションを開発するには非常に複雑です。

Apache Storm は、主にストリーム処理に使用できます。 しかし、業界では、すべてのタイプの問題を解決できる一般化されたソリューションが必要です。 たとえば、バッチ処理、ストリーム処理、対話型処理、および反復処理などです。 そこで、汎用計算エンジンであるApache Sparkが脚光を浴びているのです。 これが、ITプロフェッショナルの間でApache Sparkの需要が他のツールよりも多い理由です。 Apache Sparkは様々なタイプの問題を処理することができます。 また、Apache Sparkは開発者にとって非常に簡単で、Hadoopと非常によく統合できます。 Apache Spark は、異なる言語や環境で作業する柔軟性を提供します。

おすすめ記事

これは、Apache Storm と Apache Spark のガイドでした。 ここでは、Apache Storm と Apache Spark の直接比較、インフォグラフィックスと比較表による主な違いについて説明しました。 また、以下の記事も参照してください。

1. Iaas vs Azure Pass – Differences You Must Know
2. Apache Hadoop vs Apache Spark |Top 10 Comparisons You Must Know!
3. Apache Sparkについて7つの驚くべきガイド（ガイド）
4. Best 15 Things You Need To Know About MapReduce vs Spark
5. Hadoop vs Apache Spark – Interesting Things you need to know