bugfix> apache-spark > 投稿

mesosドキュメントを読んで理解しているように、リソースの提供はアプリケーション/フレームワークに対して行われ、提供の受け入れ/拒否はアプリケーション次第です。

並列処理が必要なエグゼキューター/コア/メモリを構成する「終わりのない」スパークストリーミングアプリがあります。これらのリソースは、spark-appの起動時に一度しか取得されません。つまり、エグゼキュータがアイドル状態の場合、実行者はメソに渡されますか?

スパークストリーミングの場合、リソースの提供と受け入れは1回だけですか?

同じ質問は、cassandraやYARN on mesosなどの他の長期実行フレームワークにも拡張できます。

私の理解では、粗粒度モデルでスパークストリーミングが実行されると、リソース交換が1回発生し、リソースはスパークアプリの存続期間中にエグゼキューター専用になります。

回答 1 件
  • Spark on Mesosの最適なソースは、spark docsサイトです。 粗視化セクションでは、次の質問に答えることができます。

    The benefit of coarse-grained mode is much lower startup overhead, but at the cost of reserving Mesos resources for the complete duration of the application. To configure your job to dynamically adjust to its resource requirements, look into Dynamic Allocation.

    動的なリソース割り当てを検討すると、Spark Shuffleサービスを介してエグゼキューターリソースを移動できる可能性があります。これは、Sparkサービスが提供するスクリプトを介して、またはMarathonを介して実現できます。

あなたの答え