Standalone是什么？Standalone有幾種類型的進程？

更新時間:2022年03月11日14時10分來源:傳智教育瀏覽次數(shù):

Standalone是什么

Standalone模式是Spark自帶的一種集群模式，不同于前面本地模式啟動多個進程來模擬集群的環(huán)境，Standalone模式是真實地在多個機器之間搭建Spark集群的環(huán)境，完全可以利用該模式搭建多機器集群，用于實際的大數(shù)據(jù)處理。

StandAlone 是完整的Spark運行環(huán)境,其中: Master角色以Master進程存在, Worker角色以Worker進程存在 Driver和Executor運行于Worker進程內(nèi), 由Worker提供資源供給它們運行。

Standalone是什么

StandAlone集群在進程上主要有3類進程:

Master角色, 管理整個集群資源，并托管運行各個任務的Driver

Worker角色, 管理每個機器的資源，分配對應的資源來運行Executor(Task); 每個從節(jié)點分配資源信息給Worker管理，資源信息包含內(nèi)存Memory和CPU Cores核數(shù)。

Spark Application運行完成以后，保存事件日志數(shù)據(jù)至HDFS，啟動HistoryServer可以查看應用運行相關信息。Spark的歷史服務器, 功能: 將Spark運行的程序的歷史日志記錄下來, 通過歷史服務器方便用戶查看程序運行的歷史信息。

猜你喜歡：

Spark有什么特點？【大數(shù)據(jù)培訓】

上一篇：Python集成開發(fā)環(huán)境介紹 下一篇：Spark角色在StandAlone中的分布