Spark有幾種部署方式？

Spark部署模式分為Local模式(本地單機模式)和集群模式，在Local模式下，常用于本地開發程序與測試，而集群模式又分為Standalone模式(集群單機模式)、Yarn模式和Mesos模式，關于這三種集群模式的相關介紹具體如下：

1.Standalone模式

Standalone模式被稱為集群單機模式。Spark框架與Hadoop1.0版本框架類似，本身都自帶了完整的資源調度管理服務，可以獨立部署到一個集群中，無需依賴任何其他的資源管理系統，在該模式下，Spark集群架構為主從模式，即一臺Master節點與多臺Slave節點，Slave節點啟動的進程名稱為Worker，此時集群會存在單點故障問題，后續將在Spark HA集群部署小節講解利用Zookeeper解決單點問題的方案。

2.Yarn模式

Yarn模式被稱為Spark on Yarn模式，即把Spark作為一個客戶端，將作業提交給Yarn服務，由于在生產環境中，很多時候都要與Hadoop使用同一個集群，因此采用Yarn來管理資源調度，可以有效提高資源利用率，Yarn模式又分為Yarn Cluster模式和Yarn Client模式，具體介紹如下：

lYarn Cluster：用于生產環境，所有的資源調度和計算都在集群上運行。

lYarn Client：用于交互、調試環境。

3.Mesos模式

Mesos模式被稱為Spark on Mesos模式，Mesos與Yarn同樣是一款資源調度管理系統，可以為Spark提供服務，由于Spark與Mesos存在密切的關系，因此在設計Spark框架時充分考慮到了對Mesos的集成，但如果你同時運行Hadoop和Spark，從 兼 容 性 的 角 度 來 看 ，Spark on Yarn是更好的選擇。

上述三種分布式部署方案各有利弊，通常需要根據實際情況決定采用哪種方案。由于學習階段我們是在虛擬機環境下模擬小規模集群，因此可以考慮選擇Standalone模式。

怎樣使用Spark方法完成RDD的創建？

怎樣使用Spark Shell來讀取HDFS文件？

Spark的應用場景有哪些？

Spark的框架模塊和運行模式是什么？

傳智教育pthon+大數據開發工程師培訓課程