全部 Python+大數(shù)據(jù)新聞動態(tài) Python+大數(shù)據(jù)技術文章 Python+大數(shù)據(jù)學習常見問題 技術問答

• • 

    大數(shù)據(jù)培訓：常用工作流管理器介紹

    針對多任務、可視化調(diào)度的調(diào)度需求，Apache以及其他組織提供了一系列工作流管理器，包括Oozie、Azkaban、Zeus、Dagobah、Luigi、Pinball和Airflow等。 查看全文>>

    Python+大數(shù)據(jù)學習常見問題2023-12-11 |傳智教育 |常用工作流管理器介紹

  • 

    實際生產(chǎn)中Yarn的隊列如何設置?

    在實際生產(chǎn)中，YARN(Yet Another Resource Negotiator)的隊列可以通過以下步驟進行設置。YARN是Apache Hadoop的資源管理器，用于管理集群資源和任務調(diào)度。 查看全文>>

    Python+大數(shù)據(jù)學習常見問題2023-12-08 |傳智教育 |實際生產(chǎn)中Yarn的隊列如何設置

  • 

    Spark的寬窄依賴是什么意思?

    在Spark中，寬窄依賴(Wide vs Narrow Dependency)指的是作業(yè)(Job)中不同RDD(Resilient Distributed Dataset)之間的依賴關系類型。 查看全文>>

    Python+大數(shù)據(jù)學習常見問題2023-12-07 |傳智教育 |Spark的寬窄依賴是什么意思

  • 

    Spark遇到數(shù)據(jù)傾斜怎么辦?

    當Spark遇到數(shù)據(jù)傾斜時，這可能導致作業(yè)性能下降。數(shù)據(jù)傾斜是指數(shù)據(jù)在分區(qū)中分布不均勻，導致部分任務處理了大部分數(shù)據(jù)而其他任務處理了很少的數(shù)據(jù)。以下是一些解決數(shù)據(jù)傾斜的方法 查看全文>>

    Python+大數(shù)據(jù)學習常見問題2023-12-06 |傳智教育 |Spark遇到數(shù)據(jù)傾斜怎么辦

  • 

    實際生產(chǎn)中Yarn的隊列如何設置?

    Yarn是Apache Hadoop的資源管理器，用于分配和管理集群資源。在實際生產(chǎn)中，配置Yarn的隊列非常重要，可以根據(jù)不同的業(yè)務需求和優(yōu)先級來管理資源。以下是設置Yarn隊列的一般步驟和考慮因素。 查看全文>>

    Python+大數(shù)據(jù)學習常見問題2023-12-05 |傳智教育 |實際生產(chǎn)中Yarn的隊列如何設置

  • 

    RDD緩存具有哪些特點？

    RDD之間進行相互迭代計算(Transformation的轉換)，當執(zhí)行開啟后，新RDD的生成，代表老RDD的消失。RDD的數(shù)據(jù)是過程數(shù)據(jù)，只在處理的過程中存在，一旦處理完成，就不見了。這個特性可以最大化的利用資源，老舊RDD沒用了就從內(nèi)存中清理，給后續(xù)的計算騰出內(nèi)存空間。 查看全文>>

    Python+大數(shù)據(jù)學習常見問題2023-12-04 |傳智教育 |RDD緩存具有哪些特點

  • 

    大數(shù)據(jù)培訓：datanode在什么情況下不會備份?

    一般在非正常斷電或強制關閉下不會備份。在Hadoop分布式文件系統(tǒng)(HDFS)中，DataNode通常不會備份數(shù)據(jù)。DataNode是HDFS的組件之一，負責存儲實際的數(shù)據(jù)塊，并按需傳輸這些數(shù)據(jù)給客戶端。備份通常由另一個重要組件NameNode來處理。 查看全文>>

    Python+大數(shù)據(jù)學習常見問題2023-12-04 |傳智教育 |datanode在什么情況下不會備份

  • 

    二分查找的思想是什么?

    二分查找(Binary Search)是一種在有序數(shù)組中查找特定元素的搜索算法。它的思想是不斷將待查找區(qū)間分成兩部分，并通過比較目標值與中間元素的大小關系來確定目標值可能存在的區(qū)間，從而縮小搜索范圍，直到找到目標值或確定目標值不存在為止。 查看全文>>

    Python+大數(shù)據(jù)學習常見問題2023-11-30 |傳智教育 |二分查找的思想是什么

  << < 1 2 3 4 5 6 7 8 9 ... 159 > >>