在 debian中安裝 docker，并且在 docker環(huán)境下使用 oracle。

   簡(jiǎn)介 本章詳細介紹NameNode啟動(dòng)過(guò)程。主要是代碼級別的解釋。 nameNode的啟動(dòng)主要是有NameNode.java主導的，由main函數開(kāi)始了解。 下面是main函數里面的主要內容，可以看到主要由createNameNode實(shí)現NameNode的啟動(dòng)。 NameNode namenode = createNameNode(argv, null); if (namenode != null) { namenode.join(); } 在create ......

   Flink 的 Master 節點(diǎn)包含了三個(gè)組件: Dispatcher、ResourceManager 和 JobManager。 Dispatcher: 負責接收用戶(hù)提供的作業(yè)，并且負責為這個(gè)新提交的作業(yè)拉起一個(gè)新的 JobManager 服務(wù)； ResourceManager: 負責資源的管理，在整個(gè) Flink 集群中只有一個(gè) ResourceManager，資源相關(guān)的內容都由這個(gè)服務(wù)負責； JobManager: 負責管理具體某個(gè)作業(yè)的執行，在一 ......

   Apache Hudi將核心倉庫和數據庫功能直接帶到數據湖中。Hudi提供了表、事務(wù)、高效upserts/刪除、高級索引、流式攝取服務(wù)、數據群集/壓縮優(yōu)化以及并發(fā)，同時(shí)保持數據以開(kāi)源文件格式保留。 Hudi是Hadoop Upserts and Incrementals縮寫(xiě)，用于管理分布式文件系統DFS上大型分析數據集存儲。 Hudi是一種針對分析型業(yè)務(wù)的、掃描優(yōu)化的數據存儲抽象，它能夠使DFS數據集在分鐘級的時(shí)延內支持變更，也支持下游系統對這個(gè)數據集的增量 ......

   簡(jiǎn)介 Namenode 和 Datanode HDFS采用master/slave架構。一個(gè)HDFS集群是由一個(gè)Namenode和一定數目的Datanodes組成。 Namenode是一個(gè)中心服務(wù)器，負責管理文件系統的名字空間(namespace)以及客戶(hù)端對文件的訪(fǎng)問(wèn)。 集群中的Datanode一般是一個(gè)節點(diǎn)一個(gè)，負責管理它所在節點(diǎn)上的存儲。 HDFS暴露了文件系統的名字空間，用戶(hù)能夠以文件的形式在上面存儲數據。 從內部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數據 ......

   作業(yè)提交流程 Yarn 調度器 先進(jìn)先出調度器 容量調度器 分配算法 公平調度器 調度原理 缺額 資源分配方式 樣例 : DRF策略

   簡(jiǎn)介 NameNode管理著(zhù)整個(gè)HDFS文件系統的元數據。 從架構設計上看，元數據大致分成兩個(gè)層次：Namespace管理層，負責管理文件系統中的樹(shù)狀目錄結構以及文件與數據塊的映射關(guān)系； 塊管理層，負責管理文件系統中文件的物理塊與實(shí)際存儲位置的映射關(guān)系BlocksMap，如圖1所示。 Namespace管理的元數據除內存常駐外，也會(huì )周期Flush到持久化設備上FsImage文件；BlocksMap元數據只在內存中存在； 當NameNode發(fā)生重啟，首先從持久 ......

   簡(jiǎn)介 Yarn采用了基于事件驅動(dòng)的并發(fā)模型： 所有狀態(tài)機都實(shí)現了EventHandler接口，很多服務(wù)（類(lèi)名通常帶有Service后綴）也實(shí)現了該接口，它們都是事件處理器。 需要異步處理的事件由中央異步調度器（類(lèi)名通常帶有Dispatcher后綴）統一接收/派發(fā)，需要同步處理的事件直接交給相應的事件處理器。 某些事件處理器不僅處理事件，也會(huì )向中央異步調度器發(fā)送事件。 事件處理器定義 事件處理器定義如下： @SuppressWarnings("rawty ......

   NameNode客戶(hù)端協(xié)議詳解 協(xié)議的定義主要在類(lèi)NamenodeProtocols中。如下： public interface NamenodeProtocols extends ClientProtocol, DatanodeProtocol, DatanodeLifelineProtocol, NamenodeProtocol, RefreshAuthorizationPolicyProtocol, ReconfigurationProtocol, R ......

   Kerberos認證在大數據場(chǎng)景下用的比較多，特別是在Hadoop生態(tài)下，認證基本用的都是Kerberos認證。一般來(lái)講Kerberos認證相對于其他方式的認證安全很多，同樣的認證的時(shí)候性能應該差一點(diǎn)。 國內某著(zhù)名大數據平臺MapReduce服務(wù)，頁(yè)叫做云原生數據湖MRS（MapReduce Service），將大數據相關(guān)的軟件做了整合，其中有部分軟件，比如：Redis、Clickhouse等開(kāi)源社區并沒(méi)有支持Kerberos認證的軟件，華為自己做了Kerb ......

   RocksDB是一個(gè)高性能、可擴展、嵌入式、持久化、可靠、易用和可定制的鍵值存儲庫。它采用LSM樹(shù)數據結構，支持高吞吐量的寫(xiě)入和快速的范圍查詢(xún)，可被嵌入到應用程序中，實(shí)現持久化存儲，支持水平擴展，可以在多臺服務(wù)器上部署，實(shí)現集群化存儲，具有高度的可靠性和穩定性，易于使用并可以根據需求進(jìn)行定制和優(yōu)化。RocksDB主要使用到了下面知識：

   狀態(tài)后端和checkpoint詳解，包括常見(jiàn)checkpoint問(wèn)題處理。

   在我的Linux筆記本上面運行一個(gè)jar包的時(shí)候報錯如下： Exception in thread "main" java.lang.UnsatisfiedLinkError: Can't load library: /usr/lib/jvm/java-17-openjdk-amd64/lib/libawt_xawt.so at java.base/java.lang.ClassLoader.loadLibrary(ClassLoader.java:2393 ......

   Flink 為作業(yè)的容錯提供 Checkpoint 和 Savepoint 兩種機制。保存點(diǎn)機制（Savepoints）是檢查點(diǎn)機制一種特殊的實(shí)現，它允許你通過(guò)手工方式來(lái)觸發(fā)Checkpoint，并將結果持久化存儲到指定路徑中，主要用于避免Flink集群在重啟或升級時(shí)導致?tīng)顟B(tài)丟失。

   Dropout是用于防止過(guò)擬合和提供一種有效近似聯(lián)結指數級不同神經(jīng)網(wǎng)絡(luò )結構的方法,能夠有效的緩解深度網(wǎng)絡(luò )的過(guò)擬合現象.