RMDelegationTokenSecretManager 深度解析 一、核心原理 1.1 架構概述 +---------------------------------------------------------------------+ | RMDelegationTokenSecretManager | +---------------------------------------------------------------------+ ......

   FileSystemRMStateStore、LeveldbRMStateStore、ZKRMStateStore 詳細對比分析 一、概述對比 特性FileSystemRMStateStoreLeveldbRMStateStoreZKRMStateStore 存儲后端Hadoop FileSystem (HDFS/S3/本地)LevelDB 嵌入式數據庫ZooKeeper 分布式協(xié)調服務(wù) 代碼行數~1018 行~797 行~1493 行 版本1.31 ......

   利用GLM5模型分析3.3.1-3.4.1兼容性

   Opencode簡(jiǎn)介 OpenCode 是一個(gè)開(kāi)源的 AI 編程代理（AI coding agent），旨在幫助開(kāi)發(fā)者在終端、桌面或 IDE 中更高效地編寫(xiě)、調試和重構代碼。支持對接主流的大模型廠(chǎng)商，比如智谷API、DeepSeek等。 但是在某些場(chǎng)景下我們可能需要在內網(wǎng)搭建自己的模型，所以需要使用Opencode對接屬于自己的大模型。 步驟 1、安裝LM Studio 在LM Studio官網(wǎng)中下載屬于自己平臺的LM Studio，并且安裝，當前不做詳細描 ......

   功能簡(jiǎn)介 作業(yè)timeline store的一種基于leveldb的實(shí)現。主要保存下面信息： start time信息，保存在starttime-ldb里面，是一個(gè)單獨的LevelDB。 entity信息，保存在entity-ldb里面，是一個(gè)單獨的LevelDB，支持按照時(shí)間進(jìn)行歸檔以及清理。 indexed entity信息，保存在indexes-ldb里面，是一個(gè)單獨的LevelDB。支持按照時(shí)間進(jìn)行歸檔以及清理。 domain信息，保存domain ......

   簡(jiǎn)介 NativeIO主要用于實(shí)現一些Java未實(shí)現的IO相關(guān)的接口。通過(guò)JNI的的方式直接調用底層操作系統的系統函數，提升效率和性能。 源碼詳解 主要分下面幾部分： JNI初始化，包括底層JNI代碼。 底層IO操作詳解 初始化 核心初始化的代碼是在NativeIO里面的靜態(tài)代碼塊里面實(shí)現的，通過(guò)參數hadoop.workaround.non.threadsafe.getpwuid控制是否支持線(xiàn)程安全，默認是線(xiàn)程安全的。 初始化只會(huì )做一次，不會(huì )重復初始化 ......

   Github Stats 所有開(kāi)源項目 倉庫 項目簡(jiǎn)介 Stars fork 編程語(yǔ)言 hadoop_book Hadoop 學(xué)習筆記。 3 0 flink_book Flink學(xué)習筆記，持續更新。。。 2 0 bolo-fantastic 基于官方的bolo-fantastic皮膚做了定制化修改，滿(mǎn)足自己的審美。 1 1 FreeMarker c_primer_plus c primer plus 學(xué)習 1 0 C dockerFiles 日常使用dock ......

   最近十幾年前的筆記本不用了，換了臺式機，裝了amd的顯卡，為了更好的發(fā)揮顯卡的性能，就不能直接將臺式機安裝為L(cháng)inux操作系統了，但是平時(shí)主要讀的代碼使用windows編譯老是不太習慣，于是就有了使用wsl搭建java環(huán)境的想法。

   發(fā)現自己簡(jiǎn)歷被炒是一種什么樣的體驗。今天我就遇到了一個(gè)抄了我簡(jiǎn)歷的，刷新了我的世界觀(guān)。

   簡(jiǎn)介 啟動(dòng)源碼分析 Zookeeper啟動(dòng)的主類(lèi)為QuorumPeerMain.java 。入口函數文為initializeAndRun，如下所示，在往下的核心函數為runFromConfig。 QuorumPeerMain main = new QuorumPeerMain(); try { main.initializeAndRun(args); } catch (IllegalArgumentException e) { // 啟動(dòng)異常處理。 ......

   簡(jiǎn)介 Active Namenode與StandBy Namenode之間的綠色區域就是JournalNode,當然數量不一定只有1個(gè),作用相當于NFS共享文件系統.Active Namenode往里寫(xiě)editlog數據,StandBy再從里面讀取數據進(jìn)行同步. JournalNodede 在hdfs架構中的角色： 源碼解析 解讀JournalNodede的原理。JN的核心功能主要包含下面幾個(gè)： JN啟動(dòng) 讀寫(xiě)editLog。 JN之間editLog數據 ......

   自己搭建博客的原因是現有的博客系統不滿(mǎn)足我的要求，簡(jiǎn)單來(lái)說(shuō)就是看著(zhù)現有的博客系統不順眼，現在博客主要內容就是自己平時(shí)看的書(shū)以及各種想法總結等等。還有就是希望博客上面記載的東西能夠幫助到別人。

   問(wèn)題現象 用idea 運行Zookeeper是報錯 com.codahale.metrics.Reservoir找不見(jiàn)。 問(wèn)題原因 Zookeeper-server下面的pom.xml 里面引用jar的時(shí)候加了<scope>provided</scope>導致IDEA加載不到依賴(lài)的包。所以只要將其注釋掉即可。 解決辦法 將Zookeeper-server下面的pom.xml里面的全部的<scope>provided< ......

   簡(jiǎn)介 distributedShell是Yarn自帶的應用程序，和MR類(lèi)似，當前工具可以用來(lái)對Yarn進(jìn)行壓測。 使用示例 參考命令如下： ./bin/hadoop jar ./share/hadoop/yarn/hadoop-yarn-applications-distributedshell-3.4.1.jar \ -jar ./share/hadoop/yarn/hadoop-yarn-applications-distributedshell-3. ......

   背景 新建的HDFS使用web短上傳文件的時(shí)候報錯： Permission denied: user=dr.who, access=WRITE, inode="/":hadoop01 解決 在core-site.xml中增加下面配置,其中hadoop01為hdfs運行的用戶(hù)，修改完重啟hdfs即可。 <property> <name>hadoop.http.staticuser.user</name> <val ......