網站標簽

風向博客、 風向、 江偉的博客、 江偉、 PHP、 jw、 Javascript、 CSS、 LAMP、

---

網站描述

愿你走出半生，歸來仍是少年

---

上一篇：我愛下廚房

下一篇：深圳_廣州除甲醛_甲醛檢測_除甲醛_甲醛治理 - 潔多多除甲醛公司

seo綜合信息

SEO信息	百度來訪IP：- | 移動端來訪IP：- | 出站鏈接：0 | 站內鏈接：142
IP網速：	IP地址：220.181.168.180 [中國北京北京 電信] | 網速：809毫秒
ALEXA排名	世界排名：- | 預估IP：- | 預估PV：-
備案信息	滬ICP備14030279號 | 名稱：江偉 | 已創建：10年11個月1天

收錄	百度	360	搜狗	谷歌
查詢	0	0	0	0

電腦關鍵詞	手機關鍵詞	頁面友好	首頁位置	索引	近期收錄
0	0	電腦端優秀	-	0	0

協議類型HTTP/1.1 200 OK 頁面類型text/html; charset=UTF-8 服務器類型nginx 是否壓縮是 原網頁大小66374 壓縮后大小18249 壓縮比72.51%

網站快照

江 偉 的 筆 記 | 江 偉 的 個 人 博 客 江 偉 的 筆 記 愿 你 走 出 半 生 ， 歸 來 仍 是 少 年 首 頁 關 于 R e d i s 的 通 信 協 議 R E S P 作 者 : a d m i n 時 間 : 2 0 1 9 0 3 3 0 分 類 : 數 據 庫 評 論 R e d i s 作 者 認 為 數 據 庫 系 統 瓶 頸 不 在 網 絡 流 量 , 而 在 數 據 庫 自 身 邏 輯 處 理 上 , 所 以 使 用 了 浪 費 流 量 的 文 本 協 議 , 來 換 取 即 可 的 訪 問 性 能 R E S P R E S P ( R e d i s S e r i a l i z a t i o n P r o t o c o l ) 是 一 種 直 觀 的 文 本 協 議 , 優 勢 是 過 程 簡 單 , 解 析 極 好 , 劣 勢 是 耗 費 流 量 R E S P 將 傳 輸 的 結 構 數 據 分 為 5 種 最 小 單 元 類 型 , 單 元 結 束 時 統 一 加 上 回 車 換 行 符 \ \ r \ \ n 單 行 字 符 串 以 + 符 號 開 頭 / / 單 行 字 符 串 H e l l o W o r l d + H e l l o W o r l d \ \ r \ \ n 多 行 字 符 串 以 $ 符 號 開 頭 , 后 跟 字 符 串 的 長 度 / / 多 行 字 符 串 H e l l o W o r l d $ 1 1 H e l l o W o r l d \ \ r \ \ n 整 數 值 以 : 符 號 開 頭 , 后 跟 整 數 的 字 符 串 形 式 / / 1 0 2 4 : 1 0 2 4 \ \ r \ \ n 錯 誤 消 息 以 符 號 開 頭 W R O N G T Y P E O p e r a t i o n a g a i n s t a k e y h o l d i n g t h e w r o n g k i n d o f v a l u e \ \ r \ \ n 數 組 以 * 號 開 頭 , 后 跟 數 組 的 長 度 / / 數 組 [ 1 , 2 , 3 ] * 3 \ \ r \ \ n : 1 \ \ r \ \ n : 2 \ \ r \ \ n : 3 \ \ r \ \ n N U L L / / N U L L 用 多 行 字 符 串 表 示 , 長 度 寫 成 1 $ 1 \ \ r \ \ n 空 字 符 串 / / 空 字 符 串 用 多 行 字 符 串 表 示 , 長 度 填 0 / / 兩 個 \ \ r \ \ n 之 間 表 示 空 字 符 串 $ 0 \ \ r \ \ n \ \ r \ \ n 客 戶 端 服 務 端 客 戶 端 向 服 務 端 發 送 執 行 只 有 一 種 格 式 , 多 行 字 符 串 數 組 / / s e t a u t h o r c o d e h o l e * 3 \ \ r \ \ n $ 3 \ \ r \ \ n s e t \ \ r \ \ n $ 6 a u t h o r \ \ r \ \ n $ 8 c o d e h o l e \ \ r \ \ n 控 制 臺 輸 出 的 樣 式 * 3 $ 3 s e t $ 6 a u t h o r $ 8 c o d e h o l e 服 務 端 客 戶 端 單 行 字 符 串 響 應 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s e t a u t h o r c o d e h o l e O K 服 務 端 響 應 內 容 + O K 錯 誤 響 應 / / 試 圖 對 一 個 字 符 串 進 行 自 增 的 錯 誤 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > i n c r a u t h o r ( e r r o r ) E R R v a l u e i s n o t a n i n t e g e r o r o u t o f r a n g e 服 務 端 響 應 內 容 E R R v a l u e i s n o t a n i n t e g e r o r o u t o f r a n g e 整 數 響 應 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > i n c r b o o k s ( i n t e g e r ) 1 服 務 端 響 應 內 容 : 1 多 行 字 符 串 / / 雙 引 號 括 起 來 的 字 符 串 其 實 是 多 行 字 符 串 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t a u t h o r c o d e h o l e 服 務 端 響 應 內 容 $ 8 c o d e h o l e 數 組 響 應 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > h s e t i n f o n a m e t e s t n a m e ( i n t e g e r ) 1 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > h s e t i n f o a g e 3 0 ( i n t e g e r ) 1 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > h g e t a l l i n f o 1 ) n a m e 2 ) t e s t n a m e 3 ) a g e 4 ) 3 0 h g e t a l l 響 應 內 容 * 4 $ 4 n a m e $ 8 t e s t n a m e $ 3 a g e $ 2 3 0 嵌 套 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s c a n 0 1 ) 0 2 ) 1 ) i n f o 2 ) b o o k s 3 ) a u t h o r 服 務 端 響 應 內 容 * 2 $ 1 0 * 3 $ 4 i n f o $ 5 b o o k s $ 6 a u t h o r 總 結 R E S P 使 用 大 量 冗 余 的 回 車 換 行 符 , 已 然 是 一 個 非 常 受 歡 迎 的 協 議 . 在 技 術 領 域 , 性 能 并 不 是 總 是 一 切 , 還 有 簡 單 性 , 易 理 解 性 和 易 實 現 性 , 總 之 需 要 學 會 平 衡 . R e d i s 作 者 認 為 數 據 庫 系 統 瓶 頸 不 在 網 絡 流 量 , 而 在 數 據 庫 自 身 邏 輯 處 理 上 , 所 以 使 用 了 浪 費 流 量 的 文 本 協 議 , 來 換 取 即 可 的 訪 問 性 能 R E S P R E S P ( R e d i s S e r i a l i z a t i o n P r o t o c o l ) 是 一 種 直 觀 的 文 本 協 議 , 優 勢 是 過 程 簡 單 , 解 析 極 好 , 劣 勢 是 耗 費 流 量 R E S P 將 傳 輸 的 結 構 數 據 分 為 5 種 最 小 單 元 類 型 , 單 元 結 束 時 統 一 加 上 回 車 換 行 符 \ \ r \ \ n 單 行 字 符 串 以 + 符 號 開 . . . 閱 讀 全 文 . . . R e d i s 的 優 勝 劣 汰 L R U 算 法 作 者 : a d m i n 時 間 : 2 0 1 9 0 3 3 0 分 類 : 數 據 庫 評 論 本 章 主 要 介 紹 : r e d i s 內 存 滿 了 以 后 會 怎 樣 ? r e d i s 的 近 似 L R U 算 法 和 嚴 格 L R U 算 法 有 什 么 區 別 ? R e d i s 的 五 種 最 大 內 存 時 的 釋 放 策 略 場 景 當 r e d i s 內 存 超 出 物 理 內 存 限 制 時 , 會 頻 繁 和 硬 盤 交 換 ( s w a p ) , 極 大 影 響 性 能 r e d i s 可 配 置 m a x m e m o r y 參 數 來 限 制 內 存 超 出 期 望 大 小 當 實 際 內 存 超 出 m a x m e m o r y 時 , r e d i s 提 供 了 五 種 策 略 來 讓 用 戶 自 己 覺 得 如 何 騰 出 新 空 間 提 供 讀 寫 服 務 五 種 策 略 n o e v i c t i o n : 默 認 策 略 . 不 提 供 除 d e l 之 外 的 寫 請 求 , 讀 請 求 可 以 繼 續 進 行 . 保 證 不 會 丟 失 數 據 v o l a t i l e l r u : 嘗 試 淘 汰 設 置 了 過 期 時 間 且 最 少 使 用 的 k e y . v o l a t i l e t t l : 嘗 試 淘 汰 設 置 了 過 期 時 間 且 t t l 小 的 k e y . v o l a t i l e r a n d o m : 嘗 試 隨 機 淘 汰 設 置 了 過 期 時 間 的 k e y . a l l k e y s l r u : 在 全 體 k e y 中 淘 汰 最 少 使 用 的 . a l l k e y s r a n d o m : 在 全 體 k e y 中 隨 機 淘 汰 嚴 格 L R U 算 法 維 護 一 個 鏈 表 , 將 所 有 設 置 了 過 期 時 間 的 k e y 放 在 這 個 鏈 表 中 當 字 典 中 某 個 元 素 被 訪 問 時 , 它 在 鏈 表 中 的 位 置 會 被 移 動 到 鏈 表 頭 部 當 空 間 滿 時 , 就 從 鏈 表 尾 部 開 始 移 除 元 素 近 似 L R U 算 法 為 了 不 維 護 嚴 格 算 法 的 鏈 表 , 節 省 內 存 給 每 個 k e y 增 加 一 個 額 外 2 4 b i t 長 度 的 小 字 段 , 存 儲 該 k e y 的 最 后 一 次 訪 問 時 間 戳 當 空 間 滿 時 , 隨 機 采 樣 取 出 5 個 k e y ( 數 量 可 配 置 ) , 按 時 間 戳 淘 汰 掉 最 舊 的 k e y 循 環 第 二 步 , 直 到 內 存 低 于 m a x m e m o r y 值 隨 機 采 樣 的 范 圍 取 決 于 配 置 的 策 略 是 v o l a t i l e 還 是 a l l k e y s R e d i s 3 . 0 開 始 , 增 加 了 淘 汰 池 進 一 步 提 升 了 近 似 L R U 的 效 果 : 上 一 次 隨 機 采 樣 后 未 淘 汰 的 k e y , 會 放 入 淘 汰 池 留 待 下 一 次 循 環 , 下 一 次 隨 機 采 樣 的 k e y 會 先 和 淘 汰 池 中 的 k e y 合 并 后 , 再 計 算 淘 汰 最 舊 的 k e y 本 章 主 要 介 紹 : r e d i s 內 存 滿 了 以 后 會 怎 樣 ? r e d i s 的 近 似 L R U 算 法 和 嚴 格 L R U 算 法 有 什 么 區 別 ? R e d i s 的 五 種 最 大 內 存 時 的 釋 放 策 略 場 景 當 r e d i s 內 存 超 出 物 理 內 存 限 制 時 , 會 頻 繁 和 硬 盤 交 換 ( s w a p ) , 極 大 影 響 性 能 r e d i s 可 配 置 m a x m e m o r y 參 數 來 限 制 內 存 超 出 期 望 大 小 當 實 際 內 存 超 出 m a x m e m o r y 時 , r e d i s 提 供 了 五 種 策 略 來 讓 用 戶 自 己 覺 得 如 . . . 閱 讀 全 文 . . . R e d i s 過 期 策 略 作 者 : a d m i n 時 間 : 2 0 1 9 0 3 1 5 分 類 : 數 據 庫 評 論 R e d i s 主 要 是 惰 性 策 略 和 定 時 刪 除 兩 種 策 略 結 合 , 來 清 理 過 期 k e y . 惰 性 策 略 客 戶 端 訪 問 K e y 時 , 先 進 行 過 期 判 斷 , 如 果 已 經 過 期 立 即 刪 除 . 定 時 刪 除 R e d i s 將 設 置 了 過 期 時 間 的 k e y 放 在 一 個 獨 立 的 字 典 中 沒 1 0 s 掃 描 一 次 此 字 典 , 隨 機 取 2 0 個 k e y 刪 除 這 2 0 個 k e y 中 的 已 經 過 期 k e y 如 果 已 經 過 期 的 k e y 占 比 超 過 1 / 4 , 則 重 復 步 驟 2 4 問 題 一 : 某 一 個 時 刻 大 量 k e y 過 期 , 影 響 單 線 程 的 r e d i s 讀 寫 操 作 怎 么 辦 ? 大 量 k e y 過 期 一 是 堵 塞 線 程 , 造 成 卡 頓 二 是 大 量 內 存 回 收 導 致 c p u 飆 升 優 化 方 案 每 次 定 時 掃 描 設 置 了 2 5 m s 的 上 限 , 當 客 戶 端 請 求 正 好 遇 到 在 掃 描 時 , 至 多 等 待 2 5 m s , 當 然 如 果 客 戶 端 超 時 時 間 設 置 低 于 此 閥 值 , 則 會 造 成 大 量 鏈 接 因 為 超 時 而 關 閉 , 且 還 不 會 出 現 在 s l o w l o g 中 業 務 開 發 人 員 在 設 置 過 期 時 間 時 , 建 議 加 上 一 個 隨 機 值 , 避 免 在 同 一 時 間 過 期 問 題 二 : d e l 刪 除 大 k e y 卡 頓 主 線 程 怎 么 辦 ? d e l 操 作 是 立 馬 釋 放 內 存 , 小 k e y 的 時 候 沒 沒 有 明 顯 延 遲 如 果 一 個 包 含 了 上 千 萬 的 h a s h k e y , 刪 除 操 作 就 會 造 成 主 線 程 明 顯 卡 頓 優 化 方 案 使 用 上 盡 量 避 免 大 k e y 的 產 生 R e d i s 4 . 0 版 本 引 入 了 u n l i n k 指 令 , 對 刪 除 操 作 懶 處 理 , 交 給 異 步 線 程 執 行 u n l i n k 是 線 程 安 全 的 . R e d i s 中 所 有 數 據 比 作 一 顆 大 樹 , u n l i n k 是 指 令 是 砍 掉 這 個 k e y 所 屬 的 樹 枝 , 丟 到 火 堆 ( 異 步 線 程 池 ) 里 慢 慢 燒 , 在 離 開 大 樹 的 瞬 間 , 就 不 會 被 主 線 程 訪 問 到 . R e d i s 主 要 是 惰 性 策 略 和 定 時 刪 除 兩 種 策 略 結 合 , 來 清 理 過 期 k e y . 惰 性 策 略 客 戶 端 訪 問 K e y 時 , 先 進 行 過 期 判 斷 , 如 果 已 經 過 期 立 即 刪 除 . 定 時 刪 除 R e d i s 將 設 置 了 過 期 時 間 的 k e y 放 在 一 個 獨 立 的 字 典 中 沒 1 0 s 掃 描 一 次 此 字 典 , 隨 機 取 2 0 個 k e y 刪 除 這 2 0 個 k e y 中 的 已 經 過 期 k e y 如 果 已 經 過 期 的 k e y 占 比 超 過 1 / 4 , 則 重 復 步 驟 2 4 問 題 一 : 某 一 個 時 . . . 閱 讀 全 文 . . . R e d i s 事 務 作 者 : a d m i n 時 間 : 2 0 1 9 0 2 2 1 分 類 : 數 據 庫 評 論 R e d i s 的 事 務 不 同 于 關 系 型 數 據 庫 , 事 務 模 型 很 不 嚴 格 , 我 們 對 比 著 M y S Q L 來 看 基 本 用 法 命 令 分 為 : m u l t i 事 務 的 開 始 ( 類 似 M y S Q L 的 b e g i n ) e x e c 執 行 事 務 ( 類 似 M y S Q L 的 c o m m i t ) d i s c a r d 丟 棄 事 務 不 執 行 ( 類 似 M y S Q L 的 r o l l b a c k ) / / e x e c 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t j w ( n i l ) 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > m u l t i O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s e t j w 6 6 6 Q U E U E D 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > e x e c 1 ) O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t j w 6 6 6 這 里 要 注 意 , 如 果 e x e c 返 回 非 O K ( 如 n i l ) 則 表 示 執 行 失 敗 / / d i s c a r d 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t j w ( n i l ) 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > m u l t i O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s e t j w 8 8 8 Q U E U E D 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > d i s c a r d O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t j w ( n i l ) e x e c 之 前 的 命 令 都 被 緩 存 在 事 務 隊 列 里 并 為 執 行 , Q U E U E D 是 一 個 簡 單 的 字 符 串 , 表 示 指 令 已 成 功 緩 存 到 事 務 隊 列 里 . 原 子 性 文 首 我 們 說 了 R e d i s 的 事 務 模 型 不 嚴 格 , 主 要 是 指 原 子 性 , 請 看 下 面 代 碼 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > m u l t i O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s e t j w _ s t r h e h e Q U E U E D 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > i n c r j w _ s t r Q U E U E D 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s e t j w 2 6 6 6 Q U E U E D 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > e x e c 1 ) O K 2 ) ( e r r o r ) E R R v a l u e i s n o t a n i n t e g e r o r o u t o f r a n g e 3 ) O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t j w 2 6 6 6 可 以 看 出 事 務 執 行 到 第 二 個 指 令 失 敗 了 ( 不 能 對 字 符 串 做 + 1 的 數 學 運 算 ) , 但 是 第 三 個 指 令 仍 然 被 執 行 . 所 以 R e d i s 事 務 根 本 不 具 備 原 子 性 , 只 僅 僅 滿 足 了 事 務 隔 離 性 中 的 串 行 化 當 前 執 行 的 事 務 不 被 其 他 事 務 打 斷 . w a t c h 考 慮 一 個 業 務 場 景 , R e d i s 存 儲 了 賬 戶 余 額 , 現 在 需 要 對 余 額 增 減 , 流 程 是 先 把 值 取 出 來 , 修 改 后 再 寫 回 去 . 這 時 如 果 有 多 個 客 戶 端 操 作 這 個 k e y 就 會 出 現 并 發 問 題 , 而 R e d i s 提 供 的 w a t c h 指 令 就 可 以 解 決 這 個 問 題 . , 使 用 方 式 如 下 : 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t j w ( n i l ) 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > w a t c h j w O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s e t j w 6 6 6 O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > m u l t i O K 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > s e t j w 8 8 8 Q U E U E D 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > e x e c ( n i l ) 從 上 面 代 碼 示 例 可 以 看 出 , w a t c h 會 在 事 務 開 始 之 前 就 盯 住 一 個 變 量 , R e d i s 在 執 行 e x e c 時 會 檢 查 變 量 自 w a t c h 后 是 否 有 被 修 改 過 , 包 括 當 前 客 戶 端 在 內 , 如 果 被 修 改 過 , 則 事 務 執 行 失 敗 . 注 意 , R e d i s 禁 止 在 m u l t i 和 e x e c 之 間 執 行 w a t c h 指 令 , 必 須 在 事 務 開 啟 指 令 m u l t i 之 前 盯 住 變 量 R e d i s 的 事 務 不 同 于 關 系 型 數 據 庫 , 事 務 模 型 很 不 嚴 格 , 我 們 對 比 著 M y S Q L 來 看 基 本 用 法 命 令 分 為 : m u l t i 事 務 的 開 始 ( 類 似 M y S Q L 的 b e g i n ) e x e c 執 行 事 務 ( 類 似 M y S Q L 的 c o m m i t ) d i s c a r d 丟 棄 事 務 不 執 行 ( 類 似 M y S Q L 的 r o l l b a c k ) / / e x e c 1 2 7 . 0 . 0 . 1 : 6 3 7 9 > g e t j w ( n i l ) 1 2 7 . 0 . 0 . . . . 閱 讀 全 文 . . . R e d i s 持 久 化 原 理 作 者 : a d m i n 時 間 : 2 0 1 9 0 2 2 0 分 類 : 數 據 庫 評 論 概 述 R e d i s 是 個 內 存 數 據 庫 , 數 據 全 部 存 儲 在 內 存 中 , 如 果 突 然 宕 機 , 數 據 就 會 全 部 丟 失 , 因 此 有 了 將 數 據 刷 到 硬 盤 保 存 的 持 久 化 機 制 . R e d i s 持 久 化 分 兩 種 方 式 , 一 種 是 R D B 快 照 , 另 一 種 是 A O F 日 志 . 快 照 就 是 全 量 備 份 , 內 存 數 據 的 二 進 制 序 列 化 形 式 , 在 存 儲 上 非 常 緊 湊 . A O F 日 志 是 連 續 的 增 量 備 份 , 記 錄 的 是 內 存 數 據 修 改 的 指 令 記 錄 文 本 . 快 照 由 于 R e d i s 是 單 線 程 程 序 , 還 要 同 時 負 責 多 個 客 戶 端 的 并 發 讀 寫 操 作 和 內 存 數 據 結 構 的 邏 輯 讀 寫 . 所 以 快 照 持 久 化 面 臨 如 下 兩 個 問 題 : 快 照 需 要 大 量 I O 操 作 可 能 會 阻 塞 線 上 業 務 , 拖 慢 整 體 性 能 , 而 且 快 照 又 不 能 使 用 多 路 復 用 持 久 化 的 同 時 , 還 需 要 接 受 客 戶 端 請 求 , 正 在 持 久 的 數 據 可 能 會 被 修 改 刪 除 R e d i s 使 用 操 作 系 統 的 多 進 程 C O W ( C o p y o n W r i t e ) 機 制 來 實 現 快 照 持 久 化 原 理 R e d i s 在 持 久 化 時 會 調 用 g l i b c 的 函 數 f o r k 產 生 一 個 子 進 程 . 子 進 程 做 數 據 持 久 化 , 不 會 修 改 現 有 的 內 存 數 據 結 構 , 它 只 是 對 現 有 的 數 據 結 構 遍 歷 讀 取 , 然 后 序 列 化 寫 到 磁 盤 中 . 但 父 進 程 不 一 樣 , 它 必 須 持 續 服 務 客 戶 端 請 求 , 然 后 對 內 存 數 據 結 構 進 行 不 間 斷 修 改 . 這 是 就 會 使 用 到 操 作 系 統 的 C O W 機 制 來 進 行 數 據 段 頁 面 的 分 離 . 當 父 進 程 對 一 個 頁 面 的 數 據 進 行 修 改 時 , 會 將 被 共 享 的 頁 面 復 制 一 份 分 離 出 來 , 然 后 對 這 個 新 復 制 的 頁 面 進 行 修 改 , 子 進 程 繼 續 復 制 原 有 頁 面 , 不 會 受 到 影 響 , 也 就 是 子 進 程 被 創 建 那 一 刻 的 數 據 , 所 以 為 什 么 叫 快 照 . 隨 著 父 進 程 的 持 續 修 改 , 越 來 越 多 的 共 享 頁 面 被 復 制 分 離 出 來 , 內 存 就 會 持 續 增 長 , 不 用 擔 心 內 存 會 暴 增 , 因 為 不 會 超 過 原 有 數 據 內 存 的 2 倍 . 而 且 往 往 冷 數 據 占 比 較 多 , 很 少 會 出 現 所 有 的 頁 面 都 被 復 制 分 離 的 情 況 . 擴 展 一 下 , 因 為 快 照 要 遍 歷 整 個 內 存 , 同 時 大 塊 寫 磁 盤 也 是 非 常 耗 時 的 I O 操 作 , 所 以 建 議 在 從 節 點 上 進 行 . 由 于 從 節 點 可 能 會 因 為 網 絡 等 問 題 , 造 成 同 步 延 遲 , 就 會 操 作 快 照 不 全 , 所 以 監 控 也 很 重 要 . A O F a o f 日 志 存 儲 的 是 R e d i s 服 務 器 的 順 序 指 令 序 列 , a o f 日 志 只 記 錄 對 內 存 進 行 修 改 的 記 錄 . a o f 同 樣 也 面 臨 著 兩 個 問 題 : 隨 著 實 例 的 運 行 , 修 改 性 指 令 序 列 越 來 越 多 , 在 存 儲 和 重 放 ( 重 啟 后 恢 復 ) 上 都 存 在 著 性 能 問 題 a o f 寫 日 志 文 件 的 頻 率 , 過 快 會 因 為 I O 拉 升 機 器 負 載 , 過 慢 如 果 機 器 突 然 宕 機 就 會 丟 失 數 據 重 寫 為 解 決 第 一 個 問 題 , R e d i s 提 供 了 b g r e w r i t e a o f 指 令 用 于 對 a o f 日 志 瘦 身 . 其 原 理 是 開 啟 一 個 子 進 程 對 現 有 內 存 數 據 進 行 遍 歷 , 轉 換 成 一 些 列 R e d i s 操 作 指 令 , 序 列 化 到 一 個 新 的 a o f 日 志 文 件 中 . 序 列 化 完 畢 后 的 再 將 操 作 期 間 發 生 的 增 量 a o f 日 志 追 加 到 新 的 日 志 中 , 然 后 代 替 舊 的 日 志 文 件 . f s y n c 進 程 對 a o f 日 志 文 件 寫 操 作 時 , 實 際 是 將 內 容 寫 到 操 作 系 統 內 核 為 文 件 描 述 符 分 配 的 一 個 內 存 緩 存 中 , 然 后 內 核 異 步 將 數 據 刷 到 磁 盤 . 為 解 決 第 二 個 問 題 , R e d i s 提 供 配 置 刷 新 周 期 , 通 常 是 1 s 就 會 調 用 L i n u x 的 g l i b c 提 供 的 f s y n c ( i n t f d ) 函 數 , 它 可 以 將 指 定 文 件 的 內 容 強 制 從 內 核 緩 存 刷 到 磁 盤 . 擴 展 一 下 . R e d i s 還 提 供 了 另 外 兩 種 可 選 方 案 , 生 產 環 境 中 基 本 不 會 使 用 , 了 解 即 可 一 是 永 不 調 用 f s y n c , 讓 操 作 系 統 來 決 定 合 適 刷 到 磁 盤 另 一 個 是 每 來 一 條 指 令 就 調 一 次 f s y n c 混 合 持 久 化 R e d i s 4 . 0 提 供 快 照 和 a o f 日 志 都 有 各 自 的 痛 點 快 照 因 為 是 每 隔 一 段 時 間 持 久 化 一 次 , 就 會 丟 失 宕 機 時 刻 與 上 一 次 持 久 化 之 間 的 數 據 a o f 因 為 存 儲 的 是 指 令 序 列 , 恢 復 重 放 時 要 花 費 很 長 時 間 綜 合 利 弊 , 使 用 a o f 還 是 更 靠 譜 一 點 , 現 在 R e d i s 4 . 0 提 供 了 更 好 的 混 合 持 久 化 選 項 將 r d b 文 件 的 內 容 和 增 量 的 a o f 日 志 放 在 一 起 a o f 日 志 只 存 儲 r d b 持 久 化 開 始 到 當 前 發 生 的 增 量 日 志 重 啟 時 , 先 加 載 r b d 內 容 , 再 重 放 增 量 a o f 日 志 這 樣 就 可 以 解 決 上 面 的 兩 個 痛 點 概 述 R e d i s 是 個 內 存 數 據 庫 , 數 據 全 部 存 儲 在 內 存 中 , 如 果 突 然 宕 機 , 數 據 就 會 全 部 丟 失 , 因 此 有 了 將 數 據 刷 到 硬 盤 保 存 的 持 久 化 機 制 . R e d i s 持 久 化 分 兩 種 方 式 , 一 種 是 R D B 快 照 , 另 一 種 是 A O F 日 志 . 快 照 就 是 全 量 備 份 , 內 存 數 據 的 二 進 制 序 列 化 形 式 , 在 存 儲 上 非 常 緊 湊 . A O F 日 志 是 連 續 的 增 量 備 份 , 記 錄 的 是 內 存 數 據 修 改 的 指 令 記 錄 文 本 . 快 照 由 于 R e d i s 是 單 線 程 程 序 , 還 . . . 閱 讀 全 文 . . . H T T P / 2 安 裝 部 署 作 者 : a d m i n 時 間 : 2 0 1 8 0 2 1 1 分 類 : 工 具 評 論 本 文 講 述 如 何 部 署 H T T P S 和 H T T P 2 , 后 續 會 再 整 理 其 他 相 關 理 論 , 如 H T T P / 2 的 好 處 , H T T P / 2 與 H T T P S 的 關 系 , 從 H T T P / 1 . 1 升 級 到 H T T P / 2 有 什 么 要 注 意 的 , H T T P / 2 為 什 么 不 叫 H T T P / 2 . 0 環 境 U b u n t u 1 6 . 0 4 , n g i n x 1 . 1 2 . 2 ( 安 裝 時 需 要 s s l 和 h t t p _ v 2 模 塊 ) 獲 取 S S L 證 書 獲 取 證 書 有 多 種 方 式 , 購 買 ( 賽 門 鐵 克 , 也 可 以 在 國 內 各 大 云 服 務 廠 商 購 買 ) , 自 簽 名 , 免 費 的 F r e e S S L 等 本 文 說 明 是 使 用 的 是 免 費 的 F r e e S S L 在 F r e e S S L 上 根 據 提 示 操 作 下 載 得 到 兩 個 文 件 f u l l _ c h a i n . p e m , p r i v a t e . k e y 就 是 我 們 后 面 要 用 到 的 部 署 H T T P S 部 署 H T T P / 2 必 須 要 先 部 署 h t t p s , 這 里 用 n g i n x 配 置 s s l 證 書 , 在 n g i n x . c o n f 中 添 加 : s e r v e r 如 果 強 制 h t t p 跳 轉 到 h t t p s , 再 自 己 在 原 有 s e r v e r 里 加 r e w r i t e , 驗 證 配 置 文 件 有 效 后 重 啟 n g i n x , 就 可 以 使 用 h t t p s 訪 問 站 點 了 # 驗 證 n g i n x 配 置 文 件 s u d o n g i n x t # r e l o a d s u d o s e r v i c e n g i n x r e l o a d 配 置 H T T P / 2 ( N g i n x ) 查 看 n g i n x 是 否 編 譯 了 h t t p _ v 2 _ m o d u l e 模 塊 ? s u d o n g i n x V n g i n x v e r s i o n : n g i n x / 1 . 1 3 . 9 b u i l t b y g c c 5 . 4 . 0 2 0 1 6 0 6 0 9 ( U b u n t u 5 . 4 . 0 6 u b u n t u 1 ~ 1 6 . 0 4 . 9 ) b u i l t w i t h O p e n S S L 1 . 0 . 2 l 2 5 M a y 2 0 1 7 T L S S N I s u p p o r t e n a b l e d c o n f i g u r e a r g u m e n t s : u s e r = w w w g r o u p = w w w p r e f i x = / u s r / l o c a l / n g i n x w i t h h t t p _ s t u b _ s t a t u s _ m o d u l e w i t h h t t p _ s s l _ m o d u l e w i t h h t t p _ v 2 _ m o d u l e w i t h h t t p _ g z i p _ s t a t i c _ m o d u l e w i t h i p v 6 w i t h h t t p _ s u b _ m o d u l e w i t h o p e n s s l = / h o m e / j w / 下 載 / l n m p 1 . 4 f u l l / s r c / o p e n s s l 1 . 0 . 2 l 修 改 n g i n x 配 置 文 件 , 在 h t t p s 配 置 里 加 h t t p 2 關 鍵 字 就 可 以 了 s e r v e r 重 啟 n g i n x 就 可 以 了 , 更 多 關 于 n g i n x h t t p 2 的 詳 細 配 置 驗 證 建 議 安 裝 c h r o m e 的 擴 展 H T T P / 2 a n d S P D Y i n d i c a t o r 方 便 查 看 , 當 你 瀏 覽 的 網 頁 是 H T T P / 2 的 時 候 , 閃 電 圖 標 直 接 亮 起 點 擊 圖 標 , 查 看 詳 細 打 開 c h r o m e 的 調 試 工 具 , 添 加 上 P r o t o c o l , 能 看 到 當 前 域 名 已 經 變 成 h 2 H T T P _ P U S H 最 新 版 本 的 n g i n x 1 . 1 3 . 9 已 經 支 持 H T T P / 2 S e r v e r P u s h 本 文 講 述 如 何 部 署 H T T P S 和 H T T P 2 , 后 續 會 再 整 理 其 他 相 關 理 論 , 如 H T T P / 2 的 好 處 , H T T P / 2 與 H T T P S 的 關 系 , 從 H T T P / 1 . 1 升 級 到 H T T P / 2 有 什 么 要 注 意 的 , H T T P / 2 為 什 么 不 叫 H T T P / 2 . 0 環 境 U b u n t u 1 6 . 0 4 , n g i n x 1 . 1 2 . 2 ( 安 裝 時 需 要 s s l 和 h t t p _ v 2 模 塊 ) 獲 取 S S L 證 書 獲 取 證 書 有 多 種 方 式 , 購 . . . 閱 讀 全 文 . . . e s 報 錯 e s _ r e j e c t e d _ e x e c u t i o n _ e x c e p t i o n [ s t a t u s : 4 2 9 ] 作 者 : a d m i n 時 間 : 2 0 1 7 1 1 2 2 分 類 : 工 具 , 數 據 評 論 描 述 使 用 g o m y s q l e l a s t i c s e a r c h 同 步 m y s q l 數 據 到 e l a s t i c s e a r c h 時 , 由 于 量 大 出 現 一 個 錯 誤 , 如 下 : t i m e = 2 0 1 7 1 1 2 1 T 1 8 : 2 0 : 3 5 + 0 8 : 0 0 l e v e l = e r r o r m s g = u p d a t e i n d e x : p r o d _ d b _ r o o m , t y p e : r o o m , i d : 5 5 6 3 1 4 , s t a t u s : 4 2 9 , e r r o r : t i m e = 2 0 1 7 1 1 2 1 T 1 8 : 2 0 : 3 5 + 0 8 : 0 0 l e v e l = e r r o r m s g = u p d a t e i n d e x : p r o d _ d b _ v d o i d , t y p e : v d o i d , i d : 6 9 2 6 6 6 0 , s t a t u s : 4 2 9 , e r r o r : 分 析 從 報 錯 信 息 初 步 判 斷 是 并 發 量 大 , 可 用 的 8 個 線 程 和 5 0 個 長 度 的 隊 列 不 夠 用 了 , 處 理 不 過 來 解 決 參 考 官 方 文 檔 , 注 意 我 這 是 2 . 4 版 本 的 文 檔 , 各 位 看 官 可 以 根 據 自 己 的 e s 版 本 在 右 側 選 擇 對 應 版 本 的 文 檔 , 在 目 錄 中 依 次 點 擊 M o d u l e s T h r e a d p o o l 看 你 使 用 的 版 本 說 明 , 其 實 這 塊 基 本 通 用 , 不 同 版 本 變 化 不 大 在 e l a s t i c s e a r c h . y m l 文 件 末 尾 添 加 如 下 配 置 后 重 啟 e s 即 可 : t h r e a d p o o l . b u l k . t y p e : f i x e d t h r e a d p o o l . b u l k . s i z e : 8 t h r e a d p o o l . b u l k . q u e u e _ s i z e : 1 0 0 0 其 中 : t y p e 是 要 配 置 的 線 程 池 類 型 b u l k 批 量 操 作 , 也 就 是 我 們 上 面 報 錯 里 提 示 的 i n d e x 用 于 索 引 / 刪 除 操 作 s e a r c h 計 數 / 搜 索 / 建 議 操 作 g e t 獲 取 操 作 s n a p s h o t 用 于 快 照 / 恢 復 操 作 r e f r e s h 用 于 刷 新 操 作 s i z e 線 程 數 量 , 一 般 設 置 為 c p u 核 數 q u e u e _ s i z e 等 待 線 程 處 理 的 隊 列 容 量 其 它 增 加 線 程 和 隊 列 容 量 是 一 種 解 決 辦 法 , 另 外 節 點 數 量 和 分 片 的 分 布 也 是 影 響 原 因 以 批 量 操 作 為 例 , 隊 列 默 認 配 置 是 5 0 個 容 量 , 如 果 3 個 節 點 都 是 8 核 , 那 批 量 操 作 的 并 發 最 大 是 5 0 3 8 = 1 2 0 0 , 如 果 分 片 都 在 同 一 臺 機 器 上 , 那 可 能 只 有 4 0 0 所 以 , 增 加 節 點 數 和 均 勻 分 布 分 片 也 很 重 要 描 述 使 用 g o m y s q l e l a s t i c s e a r c h 同 步 m y s q l 數 據 到 e l a s t i c s e a r c h 時 , 由 于 量 大 出 現 一 個 錯 誤 , 如 下 : t i m e = 2 0 1 7 1 1 2 1 T 1 8 : 2 0 : 3 5 + 0 8 : 0 0 l e v e l = e r r o r m s g = u p d a t e i n d e x : p r o d _ d b _ r o o m , t y p e : r o o m , i d : 5 5 6 3 1 4 , s t a t u s : . . . 閱 讀 全 文 . . . E l a s t i c s e a r c h 添 加 權 限 管 理 作 者 : a d m i n 時 間 : 2 0 1 7 0 7 1 9 分 類 : 工 具 , 數 據 評 論 E l a s t i c s e a r c h 默 認 是 沒 有 權 限 管 理 的 , 只 要 能 p i n g 通 地 址 的 地 方 就 可 以 讀 寫 數 據 , 所 以 還 是 很 危 險 的 , 這 里 選 擇 使 用 插 件 s h i e l d 來 實 現 環 境 版 本 E l a s t i c s e a r c h 2 . 4 . 4 插 件 安 裝 # 這 是 收 費 插 件 , 安 裝 后 免 費 使 用 一 個 月 , 到 期 后 集 群 功 能 不 能 用 , 但 基 本 a p i 不 受 影 響 b i n / p l u g i n i n s t a l l l i c e n s e b i n / p l u g i n i n s t a l l s h i e l d s e r v i c e e l a s t i c s e a r c h r e s t a r t 添 加 用 戶 # l i o n 是 用 戶 名 , 可 以 改 成 自 己 想 要 的 b i n / s h i e l d / e s u s e r s u s e r a d d l i o n r a d m i n # 再 輸 入 兩 次 密 碼 即 可 常 用 用 戶 管 理 命 令 : b i n / s h i e l d / e s u s e r s h # 查 看 幫 助 b i n / s h i e l d / e s u s e r s l i s t # 查 看 用 戶 列 表 b i n / s h i e l d / e s u s e r s p a s s w d l i o n # 修 改 密 碼 b i n / s h i e l d / e s u s e r s u s e r d e l l i o n # 刪 除 用 戶 在 c l i 環 境 下 操 作 e l a s t i c s e a r c h 加 u 用 戶 名 c u r l u l i o n x . x . x . x : 9 2 0 0 / _ c a t / i n d i c e s ? p r e t t y # 按 提 示 輸 出 密 碼 K i b a n a 配 置 在 k i b a n a 配 置 文 件 K A F K A _ P A T H / c o n f i g / k i b a n a . y m l 里 添 加 帳 號 密 碼 e l a s t i c s e a r c h . u s e r n a m e : l i o n e l a s t i c s e a r c h . p a s s w o r d : x x x x x x x 再 重 啟 k i b a n a L o g s t a s h 配 置 e l a s t i c s e a r c h o u t p u t 里 添 加 兩 項 : e l a s t i c s e a r c h H a n g o u t 配 置 H a n g o u t 是 攜 程 團 隊 用 j a v a 開 發 的 代 替 l o g s t a s h 的 一 個 日 志 手 機 工 具 , 還 未 提 供 h t t p s s l 認 證 支 持 . . . p h p e l a s t i c s e a r c h 配 置 p h p e l a s t i c s e a r c h 里 初 始 化 e l a s t i c s e a r c h 連 接 一 般 使 用 這 種 方 式 $ c l i e n t = C l i e n t B u i l d e r : : c r e a t e ( ) s e t H o s t s ( $ h o s t s ) b u i l d ( ) ; 修 改 $ h o s t s 這 里 第 一 種 方 式 : $ h o s t s = [ / / T h i s i s e f f e c t i v e l y e q u a l t o : h t t p s : / / u s e r n a m e : p a s s w o r d ! # $ ? * a b c @ f o o . c o m : 9 2 0 0 / [ h o s t = > f o o . c o m , p o r t = > 9 2 0 0 , s c h e m e = > h t t p s , u s e r = > u s e r n a m e , p a s s w o r d = > p a s s w o r d ! # $ ? * a b c ] , / / T h i s i s e q u a l t o h t t p : / / l o c a l h o s t : 9 2 0 0 / [ h o s t = > l o c a l h o s t , / / O n l y h o s t i s r e q u i r e d ] ] ; 第 二 種 方 式 , 簡 單 , 推 薦 $ h o s t s = [ h t t p : / / u s e r : p a s s @ l o c a l h o s t : 9 2 0 0 , / / H T T P B a s i c A u t h e n t i c a t i o n h t t p : / / u s e r 2 : p a s s 2 @ o t h e r h o s t . c o m : 9 2 0 0 / / D i f f e r e n t c r e d e n t i a l s o n d i f f e r e n t h o s t ] ; 取 消 權 限 認 證 如 果 設 置 后 想 取 消 , 光 刪 除 用 戶 是 沒 用 的 , 需 要 卸 載 s h i e l d 插 件 b i n / p l u g i n r e m o v e s h i e l d E l a s t i c s e a r c h 默 認 是 沒 有 權 限 管 理 的 , 只 要 能 p i n g 通 地 址 的 地 方 就 可 以 讀 寫 數 據 , 所 以 還 是 很 危 險 的 , 這 里 選 擇 使 用 插 件 s h i e l d 來 實 現 環 境 版 本 E l a s t i c s e a r c h 2 . 4 . 4 插 件 安 裝 # 這 是 收 費 插 件 , 安 裝 后 免 費 使 用 一 個 月 , 到 期 后 集 群 功 能 不 能 用 , 但 基 本 a p i 不 受 影 響 b i n / p l u g i n i n s t a l l l i c e n s e b i n / p l u g i n i n s t a l l . . . 閱 讀 全 文 . . . K a f k a 遷 移 T o p i c s 作 者 : a d m i n 時 間 : 2 0 1 7 0 6 1 3 分 類 : 工 具 , 數 據 評 論 K a f k a 擴 展 為 集 群 后 , 需 要 把 原 單 機 上 的 部 分 大 t o p i c 平 衡 到 新 b r o k e r 上 舊 k a f k a 的 b r o k e r i d 為 0 , 新 機 器 的 是 1 遷 移 第 一 步 創 建 m o v e . j s o n ] , v e r s i o n : 1 } 第 二 步 生 成 遷 移 分 配 規 則 j s o n 文 件 注 意 b r o k e r l i s t 我 想 所 有 分 區 都 遷 移 到 新 機 器 , 所 以 只 寫 了 1 , 可 以 寫 0 , 1 b i n / k a f k a r e a s s i g n p a r t i t i o n s . s h z o o k e e p e r l o c a l h o s t : 2 1 8 1 t o p i c s t o m o v e j s o n f i l e m o v e . j s o n b r o k e r l i s t 1 g e n e r a t e 執 行 結 果 : C u r r e n t p a r t i t i o n r e p l i c a a s s i g n m e n t , , , , , , , , , , , , , , , ] } P r o p o s e d p a r t i t i o n r e a s s i g n m e n t c o n f i g u r a t i o n , , , , , , , , , , , , , , , ] } 第 三 步 拷 貝 生 成 的 j s o n 內 容 ( 第 二 段 ) 到 新 文 件 r e a s s i g n m e n t . j s o n 中 , 然 后 執 行 b i n / k a f k a r e a s s i g n p a r t i t i o n s . s h z o o k e e p e r l o c a l h o s t : 2 1 8 1 r e a s s i g n m e n t j s o n f i l e r e a s s i g n m e n t . j s o n e x e c u t e 第 四 步 查 看 t o p i c s b i n / k a f k a t o p i c s . s h z o o k e e p e r l o c a l h o s t : 2 1 8 1 d e s c r i b e t o p i c t e s t 2 T o p i c : t e s t 2 P a r t i t i o n C o u n t : 1 6 R e p l i c a t i o n F a c t o r : 2 C o n f i g s : T o p i c : t e s t 2 P a r t i t i o n : 0 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 1 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 2 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 3 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 4 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 5 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 6 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 7 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 8 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 9 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 1 0 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 1 1 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 1 2 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 1 3 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 1 4 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 T o p i c : t e s t 2 P a r t i t i o n : 1 5 L e a d e r : 0 R e p l i c a s : 1 , 0 I s r : 0 如 果 t o p i c s 比 較 大 , 遷 移 需 要 一 會 兒 , 這 個 時 候 R e p l i c a s 是 b r o k e r 的 0 , 1 共 有 , 稍 后 一 會 兒 遷 移 完 成 后 再 查 看 T o p i c : t e s t 2 P a r t i t i o n C o u n t : 1 6 R e p l i c a t i o n F a c t o r : 1 C o n f i g s : T o p i c : t e s t 2 P a r t i t i o n : 0 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 1 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 2 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 3 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 4 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 5 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 6 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 7 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 8 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 9 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 1 0 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 1 1 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 1 2 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 1 3 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 1 4 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 T o p i c : t e s t 2 P a r t i t i o n : 1 5 L e a d e r : 1 R e p l i c a s : 1 I s r : 1 參 考 文 檔 : h t t p : / / b l o g . c s d n . n e t / l o u i s l i a o x h / a r t i c l e / d e t a i l s / 5 1 6 0 5 1 4 6 K a f k a 擴 展 為 集 群 后 , 需 要 把 原 單 機 上 的 部 分 大 t o p i c 平 衡 到 新 b r o k e r 上 舊 k a f k a 的 b r o k e r i d 為 0 , 新 機 器 的 是 1 遷 移 第 一 步 創 建 m o v e . j s o n ] , v e r s i o n & q u o . . . 閱 讀 全 文 . . . K a f k a 和 Z o o k e e p e r 單 機 擴 展 為 集 群 的 筆 記 ( 內 附 一 個 小 問 題 的 解 決 ) 作 者 : a d m i n 時 間 : 2 0 1 7 0 6 1 3 分 類 : 工 具 , 數 據 評 論 k a f k a 版 本 k a f k a _ 2 . 1 1 0 . 1 0 . 1 . 0 我 用 的 z o o k e e p e r 是 k a f k a 自 帶 的 舊 機 器 i p : x . x . x . x 新 機 器 y . y . y . y 起 因 之 前 k a f k a 一 直 是 單 機 跑 , 由 于 容 量 需 要 擴 容 , 所 以 新 增 一 臺 機 器 將 z o o k e e p e r 和 k a f k a 都 擴 展 為 集 群 文 章 最 后 附 a n s i b l e 的 安 裝 腳 本 Z o o k e e p e r 舊 機 器 的 編 號 是 0 , 新 機 器 編 號 1 , 主 要 修 改 下 配 置 就 可 以 自 動 加 入 集 群 了 # 新 機 器 上 添 加 z o o k e e p e r 編 號 e c h o 1 > / d a t a / z o o k e e p e r / m y i d # 新 舊 機 器 都 修 改 z o o k e e p e r . p r o p e r t i e s 文 件 s e r v e r . 0 = x . x . x . x : 2 8 8 8 : 3 8 8 8 s e r v e r . 1 = y . y . y . y : 2 8 8 8 : 3 8 8 8 K a f k a k a f k a 的 b r o k e r 也 需 要 編 號 , 需 要 在 新 機 器 上 修 改 的 配 置 如 下 , s e r v e r . p r o p e r t i e s 文 件 b r o k e r . i d = 1 a d v e r t i s e d . l i s t e n e r s = P L A I N T E X T : / / y . y . y . y : 9 0 9 2 z o o k e e p e r . c o n n e c t = x . x . x . x : 2 1 8 1 , y . y . y . y : 2 1 8 1 查 看 是 否 成 功 b i n / z o o k e e p e r s h e l l . s h l o c a l h o s t : 2 1 8 1 l s / b r o k e r s / i d s / 遇 到 的 問 題 K a f k a 啟 動 的 時 候 報 錯 [ 2 0 1 7 0 6 1 3 1 0 : 0 7 : 2 4 , 0 2 5 ] E R R O R P r o c e s s o r g o t u n c a u g h t e x c e p t i o n . ( k a f k a . n e t w o r k . P r o c e s s o r ) j a v a . l a n g . N o C l a s s D e f F o u n d E r r o r : C o u l d n o t i n i t i a l i z e c l a s s k a f k a . n e t w o r k . R e q u e s t C h a n n e l $ a t k a f k a . n e t w o r k . R e q u e s t C h a n n e l $ R e q u e s t . ( R e q u e s t C h a n n e l . s c a l a : 1 1 4 ) a t k a f k a . n e t w o r k . P r o c e s s o r $ $ a n o n f u n $ p r o c e s s C o m p l e t e d R e c e i v e s $ 1 . a p p l y ( S o c k e t S e r v e r . s c a l a : 4 9 2 ) a t k a f k a . n e t w o r k . P r o c e s s o r $ $ a n o n f u n $ p r o c e s s C o m p l e t e d R e c e i v e s $ 1 . a p p l y ( S o c k e t S e r v e r . s c a l a : 4 8 7 ) a t s c a l a . c o l l e c t i o n . I t e r a t o r $ c l a s s . f o r e a c h ( I t e r a t o r . s c a l a : 8 9 3 ) a t s c a l a . c o l l e c t i o n . A b s t r a c t I t e r a t o r . f o r e a c h ( I t e r a t o r . s c a l a : 1 3 3 6 ) a t s c a l a . c o l l e c t i o n . I t e r a b l e L i k e $ c l a s s . f o r e a c h ( I t e r a b l e L i k e . s c a l a : 7 2 ) a t s c a l a . c o l l e c t i o n . A b s t r a c t I t e r a b l e . f o r e a c h ( I t e r a b l e . s c a l a : 5 4 ) a t k a f k a . n e t w o r k . P r o c e s s o r . p r o c e s s C o m p l e t e d R e c e i v e s ( S o c k e t S e r v e r . s c a l a : 4 8 7 ) a t k a f k a . n e t w o r k . P r o c e s s o r . r u n ( S o c k e t S e r v e r . s c a l a : 4 1 7 ) a t j a v a . l a n g . T h r e a d . r u n ( T h r e a d . j a v a : 7 4 8 ) 一 番 百 度 搜 索 后 , 有 人 說 是 j a v a 的 小 版 本 號 不 一 致 問 題 , 有 人 說 要 停 掉 舊 k a f k a 機 器 再 啟 動 . 然 而 我 覺 得 并 不 是 這 么 膚 淺 的 原 因 , 然 后 沒 招 就 去 搜 舊 的 j a v a 安 裝 包 沒 找 到 , 果 斷 放 棄 了 , 最 終 只 要 加 下 h o s t s 就 解 決 了 # 新 機 器 上 v i m / e t c / h o s t s y . y . y . y y y y y 后 來 請 教 朋 友 得 到 的 解 釋 是 , 光 p i n g 是 沒 用 的 ， L i n u x 上 的 很 多 服 務 都 會 先 解 析 主 機 名 的 , 好 吧 又 漲 見 識 了 A n s i b l e 部 署 腳 本 # t a s k s / m a i n . y m l n a m e : 檢 測 是 否 已 安 裝 s t a t : p a t h : / u s r / l o c a l / k a f k a r e g i s t e r : k a f k a n a m e : 解 壓 安 裝 包 u n a r c h i v e : s r c = s r c / k a f k a _ 2 . 1 1 0 . 1 0 . 1 . 0 . t g z d e s t = / u s r / l o c a l / w h e n : k a f k a . s t a t . e x i s t s = = F a l s e n a m e : 重 命 名 目 錄 s h e l l : } w i t h _ i t e m s : m v / u s r / l o c a l / k a f k a _ 2 . 1 1 0 . 1 0 . 1 . 0 / u s r / l o c a l / k a f k a w h e n : k a f k a . s t a t . e x i s t s = = F a l s e n a m e : 創 建 k a f k a 目 錄 f i l e : p a t h : } s t a t e : d i r e c t o r y w i t h _ i t e m s : / d a t a / z o o k e e p e r / d a t a / l o g / k a f k a n a m e : i n i t s h e l l : e c h o 1 > / d a t a / z o o k e e p e r / m y i d n a m e : 復 制 k a f k a & z o o k e e p e r 配 置 文 件 t e m p l a t e : s r c : } d e s t : / u s r / l o c a l / k a f k a / c o n f i g / } w i t h _ i t e m s : s e r v e r . p r o p e r t i e s z o o k e e p e r . p r o p e r t i e s n a m e : 復 制 s u p e r v i s o r 配 置 文 件 t e m p l a t e : s r c : } d e s t : / d a t a / s u p e r v i s o r / c o n f . d / } w i t h _ i t e m s : k a f k a . c o n f z o o k e e p e r . c o n f n a m e : 啟 動 s u p e r v i s o r s h e l l : s u p e r v i s o r c t l u p d a t e k a f k a 版 本 k a f k a _ 2 . 1 1 0 . 1 0 . 1 . 0 我 用 的 z o o k e e p e r 是 k a f k a 自 帶 的 舊 機 器 i p : x . x . x . x 新 機 器 y . y . y . y 起 因 之 前 k a f k a 一 直 是 單 機 跑 , 由 于 容 量 需 要 擴 容 , 所 以 新 增 一 臺 機 器 將 z o o k e e p e r 和 k a f k a 都 擴 展 為 集 群 文 章 最 后 附 a n s i b l e 的 安 裝 腳 本 Z o o k e e p e r 舊 機 器 的 編 號 是 0 , 新 機 器 編 號 1 , 主 要 修 改 下 配 置 就 . . . 閱 讀 全 文 . . . 刪 除 k a f k a 的 c o n s u m e r 和 t o p i c s 作 者 : a d m i n 時 間 : 2 0 1 7 0 5 3 1 分 類 : 數 據 庫 , 工 具 , 數 據 評 論 謹 慎 操 作 k a f k a 版 本 0 . 1 0 刪 除 c o n s u m e r s 原 因 : 重 置 o f f s e t , 或 者 是 強 迫 癥 想 清 空 不 用 的 c o n s u m e r 操 作 : # 進 入 控 制 臺 b i n / z o o k e e p e r s h e l l . s h l o c a l h o s t : 2 1 8 1 # 查 看 所 有 消 費 者 l s / c o n s u m e r s # f u c k r m r / c o n s u m e r s / h a n g o u # 再 查 看 沒 了 l s / c o n s u m e r s 刪 除 t o p i c s 原 因 : 騰 出 空 間 操 作 : 物 理 刪 除 數 據 # 進 入 s e r v e r . p r o p e r t i e s 里 配 置 的 數 據 目 錄 l o g . d i r s = / d a t a / k a f k a l o g s c d / d a t a / k a f k a l o g s / # 刪 除 對 應 t o p i c 目 錄 , 配 置 了 多 少 分 區 這 就 有 多 少 目 錄 r m r f l i o n _ s q l l o g * 刪 除 z o o k e e p e r 里 的 記 錄 # 進 入 控 制 臺 b i n / z o o k e e p e r s h e l l . s h l o c a l h o s t : 2 1 8 1 # 查 看 當 前 的 所 有 t o p i c s , 發 現 剛 刪 除 的 t o p i c s 還 在 這 里 躺 著 l s / b r o k e r s / t o p i c s / # f u c k y o u r m r / b r o k e r s / t o p i c s / l i o n _ s q l l o g # 再 查 看 沒 了 l s / b r o k e r s / t o p i c s 謹 慎 操 作 k a f k a 版 本 0 . 1 0 刪 除 c o n s u m e r s 原 因 : 重 置 o f f s e t , 或 者 是 強 迫 癥 想 清 空 不 用 的 c o n s u m e r 操 作 : # 進 入 控 制 臺 b i n / z o o k e e p e r s h e l l . s h l o c a l h o s t : 2 1 8 1 # 查 看 所 有 消 費 者 l s / c o n s u m e r s # f u c k r m r / c o n s u m e r s / h a n g o u # 再 查 看 沒 了 l s / c o n s u m e r s 刪 除 t o p i c . . . 閱 讀 全 文 . . . 1 2 3 4 . . . 6 后 一 頁 ? 文 章 搜 索 搜 索 文 章 分 類 P H P ( 2 0 ) J a v a S c r i p t ( 1 5 ) 操 作 系 統 ( 6 ) 數 據 庫 ( 1 4 ) 雜 談 ( 2 ) 生 活 ( 2 ) 工 具 ( 1 3 ) 數 據 ( 1 4 ) G o ( 1 ) P y t h o n ( 1 ) 最 新 文 章 R e d i s 的 通 信 協 議 R E S P R e d i s 的 優 勝 劣 汰 L R U 算 法 R e d i s 過 期 策 略 R e d i s 事 務 R e d i s 持 久 化 原 理 H T T P / 2 安 裝 部 署 e s 報 錯 e s _ r e j e c t e d _ e x e c u t i o n _ e x c e p t i o n [ s t a t u s : 4 2 9 ] E l a s t i c s e a r c h 添 加 權 限 管 理 K a f k a 遷 移 T o p i c s K a f k a 和 Z o o k e e p e r 單 機 擴 展 為 集 群 的 筆 記 ( 內 附 一 個 小 問 題 的 解 決 ) 歸 檔 M a r c h 2 0 1 9 F e b r u a r y 2 0 1 9 F e b r u a r y 2 0 1 8 N o v e m b e r 2 0 1 7 J u l y 2 0 1 7 J u n e 2 0 1 7 M a y 2 0 1 7 A p r i l 2 0 1 7 M a r c h 2 0 1 7 F e b r u a r y 2 0 1 7 J a n u a r y 2 0 1 7 D e c e m b e r 2 0 1 6 N o v e m b e r 2 0 1 6 A u g u s t 2 0 1 6 A p r i l 2 0 1 6 S e p t e m b e r 2 0 1 5 J u n e 2 0 1 5 M a y 2 0 1 5 A p r i l 2 0 1 5 M a r c h 2 0 1 5 F e b r u a r y 2 0 1 5 J a n u a r y 2 0 1 5 D e c e m b e r 2 0 1 4 N o v e m b e r 2 0 1 4 A u g u s t 2 0 1 4 J u l y 2 0 1 4 F e b r u a r y 2 0 1 4 J a n u a r y 2 0 1 4 D e c e m b e r 2 0 1 3 F e b r u a r y 2 0 1 3 最 新 評 論 熱 門 標 簽 E l a s t i c s e a r c h d i a n d i a n r e d i s m y s q l K a f k a j s t e x t a r e a c u r l 代 碼 段 H i v e e l k 風 向 博 客 h i g h l i g h t l o a d d a t a i n f i l e t a b I n d e n t . j s c o n c a t t r i m j s o n p t a r j p e g 友 情 鏈 接 字 節 貓 w o r d p r e s s 企 業 模 板 ? 2 0 2 4 江 偉 的 筆 記 . 滬 I C P 備 1 4 0 3 0 2 7 9 號 1

站點概括

關于www.jwsblog.com說明：
www.jwsblog.com由網友主動性提交被聚集網整理收錄的，聚集網僅提供www.jwsblog.com的基礎信息并免費向大眾網友展示，www.jwsblog.com的是IP地址：220.181.168.180 [中國北京北京 電信]，www.jwsblog.com的百度權重為0、百度手機權重為0、百度收錄為0條、360收錄為0條、搜狗收錄為0條、谷歌收錄為0條、百度來訪流量大約在-之間、百度手機端來訪流量大約在-之間、www.jwsblog.com的備案號是滬ICP備14030279號、備案人叫江偉、被百度收錄的關鍵詞有0個、手機端關鍵詞有0個、該站點迄今為止已經創建10年11個月1天。

內容聲明：

1、本站收錄的內容來源于大數據收集，版權歸原網站所有！
2、本站收錄的內容若侵害到您的利益，請聯系我們進行刪除處理！
3、本站不接受違規信息，如您發現違規內容，請聯系我們進行清除處理！
4、本文地址：http://m.sycxjdsbhs.com/links/729f24a4070e1601488e.html，復制請保留版權鏈接！

---