冗長化は計画的に

会社員の朝は早い。

始業時刻の9時までに、ダレーダーに社員証を

かざさなければ問答無用で遅刻扱いとなる。

朝が弱い僕にとって、遅刻せずに出社するのは

なかなかハードルが高い問題である。

 

今日はガチでぎりぎりだった。

8時42分の電車が本当のギリギリだと判明した。

神業のような滑り込みセーフ。朝から汗だく。

フレックス制度を導入してくれりゃいいのに。

 

 

そして、昼からデータセンターへ外出した。

うちのプロジェクトの開発環境にあるサーバの

HDDが今日未明に死亡するという事件が発生した。

もちろんRaid1(ミラーリング)による冗長化構成は

とっていたが、今回はまさかのダブルフェール。

要するに、2台あるHDDが2台とも死んだ。

RAID1で構成する場合、スペア用のHDDをさらに1台
用意するのが常套手段らしい。そうすることが
ダブルフェールの対策らしいが、知らなかった…
RAIDについてご存じない方は下記リンクをどーぞ。
そして泣く泣くデータセンターへ向かった。
データセンターというのはその機密性から、
地図上の場所は明らかにされていない。
なので、初めて行く場合は結構大変なのである。
今回は初めてじゃないから余裕だったけど。

普段はデスクワークなので、こういう社外作業は
結構楽しみだった。LTO、オートローダー、
UPS、RDX…、サーバーラックに入っている機器は
普段あまりお目にかかることがないものなので、
僕は結構ワクワクしていた。行くまでは…


行ってみてからの作業は大変の一言。
まず、サーバールームには椅子がない。
そのため、作業が終えるまで基本的に立ちっぱなしで
作業をすることになる。短時間ならそれでもいいが
今回はデータ復旧という完全なる長丁場の作業。
終盤になると尋常じゃなく足腰が痛くなってくる。

その上、インフラ作業というのは、基本的に
シナリオ通りに順調に進むことはまずない。
必ずどこかで壁にぶつかり、そのたび臨機応変な
課題解決が求められる、非常にエキサイティングな
仕事である。今回も色々問題が多かった。

まずは陳腐化した惨事復旧手順書。
基本的に嘘だらけな上に、肝心のポイントが
抜けていたりすることが多い。情報も古いまま
更新されていない。誰だこんなゴミを作ったのは。

四苦八苦してシステム状態の復旧が完了した。
その後に最新のバックアップデータを使って
データ復元をしていくわけだが、いざ行うと
原因不明のエラーが発生して先に進めず。
…このバックアップデータ、本当に大丈夫？


結局、今日一日では完全な回復はできず。無念。
夜の22時までデータセンターで作業に明け暮れていた
にも関わらず、この結果はまことに遺憾である。

明日もたぶん行くんだろうな～。
あぁちくしょうめんどくせぇ。
自分の無能ぶりが呪わしい…