ニュージーランドにいた頃、Sparkという通信会社のネットワークオペレーションで1年働きました。そこで身に染みた教訓はシンプルです。人はミスをするし、システムは落ちる。しかもこちらの都合などお構いなしのタイミングで。コントロールできる変数はただひとつ、起きたときにどれだけ備えができているか、それだけです。
ミスを白状しやすくする#
一番効く改善は、技術的なものではありません。ミスをした人が罰せられる職場では、ミスは隠されます。そして隠されたミスの修復は、本来より何時間も、ときには何日も遅れます。「壊しました、やったことはこれです」と数分以内に言えるチームは、必ず復旧が速い。その後の対応も同じくらい大事です。症状にパッチを当てて終わりにせず、根本原因まで掘ること。そうしないと、同じミスが別の顔をして戻ってきます。
そもそもミスが起きる確率を下げる#
ここでは地味な施策が3つ、仕事の大半をこなしてくれます。まずスキルを錆びさせないこと。エラーは古い知識が大好物なので、定期的なトレーニングは福利厚生ではなくメンテナンスです。次に手順を文書化すること。「ヒューマンエラー」の多くは実は「曖昧さエラー」で、ドキュメントがないから誰かが勘で操作しただけだったりします。そして繰り返し作業の自動化。同じ作業を500回正確にこなすのは人間には無理ですが、コンピュータはまさにそのために作られています。加えて、リスクのある作業にはもう一組の目を。ピアレビューでも、型の決まったセルフチェックでも、世に出る前に恥ずかしい数の問題を拾ってくれます。
大物が来る前に計画を書いておく#
まず正直なリスク評価から始めます。ITインフラのような内部の弱点と、自然災害のような外部の脅威の両方です。リアルタイム監視は早期警報システムとして必ず入れておく。そのうえで計画を書きます。事業の混乱全般に対しては事業継続計画（BCP）、IT側に特化しては災害復旧計画。テストしていない計画はただの推測なので、訓練は実施すること。誰がステークホルダーに何を伝えるかも事前に決めておきます。危機のさなかの即興の広報こそ、パニックの発生源ですから。最後に、華のない残りも省略しないこと。地元当局との連絡を保ち、メンテナンスを続け、適切な保険に入っておく。
どれもワクワクしない話ですが、だからこそ機能するのだと思います。障害にうまく対処する会社は運が良いのではなく、すべてが平和なうちに備えていただけです。