NEC様事例

社会価値型創造企業として、ICTの力を活用し、持続可能な社会の実現を目指す日本電気株式会社は、自身をゼロ番目のクライアントとする「クライアントゼロ」の考え方のもと、自らが先んじて変革に挑み、そこで得た”活きた経験やノウハウ”をお客様や社会に提供しています。こうした変革への取り組みの一つに「運用のDX」があります。社内にある膨大な数のシステムに対して標準化された運用プロセスを適用し、全体最適を図ることで、複雑化しがちな分散クラウドの運用を簡素化する取り組みです。その先に目指すのは、本来の業務にフォーカスし、人ならではの価値を創出できる環境です。インシデント管理のプラットフォームにPagerDutyを導入した同社は、その実現に大きな手応えを感じています。

社内システムの「運用のDX」推進にあたり運用を標準化するアーキテクチャの検討へ

　創業以来の長きにわたる活動の中で、先進的な技術とさまざまな知見・経験・アイディアを駆使し、イノベーションを起こすことで社会に貢献してきた日本電気株式会社（以下、NEC）は、「安全・安心・公平・効率という社会価値を創造し、誰もが人間性を十分に発揮できる持続可能な社会の実現を目指すこと」をPurposeに掲げ、戦略と文化を結び付けた一体的な取り組みを進めています。その根底にあるのは、Purposeの実現に向けて戦略を実行するのは「人」であり、人の強さが「文化」であるとする考え方です。2つの変革を両輪で回すために「社内のDX」に力を注ぐNECでは、具体的な取り組みとして、IT運用の効率化・高度化の実現に向けた「運用のDX」を推進しています。

　運用のDXの目的は、セキュリティ対策を含め、社内システムの運用業務の効率化を図り、人ならではの付加価値を生み出せる本来の業務にフォーカスできるようにすること。NECの社内には、1,000にも及ぶ多様なシステムが存在し、依然として人が介在している非効率な業務も少なくありません。複雑化する一方の分散クラウドを長期にわたり安定的に運用していくために、NECでは独自の運用モデル「Digital Native 運用モデル」を採用。この中で、ITILベースでシステム運用を標準化するためのアーキテクチャを「コンポーザブルオブザビリティアーキテクチャ」として定め、全体最適を図ることで運用品質の向上や徹底した運用の効率化を目指しています。

　”デジタル化と標準化で人の力を解き放つ”というビジョンのもと運用のDXを推進するNECのコーポレートIT・デジタル部門が、インシデント管理プラットフォームPagerDutyの導入に踏み切ったのも、こうした動きが背景にあってのことでした。

山のようなアラートを手作業で処理　対応状況の把握も難しく業務が属人化

　インシデント発生時のビジネスインパクトを最小限に抑えるためには、ITILに準拠した運用の最初のプロセスであるインシデント管理が適切に行われることが大切です。これまで手作業で実施してきたインシデント管理について、吉良氏はこう振り返ります。

　「以前は、膨大な数のシステムから上がってくる山のようなアラートを手作業で処理していました。インシデントの種類や影響、緊急性などを踏まえて対応の優先度や対応策を人が判断し、必要に応じてしかるべきエンジニアにエスカレーションしていたわけです。また、インシデント対応にあたり、誰をアサインしたのか、誰がどのようなプロセスを経て処理をしたのか、詳細な対応履歴や進捗状況を速やかに把握することが難しく、担当者の経験値に依存する部分が多かったため、業務が属人化してしまっていました。これでは、どこでムダな作業が発生しているのか、改善点を分析することもできません。」

　アラートの精査に時間がかかれば、初動の遅れにつながり、運用管理の品質が低下します。しかも、このままでは担当者の負荷が減ることはなく、この先も多大な時間とコストを費やし続けることになります。そこで同社は、インシデント対応における手作業や反復作業を自動化するためのツールにPagerDutyを選定。その理由を吉良氏は、「PagerDuty と同等の機能を有するツールが他に見当たりませんでした。IT サービスマネジメント（ITSM）ツールとして利用しているServiceNow との連携も視野に入れていましたから、親和性の高さも決め手になりました」と説明します。

　同社は、検証期間を経て、まずは24時間365日体制でインシデントの一次対応を行う統合監視センターにPagerDutyを導入。同センターでは、73のシステムから上がってくる月間2万件ものアラートを約20名による4交代制で監視しており、現在は既存環境を並行で運用しながら、PagerDutyの活用を段階的に進めているところです。

ノイズ除去によりアラート数が約70％減少　少ない負荷で確実な運用が可能に

　現時点でのPagerDutyの導入効果について、江原氏は、「膨大な数のアラートの中からシステム障害につながるアラートだけを自動的に切り分けてくれるので、手作業での処理が不要になりました。上がってきたアラートはすべて対応が必要なものであるという点が、これまでとの最大の違いです。アラートの数が減り、一次対応における業務負荷が大幅に軽減されただけでなく、少ない負荷で確実なインシデント対応が行えるようになりました。今までは見落としがちだったアラートにも、すぐに気づいて対処できます」と語ります。

実際、オペレーターの画面に上がってくるアラートの数は約70% 減少。手作業によるアラートの切り分けが不要になった上に、対応が必要なインシデントには適切なメンバーが自動でアサインされ、担当者がアサイン先を検討する必要がなくなりました。同社は、運用の手間が大きく軽減された効果として、インシデントの解決までにかかる時間が少なくとも半減すると見込んでいます。

　また、「これまでは画面に表示されるアラートを監視し続けていましたが、PagerDutyのプッシュ型通知機能を活用すれば、画面から離れていてもアラートを見過ごす心配はありません」と江原氏。さらに導入当初からの計画にあったServiceNowとの連携においては、PagerDuty側のインシデント情報をServiceNowにインプットし、後続対応を経てクローズしたインシデント情報が再びPagerDuty側に連携される仕組みを実現。ServiceNowが持つITSMツールとしての機能をPagerDutyで拡張することで、ServiceNowで管理するインシデントを最小化すると共に、インシデント対応に関わる正確な記録をPagerDutyに集約し、運用の高度化を可能にしています。

エンドツーエンドの自動化を進めると共に社内のシステムすべてに段階的に適用

　今後は、インシデント対応をエンドツーエンドで自動化していきたいとして、高津氏は次のように語ります。
　「PagerDutyにすべての対応履歴が残っていきますから、一つひとつの対応が正しかったのかどうかを精査し、類似のインシデントが発生した際の自動化につなげていけば、担当者の負荷はさらに軽減されます。最終的に修復・復旧までの全プロセスを自動化することも不可能ではないでしょう。ナレッジの活用により対応のスピードアップも図れますし、ビジネスインパクトの少ない軽微なインシデントへの対応を減らすことで、より緊急度の高い重要なインシデントへの対応に集中できます。」

　江原氏も、「PagerDutyの機能だけで高度に自動化できれば、オペレーターの介在が不要になり、インシデント対応にかかる時間を限りなくゼロに近づけられるはずです」と付け加えます。

　「我々のミッションは運用の効率化と高度化です。対応を可視化してムリ・ムダの改善を促すことができるPagerDutyは、インシデント対応の効率化・高度化において中核を担う製品だと考えています。社内に約1,000あるシステムに段階的に適用していくことで、それこそ何百時間という単位で運用工数の大幅な削減効果が見込めるでしょう。」（吉良氏）

　運用のDX を担うアーキテクチャとして重要な役割を担うPagerDuty は、人ならではの付加価値の創出を目指すNEC のDigital Native 運用モデルの実現に、大きく寄与しようとしています。

「トリアージやフィルタリングの機能によりアラートの数が約70% 減り、エスカレーションの手間も削減されました。運用を高度化するアーキテクチャの一つとして大いに期待しています。」

吉良 好文 氏

日本電気株式会社
コーポレートIT・デジタル部門/運用DX統括センター
上席プロフェッショナル

高津 正明 氏

日本電気株式会社
コーポレートIT・デジタル部門/運用DX統括センター
ディレクター

江原 貴彦 氏

日本電気株式会社
コーポレートIT・デジタル部門/運用DX統括センター
プロフェッショナル