自動化で実現！セキュリティアラートの24時間365日対応！

自動化で実現！セキュリティ
アラートの24時間365日対応！

株式会社オージス総研　プラットフォームサービス本部
運用サービス部　運用エンジニアリングチームリーダー　辻知晃氏

こんにちはオージス総研の辻です。
自動化で実現！セキュリティアラートの24時間365日対応ということで、本日はセキュリティに重点を置いてお話しをさせて頂きたいと思います。

会社概要・組織紹介

はじめに会社の紹介をさせて頂きます。
弊社、株式会社オージス総研は1983年大阪ガスのIT子会社として設立いたしました。
主にDaigasグループ向けのシステム開発運用、外販向けにもシステム開発及び管理を行っておりまして、オフィスにつきましては大阪東京に本社機能を持たせております。
次に私が所属する運用サービス部の業務について少しご説明します。
主に二つの業務を行っておりまして、一つ目はデータセンター運用業務となります。大阪第一データセンター、東京第二データセンターの二つのデータセンターに対し監視業務、定常業務、障害時オペレーション業務などを実施しております。
二つ目はオペレーション業務になります。主にDaigas向けの運用を行っておりまして、メインフレームや各サーバのシステム運用、ジョブ運行管理、維持管理が必要となる依頼書業務を実施しております。また、アラート監視ではディスパッチも含め障害一次対応も実施しております。

自動化システム導入の背景

次に、自動化システム導入の背景と課題についてご説明します。背景の一つは、監視アラート対応数が年々増加しているという点です。
資料は2014年からのアラート件数を示しておりまして、年々右肩上りということがお分かりになるかと思います。
当時はアラートのエスカレーションもオペレーターが行なっていましたので、オペレーターの電話連絡にかかる負荷が問題になっていました。
二つ目は、業務ピーク時の業務量が多いということです。システムのリリースやメンテナンスなどの維持管理作業は、年末年始や年度末に固まる傾向があります。
右の表は年度末の業務量ですが、図の通り２月の平均件数を大きく上回る日が続いています。
弊社ではその都度依頼元との調整やオペレーターとの出勤調整が必要になっていました。

次に課題ですが、品質コスト、納期といった点で、確認漏れなどによる品質低下のリスク、増員による人的オペレーターコストの増加の課題があります。納期では作業依頼輻輳による納期遅延が問題となっておりました。
それらの課題に対して、スクリプトによる部分的な改善を行っていましたが、根本的な解決には至らずでした。そこでオペレーションの運用全体を自動化することで課題を解決しようと、2017年より運用自動化の検討を本格的に着手しました。

自動化システム導入のプロセス

それでは、自動化システム導入のプロセスについてご説明します。
導入は六つのプロセスで成り立っておりまして、ここでは焦点を絞ってご説明します。
一つ目は対象作業の選定ということで、自動化で必要な機能と全体像をつかむとありますが、こちらは全作業の洗い出しを行い、作業カタログを作成しました。
一つ一つの作業を細分化し、作業頻度や工数を数値化することで、どの作業を自動化すれば、どれだけの削減効果が期待できるかを明確にし、運用への投資について経営層に対して説明する材料にすることがポイントになります。

二つ目はツール選定ですが、こちらは実際に利用し、ツールの良さを理解することです。
机上で評価することももちろん可能ですが、操作性、使用感など実際に触ってみるまでは分からない部分も多いと思います。
そこで各ツールの特徴を理解することをポイントにおきまして、POC環境を利用し短期間で検証を行ったことがポイントになります。
三つ目は運用設計ですが、自動化しない部分の運用は極力変更しないということです。
運用効率化と言うと、運用全体を見直して効率化に繋げるのが一般的ですが、ここではあえて運用フローを変更しないという方式を選択しております。
運用変更を行うと運用後のフローを理解してもらう必要があったり、オペレーターにも新たに教育を行う工数がかかったり、ユーザーへの負荷が一時的に上がることが考えられます。

その中で反対派が出て、効率化が進まないことが往々にしてあると思いますが、ここでは運用フローの変更は極力しない事でユーザー側にもオペレーター側にもデメリットがない、という点を説明し、大きな反対意見もなく自動化を推進することができました。

ツール選定の決め手

それではツールの選定の決め手をご説明します。弊社はフィックスポイント社のKompiraを採用していますが、ツール選定の決め手は二つあります。
一つは複雑なフローが作成可能であること。業務には比較的簡単なフローを自動化できるものから、複雑なフローにせざるを得ない場合があると思います。
Kompiraは他製品と比較しても比較的容易にフロー化できる点と、既存システムとの親和性も高く、社内システムとの連携も簡単にできることが非常に魅力的でした。
二つ目はベンダーの開発力、提案力、問題解決力に期待できることです。簡単に言うと、フィックスポイント社のサポート力です。
ツールの使用方法ではなく、我々の現場の運用をよく理解してくれて、実務に沿った具体的な解決策の提案を行ってくれる、我々と一緒になって考えてくれると言うことが非常に魅力的でありました。

自動化システムの全体像

それでは自動化システムの全体像と削減実績をご説明していきたいと思います。
こちらは弊社における運用自動化システムの全体イメージです。
各種依頼者作業、障害監視対応、セキュリティアラート対応など、これまでオペレータが手動で行なっていたものが、Kompiraが頭脳となって人の代わりに判断と実行を行うことで、オペレーターは自動化システムの維持管理を行うことにシフトします。

自動化目標と削減実績

次に削減実績を見ていきたいと思います。
工数削減については、2020年3月末時点でアラート通報・定型作業を合わせ7,500時間を削減しております。
さらに基本的な運用フローを変更せずに業務全体のフローを見直すことで、これまでオペレータ要員3名を削減しております。
今後2023年の実働9名という目標に向かって、Kompiraによる自動化をもっと加速させたいと思っております。将来はAIによる非定常の作業も自動化できると予想しておりまして、いやが応でもオペレーションは無人化に近づくと考えております。

目指すオペレーション

次に、我々が目指すオペレーションについてご説明していきたいと思います。我々が目指すオペレーションは、 AI に任せた無人オペレーションです。
オペレーターは判断と実行を行っていましたが、自動化システムの維持管理を行うだけとなり、実際のオペレーションも判断も含めて、全て自動化システムが行うと形になると考えております。
無人オペレーションになった環境で生き残るには、オペレーターからエンジニアへのシフトが必須です。
工数削減=要員削減、人を削るというのではなく、エンジニアとなって自動化の仕組みを作れるような人材を作る。そのように今から備えておく必要があります。

かくいう私も数年前まではオペレータでしたが、今では自動化エンジニアとしてこのKompiraミーティングという場で登壇させて頂いております。
これは、弊社が掲げる無人オペレーションに向けたロードマップとなっております。
Kompira視点、人材育成視点、 AI 視点といった多方面からのアプローチによりまして、我々は AI 時代の無人オペレーションに備えております。
既存のオペレーション業務を行いながら、そんな時間があるのかと疑問をお持ちになられるかもしれません。しかしこれまでの実績にある通り、自動化によって必要な時間は既に確保できています。
その証として今年度4月より運用自動化をさらに拡大するため、運用エンジニアリングチームを新設致しました。

SOC（Security Operation Center）対応事例紹介

それでは、ここからは事例紹介としてSOC対応について紹介します。まずは、SOCの特徴を見ていきたいと思います。
まず複雑化、高度化といったところで、昨今システム環境や端末の多様化を受けまして、サイバー攻撃も多種多様となっています。それらの対策を行うためには一つの製品ではまかないきれず、複数の製品を組み合わせて監視する必要があります。
さらに、これらの監視を行うためには高い専門性が要求される上に、サービスやツールの使用方法や
解析手法まで、幅広い知識が要求されるため、それなりに経験を必要としていることが特徴の一つだと思います。
二つ目は対応品質の維持です。セキュリティアラートの中には対応不要なアラートが大量に含まれ、それら一つ一つを人間の目で判断するのは限界があります。
本来対応すべきアラートを見落とすとか、誤った操作を行うと重大な影響が発生するという点で、判断ミス・操作ミスが命取りになるというのがもう一つの特徴です。

人的リソースの確保では、セキュリティに特化した人材の確保の難しさ、その根底には超少子化時代があり、 SE が24時間対応交代勤務を敬遠しがちという、その裏には働き方改革があります。
そのような中で専門要員や24時間365日の体制の確保が難しく、しかし発生するアラートに対して24時間365日、正確かつ即時の対応が求められるところが最大の特徴であると思います。

セキュリティアラート発報時の連絡・判断フロー

それでは、弊社のセキュリティアラート発報時の連絡判断フローを見ていきたいと思います。
オペレーターはアラートメールを受け取ると、切り分けを行いながら端末状態確認、隔離操作、メール連絡、対応記録という流れで対応を行っていきます。
対応を受け取った側としても対応結果により緊急要否の判断を行いまして、必要に応じ体制等の確立を行います。
ここで注目すべき点は、監視は複数の製品を使用しているという点です。そのためアラートの切り分けや端末状態確認、隔離操作に時間を要します。
弊社は三つの製品を使用しておりまして、製品 A の特徴はアラートメール内に端末情報として端末名が記載されているのに対し、製品Bの特徴はアラートメールに端末情報として端末の IP アドレスが記載されているという点です。
そのため、端末名の特定のために別サーバーに対して問い合わせを行うといった、ひと手間が加わるところが特徴です。
対して製品Cの特徴は、アラートメールを受信した時点では対応要という判断をせず、監視システムにログイン後に行うステータスの確認によりまして、対応要と判断した場合には隔離操作を行うといった流れになります。
これら製品ごとの仕様の違いによって、人による正確、かつ迅速な判断対応が非常に難しくなっています。

セキュリティアラート24時間対応を行うにあたっての課題

次に、セキュリティアラートの24時間対応を行うにあたっての、課題を見ていきたいと思います。
課題の一つ目は対応の迅速化です。オペレーターはセキュリティアラート対応の他にも色々な業務を抱えていますが、そういった中でも24時間365日即時での対応が求められます。
セキュリティアラート対応のために対応中の作業を中断すると、思わぬオペレーションミスを誘発するといった懸念もあります。
二つ目、対応要員の体制の確保ですが、弊社は24時間365日の監視を行っていますが、セキュリティ・アラート専用の要員を配置しているわけではございません。
24時間365日の迅速な対応を行うためには要員を追加して、体制を確保する必要性がありますが、だからといってコストを増やすわけにはいかないという課題があります。
三つ目は、切り分け判断の均一化です。アラートの中にも対応要不要なものが混在するといった状況で、目視によりそれらを瞬時に見分けて対応の要否を判断するため、品質面でのばらつきがあるということが課題となっています。
これらの課題の解決にあたり、これまでの自動化のノウハウと技術で自動化するしかないという結論に至り、セキュリティアラート24時間対応の自動化導入を検討いたしました。

自動化後のシステム構成概要

こちらは自動化後のシステム構成概要です。
自動化後はオペレーターの代わりにKompiraがアラートメールを受けて、内容に応じて対象 PC の隔離指示や結果報告を行う形にシフトしました。
オペレーターは、自動化処理が正常に稼働しているかどうかを監視し、これによりオペレーターは24時間365日の監視から解放されて人手による即時対応からも解放されます。

自動化後の効果

それでは自動化後の効果を見ていきたいと思います。
自動化前は、アラートメールの受信から切分けに一件あたり約3分程度、切分け後に端末状態確認や隔離操作が必要であれば一件に20分程度、メール連絡、対応記録に一件7分程度ということで、トータルして最大でも30分程度かかっていました。これが自動化によって、全て合わせても数秒程度で終わり、突発的な増加に対しても即時対応可能になりました。

セキュリティアラート24時間対応自動化導入後

次にセキュリティアラート24時間対応自動化後の効果について見ていきたいと思います。
一つ目、対応の迅速化ですが、他の業務に左右されずタイムリーで、かつ迅速な対応が可能となりました。
二つ目は対応要員の確保ですが、増員や体制を確保することなく、現有要員で対応可能になりました。
三つ目の切り分け判断の均質化ですが、システムによる切り分け判断を行うため、高速でかつ正確な判断が可能となりました。

以上の結果によりまして、セキュリティアラート24時間対応に対して自動化を適用することで、我々オージス総研が目指す無人オペレーションにまた一歩近づいたと確信しております。

オージス総研のソリューションサービス

最後に少しだけ当社のKompiraを用いたソリューションサービスについてご紹介させていただきたいと思います。
背景ですが、クラウドサービスの需要動向は企業の約6割はクラウドサービスを利用しており、今後もクラウドを利用する動きが続くといったところがあります。
2024年の市場規模は2019年の約2.4倍になるといったデータも出ておりまして、国内市場はすでに複数のクラウドを利用するマルチクラウド化は一般化してる状況です。

そこで視点を変えて、クラウドを利用していない理由にフォーカスを当ててみたいと思います。
クラウドを利用しない理由としまして、一つは必要がないという点や、情報漏洩などセキュリティに不安があると言った点、クラウドの導入に伴う既存システムの改修コストが大きいといった点、ネットワークの安定性に対する不安があるといった点になります。
ここで着目するべきなのは、不安に対してクラウド運用における知見が少ないことが根本にあるのではないかと考えられます。

オンプレとクラウドが混在する環境

そういった様々な背景がある中でも、クラウドを利用する企業は今後も増加するといった形でありまして、一部はオンプレ、一部はクラウドといったハイブリッドを使用する企業が増えています。
そういったハイブリッドという環境下において新たな課題も出ておりますので、少し紹介していきたいと思います。
一つ目は管理ツールが多く影響されていて使いこなすだけで運用負荷がかかるというところです。二つ目はオンプレ、クラウドそれぞれでアカウントを管理をしなければならず、作業が煩雑になるというところ。三つ目はそれぞれの環境で見るコンソールが違っていて稼働状況の把握が難しいというところです。
そういった課題に対応するサービスが弊社のハイブリッドクラウド統合運用管理サービスとなります。

ハイブリッドクラウド統合運用サービス

本サービスはオンプレやプライベート、パブリッククラウドなどの複数のサービスを利用しているシステム環境に対し、シームレスな統合監視、運用環境をご提供するサービスとなってます。
管理対象はモニタリング、オペレーション、統合ダッシュボードの三層で構成されておりまして、統合ダッシュボードでは監視や運用を行うために利用するサービス側での環境の違いや仕様変更を吸収し、必要な情報のみを効果的に統合管理します。
また AWS well architected などのフレームワークをベースとしたシステム運用のベストプラクティスに基づき、個別の運用設計、ポリシー策定にかかる工数を大幅に削減することが可能となっております。
もちろん検知した情報に対してのアクションを、Kompiraを中心に自動化することにより、システム運用にかかる負担軽減を実現することができます。