Session Log

苦労せず運用現場の苦労話を聞く、Kompira活用におけるリアルを語る

Kompass Days 2022

KompiraとITSMツール連携による
自動化システム導入とその効果

興安計装株式会社
第1事業部 ICT技術サービス部門 Owlookサービス部
部長 正岡 康洋氏

皆様こんにちは、興安計装の正岡と申します。
よろしくお願いいたします。

本日は「KompiraとITSMツール連携による自動化システム導入とその効果」として、我々が自動化システムを導入するにあたり取り組んできたことや、現在Kompiraをどのように活用させているのか、導入したことによってどういった効果があったのかについてお話しさせていただきます。

この後簡単にご紹介しますが、当社は24時間365日、お客様のシステムやセキュリティの監視運用を行う『Owlook(アウルック)』サービスを提供するセンターで、自動化システム導入に向けたプロジェクトを現在進行形で進めております。
本日の話が少しでも自動化システム導入を検討されている方や、既に導入されている方の参考になれば幸いです。

それでは本題へ入る前に、当社の会社概要と提供サービスについて簡単にご紹介します。
当社は1960年(昭和35年)に愛媛県松山市で創立しました。
現在は愛媛、東京、大阪、山口の4県で3つ事業を展開しています。

当社原点となるプラントのメンテナンスを行う計装技術サービス部門は、愛媛の新居浜、山口の岩国を中心に、また主に在宅医療機器に組み込む電子基板の設計・開発/製造・修理等を行うヘルスケア技術サービスは愛媛の松山を中心に展開しています。
そして、私たちICT技術サービス部門は、東京、大阪を中心に展開しています。

次に馴染みのない方もいらっしゃるかと思いますので、当社の社名にもある計装について少しお話しいたします。
計装とは、産業プラントの計測制御装置を装備し、点検、整備、校正の一連のプロセスを管理することです。
当社は創業当時より産業プラントでの設備の保守・運用を行ってまいりました。
産業プラントでは危険な化学物質や原料を使用しているので、小さなミスが命にも関わる大きな事故につながる状況があります。
「安全を全てに優先する」の方針に基づく、24時間の監視体制、ミスの無い完璧なオペレーションの追求は、この計装事業が原点となっております。
当社はそこで培ったノウハウを生かして、ICT分野にも進出を果たし、お客様システムの監視運用・保守サービスを提供しています。

「Owlook」について

続いて、当社サービス『Owlook(アウルック)』についてご紹介させていただきます。
Owlookは当社のMSPサービスブランドで、英語でフクロウを意味する「Owl」と、見るを意味する「Look」を掛け合わせた造語となっています。
古来より森の賢者と言われるフクロウが広大なインターネットの森を眺めているイメージを語源としております。
Owlookは、お客様システムの監視/保守/運用、また各種モニタリングやセキュリティ運用支援サービスを取り揃えています。
お客様の各種サービス、サーバ、ネットワーク、セキュリティを総合的にお任せいただくことで、日々の運用管理のコスト負担を軽減し、安心・安全をご提供します。

従来のサービスシステムの構成


当社では、もともとオペレーションの自動化の取り組み自体は進めており、こちらの図が当社の自動化を取り入れた、これまでの監視システムの構成図になります。
統合監視システムの監視状態やオペレーターの対応状況をリアルタイムに表示できる、「Owlookポータルサイト」を開発し、お客様がいつでも見える形でサービスを提供しておりました。
さらにこの統合監視システムとOwlookポータルサイトを連携する「Owlookオペレーションシステム (O2S)」というものを独自開発し、自動化の取り組みを進めました。

しかし、こちらの「Owlookオペレーションシステム」は自社開発ということもあり、機能拡張スピードが遅かったり、お客様が所有している監視システムと連携が難しいというような課題が発生しました。
Owlookオペレーションセンターの業務全体を統合していくため、この課題について取り組む必要がありました。

Kompira導入の目的

そこで導入したのがKompiraになります。
継続的改善が可能で、自動化の開発支援ができるオペレーション自動化ツールのKompiraを導入することで、こちらの課題について解決してきました。
Kompiraを取り入れたことで、当社の統合監視システムだけではなく、外部にあるお客様所有の監視システムからのアラートにも対応できるようになりました。
また、インシデントの起票や機器状態の確認、一次保守といったところも自動実行できるようになりました。

その後Kompira Pigeonを使って、お客様への電話の自動通知や、通知時にあらかじめお客様の方で一次保守を設定していただき、それをオペレーターで実施するのではなくKompira Pigeon越しにダイヤル選択による自動実行ができる、というような形で組み込みました。
これによりオペレーター対応の高速化、品質向上が実現しました。

導入に向けての整理(AsIs)


もう少し詳しくKompiraを含め自動化システム導入に向けて、当社が何を行ってきたのかをお話しさせていただきます。
まずは現在の状況を知るために、サービス体制のAsIsを整理いたしました。

Owlookのサービスとして行っている業務、システム運用監視、また監視のヘルプデスク、その他受付業務といった業務について、ベンダやパートナー含めた体制図を作成し、使っているシステムやツール等を整理し、またそこから出てくる課題も整理していきました。


また、各業務の標準的なプロセス図を起こし、人によって判断しているポイントや、例外的に対応しているような注意点を整理した形になります。

こちらの図が当社のシステム監視サービスでアラートメールを検知した際のプロセス図になります。
このような形でアラートメール受信から各プロセスと分岐点で注意点等のポイントを書き出し、整理していきました。
このあたりは当社の計装哲学として手順を徹底遵守するという考えに基づき、手順書やフローを整備しているというところから、比較的整理しやすかったと考えています。

導入に向けての整理(ToBe)


続いてその後ToBeとして各課題に対し、どういったツールが必要で、どのポイントが自動化すべきなのかを整理しました。

当社の場合は様々なことにチャレンジしながらOwlookサービスを形成したということもあり、業務や担当で使っているツールやプロセスがバラバラになっておりました。 まずはそこを統合管理するためのツールとして、ITSMツールの導入を決定しました。
こちらでインシデントやナレッジの引き継ぎ、顧客情報といった情報を一元的に管理することで、その後の自動化対応も効率的に進めることができるのではないかという考えもありました。

結果的にITSMツールについてはフィックスポイント様からの勧めもあり、当社課題にもマッチし、かつKompiraとの連携実績もあるとのことで、株式会社ユニリタ様のLMISをご紹介いただきました。
また、監視ヘルプデスク業務や受付業務に関しては画一的に対応できる要素が少なく、自動化対応による大きなメリットが少なかったため、今まで取り組んできた自動化を拡張するような形で、監視・運用部分を対象にKompira導入を進めていきました。


各プロセスもKompira導入を前提とした標準プロセスを検討し整理していきました。
新規のお客様はもちろんですが、既存のお客様にも作成した標準フローに則る形で業務整理を行いました。Kompiraによる自動化対応とその後のフォロー、また人手でしかできないような複雑な作業、この辺りの整理を行っていたという形です。

対応記録の項目整理(AsIs)


続いてAsIs / ToBeの整理をする中で最も大変だった作業になります。
当社の対応記録、インシデントの記録として横軸が案件数、縦軸がインシデントの記録の中で管理していた項目数になっております。

今回整理を行った時に案件数としては百数十件ありまして、縦の項目数は452項目ありました。
さらに、当社はお客様への月次/週次でのレポート報告も行っており、細かな項目を合わせると1133項目というとてつもない数の項目が出てきました。
実際ここを担当者の方で管理をしてきたというところで、よく対応できていたな、と担当者の頑張りに感動してしまいました。

体制やプロセス整理の中で出てきた通り、インシデントの記録はITSMツールのLMISに統合することが決定していたので、LMISに管理する項目を整理し、必須項目は何なのかといった部分を〇と◎で表しています。
似通った項目等は統廃合できないかも整理していき、最終的にLMISのインシデント管理へ記録する項目は72項目になりました。
それでもかなり項目数が多いように感じると思いますが、案件によってはどうしても個別で収集しなければならない項目があり、このあたりは今もお客様と整理しながら進めている状況です。

自動化システム構成


続いて自動化システムの構成についてご紹介させていただきます。
アラートメールの受信と、アラートメールと案件の紐づけ、また、対応に必要な情報の抜き出しにKompira AlertHubを利用しています。
そこからKompira Enterpriseに連携され、その後お客様へのメール通知を実施したり、必要に応じてKompira Pigeonで自動電話を行ったりしています。

また、一次保守対応等も自動化しており、ここはKompira Enterpriseでお客様のシステムに対して一次保守対応を実行し、その結果がすべてLMISの方へ自動記録されるように作り込んでおります。

Kompiraの特徴的な利用方法


ここからKompiraについて特徴的な部分を含め、もう少し動きを説明していきます。
まず基本的な処理はKompira Enterpriseが一元的に実施する形で連携しています。
これにより、人で判断を行っていた部分のフォローや、LMISへの一元的な記録を行う処理が実現できています。

例えば、メールを受けてお客様へ電話通知するだけであれば、Kompira AlertHubとKompira Pigeonを連携させるだけで実現可能ですが、当社の場合はその間にKompira Enterpriseを挟んでおります。
当社ではもともとアラート発生時に即時連絡をせず、一定の待機時間を持たせることで発生するアラートの情報を集約をし、監視経路上の異常や監視システム自体のトラブルによる誤報を防ぐという機能を持たせておりました。

また、同一ホストでアラートの発生から回復までを紐付け、LMISに持たせている顧客情報をKompira Enterpriseを介してKompira Pigeonへ連携することで、連絡通知を行うというような形、人で判断や対応していた部分をKompira Enterpriseで対応できるようで作り込みました。

Kompira AlertHubのインシデント紐づけ

Kompira AlertHubでは案件ごとに受信用のメールアドレスを設定し、受信時にすでに案件の紐付けができる設定にしています。
受信するごとに対応すべきアラートかどうかの判断をするルールを作成しており、異常がどの程度の深刻度に達したら対応が必要かの判断をするスコープとトリガーを設定しています。
こちらで対応が必要と判断された場合、そこからアクションとしてKompira Enterpriseで一次保守対応や電話通知等で必要な情報を連携します。

この時点で、ある程度対応すべきアラートが取捨選択されている状況ですが、さらにKompira Enterpriseでアラートの連携から待機時間を設け、同一ホストで複数のアラートが出ていないか、集約するようなアラートではないか、というような判断を持たせて対応しています。

自動化後フロー図


複雑な図になっていますが、まず発生のアラートが飛んできた際に、Kompira EnterpriseからLMISの方へ自動でチケット起票が行われます。
この時に作成されたチケットナンバーを、Kompira Enterprise側へ返す仕組みを持たせています。
Kompira Enterpriseでチケットナンバーを保持することで、その後のでお客様へのメール通知や、電話連絡、必要に応じてお客様のシステムへの一次保守を実行した、その結果を、全て同じチケットの中で情報管理ができる形になっています。

さらに回復アラートも紐付けるようにしており、後から回復をトリガーとするメールが来た際、それを同じチケットの中で管理しています。
回復でも同様にメール通知や電話通知を行い、サービスが回復しているか等の一次対応等を実行します。
それらの結果も全て同じチケットの中で管理し、最終的にチケットをクローズしてチケットナンバーをリリースします。
そうすることで、同じチケットの中で発生から回復までの全ての情報の流れを確認することができます。

顧客情報の連携

LMISは、顧客情報の管理等の機能が充実しています。
そのため契約情報や営業情報といった情報もLMISの中で管理しており、一次保守や連絡通知に必要な情報と合わせてLMISの中で管理し、Kompira Enterpriseで情報収集できるようにしています。
このようにLMISの中で情報更新をするだけで、最新の顧客情報の情報で対応ができます。

一次保守自動化

一次保守の対応として、一部簡易作業についてはKompira Enterpriseで実施しており、ネットワークの機種やサーバOS等によって様々な作業をアクションとして設定しています。
例えば通信試験を行い、その後に機器再起動を実行するというようなジョブフローを作成することで、アラート検知時にジョブフローを読み込んで対応するようになっています。
記載例のようにA社の一次保守対応として、確認フェーズ、実行フェーズ、その後の確認という設定を入れており、こうしたジョブフローを作成することで、他のお客様でも同じような対応する際には、このままジョブフローが再利用できるようになっています。
またお客様によって一部アクションを変えたいという時はそこを変更し、新たなカスタマイズアクションとして登録することで新たなジョブフローとして実行することも可能です。

サーバOSに関してのアクションについて

サーバOSに関してはOSの種類やOSのバージョンによってコマンド実行アクションを設定しています。
例として、プロセスダウンのアラートを検知した時には、確認フェーズを飛ばして実行フェーズで再起動するというように即時実行も可能です。
またKompira Pigeonで電話通知した際に、お客様のダイヤル操作で一次保守を実行をするかどうかの選択もできるようになっています。
アクションやジョブフローはオペレーターが手動で実行することも可能です。

アクションやジョブフローをKompira Enterpriseで手動実行し、これがLMISの中にチケット連携されます。
これを活用することにより、例えばプロセスや機器を再起動するといったところのジョブフローをあらかじめ作成し、オペレーター側で読み込むことで手動実行できます。
そうすることで人によって作業時に取得するログが変わってしまったり、誤ったコマンドを叩いたりといった作業ミスがなくなります。
また対象のホストの間違いや、おかしな引数が入っていないか等の誤りがないように、Kompira Enterpriseの中でドライランとして実行し、問題ないコマンドであるかどうか判断をする機能も持たせています。

自動化システム導入効果

続いて自動化システム導入による副次的なものも含めた効果についてお話しさせていただきます。
自動化の期待する効果として、まずは稼働の削減が挙げられます。当社は24時間365日の輪番体制を組んでおり、4チームの1日2交代制で対応を行っていました。
この自動化の取り組みによって、各チームから1名を輪番体制から外すことができました。

もちろん稼働削減だけが自動化の目的ではないので、輪番から移動させた4名の内1名は自動化のさらなる促進のため、自動化エンジニアとして教育を進めています。
もう1名は常日勤体制に異動し、新規に獲得した案件の対応を行っています。
また、他にもお客様先にサポートメンバーとして常駐で入り、既存業務の拡大に向けたサポートを行っている社員や、人材流動で京から関西へ異動し、スキルの平行展開を行う役目を持った社員もいます。

ITSMツール導入効果

インシデント等が一元管理となったことで、どこにどのような内容を記録していけばいいかを迷うことがなくなり、入力自体がスムーズになりました。
そもそもKompiraを使って自動化しているところに関しては、記録自体が自動で入るのでそこの稼働がかからず、オペレーター教育の稼働も減りました。
またLMISのレポート機能が大変充実しており、お客様への報告レポートの作成等の時間短縮にもつながっています。

その他副次的効果

その中で副次的な効果ですが、項目整理を行ったことで共通の品質指標で案件を見ることができ、報告レポートの作成も容易にできるため、各輪番チームで品質に関するレポートを毎月作成し、社内で設定した各品質指標に対する達成状況を確認できるようになりました。
達成できない項目に対しては、原因の分析と対策の検討といったPDCAサイクルを回すことができます。
分析結果は担当内で共有をしているので、どのチームの達成率が良いのか、どの担当が案件の対応速度が速いといったような情報が共有でき、チームの対抗意識も芽生え、活発な活動ができていると感じております。
こうした活動を実施することで品質に対する意識は非常に高まってきています。

担当からも、コロナ禍が広がる中、在宅対応のためにで導入したクラウドPBXから得られる項目を追加したいという意見が挙がったため、担当別の電話の保留時間や応答率、案件別や時間帯別で着信数や電話に出られなかった放棄呼数等も分析対象に加えています。

社内目標達成率に関しては開始当初は達成率72%で、Kompira導入から約1年半経った現在は95%で、まだ100%になっていないません。
この社内目標はかなり厳しめに設けており、あえて目標を達成できないことで、そこに対しての対処等を検討できるように設定しています。

その他いろいろな工夫を含め、フィックスポイント様やユニリタ様と連携して仕組みを作っていますが、時間も限られておりますので本日はこのあたりで私のプレゼンテーションを終わります。
ご清聴ありがとうございました。

システム運用に携わるすべての
企業・ユーザーのためのイベント

EVENT REPORT

Online Event

橋本 和也氏

大量アラートに対応するためのメソッド

アイビーシー株式会社
ビジネスソリューション事業本部 プロダクト事業部
事業部長 橋本 和也氏

小林 剛氏

社内端末のリソース管理と脆弱性管理

バリオセキュア株式会社
技術本部
副本部長 第二技術部部長(兼任) 小林 剛氏

正岡 康洋氏

KompiraとITSMツール連携による自動化システム導入とその効果

興安計装株式会社
第1事業部 ICT技術サービス部門 Owlookサービス部
部長 正岡 康洋氏

服部 宙也氏

システム運用自動化のすゝめ

株式会社SMSデータテック
ソリューションサービス本部自動化ソリューション部
部長 服部 宙也氏

髙橋 由希奈氏

トイル撲滅に向けた取り組み~脆弱性情報管理を自動化する3つの機能~

株式会社ビデオリサーチ
ITユニット ITマネジメントグループ
アソシエイトエンジニア 髙橋 由希奈氏

臼井 成州氏

面白きこともなき運用を面白く 、運用維新の歩み(~創生期編~)

株式会社オージス総研
プラットフォームサービス本部 運用サービス部
運用サービス第一チーム マネジャー 臼井 成州氏

上原 和敏氏

Kompira Pigeonを使った24-365障害通知サービスのご紹介

株式会社コラボレーションシステム
文教システム部
課長代理 上原 和敏氏

藤本 敦史氏

Kompiraでオペレーションを標準化・高度化・効率化

NTTコミュニケーションズ株式会社
プラットフォームサービス本部
マネージド&セキュリティサービス部
担当課長 藤本 敦史氏