ユーザー
インタビュー
User Interview
増え続ける案件と日々の業務に自動化で対向。
運用品質向上と、オペレーターの工数削減を実現。
NTTコミュニケーションズ株式会社様
NTTコミュニケーションズ株式会社様は国内電気通信事業における県間通話サービス、国際通信事業、ソリューション事業等幅広く展開されています。
今回はZabbixからのアラートを受け、Kompira Enterpriseでインシデント起票を行い、Kompira Pigeonでエスカレーション電話の架電の実施までを自動化したお話をお聞きしました。
-
オペレーションチームリーダ（フロントリーダ）
中山様 -
ITOS運用設計担当
前田様 -
運用プラットフォームチームリーダ
橋本様
解決
したかったこと
増え続けるオペレーター業務の工数削減と、運用品質の向上を目指す
御社にとっての課題はどのようなことでしたか？
中山：運用センターで抱えていた課題としては、これまで案件数が増えるとオペレーターを増やして対応しておりましたが、それに伴い担当者の日々の業務が次第に増えていることでした。今回は属人的な業務の効率化、品質向上、稼働の削減をテーマとして、自動化に取り組みました。
自動化した業務を教えて下さい。
中山：自動化した業務は大きく2点あります。
1点目は、Kompira Enterpriseを使ってアラートメールの集約及びインシデントの自動起票をすること。2点目は、Kompira Pigeonを使ってサービスマネージャーへの自動架電をすることです。
1点目に関しては、案件増加とともにアラートも増加しておりましたが、案件ごとに自動化を進め、現時点ではKompira Enterpriseにより1カ月あたり全60案件で約3,000～4,000件のアラートを自動で起票できるようになりました。
2点目に関しては、体制としてはTier1にオペレーターがおり、ここで対応できない場合はサービスマネージャーへエスカレーション電話をかけておりましたが、そのエスカレーション電話にKompira Pigeonを代替しました。
Kompira
選択の理由
標準機能で今の運用に適応できるツールを検討
Kompira 選定にあたり、他社製品・サービスは比較検討しましたか？
橋本：標準機能で現状の運用に適応できるというところが重要で、アラートのフィルタリングは数年前から色々なものを検討はしていました。
自動化サービスの利用者は、エンジニアではなく現場で運用をする担当者になります。年に1、2度アップデートしないといけないものに対して、たくさん手を加えていくとガラパゴス化してしまい、様々なことに追随できなくなってしまいます。これを避けたかったため、基本的には標準パッケージを使いたいという思いがあり、Kompiraを選びました。
プロジェクトにかかった期間を教えて下さい。
中山：自動化の話は 2020年10月くらいに上がりました。まず、できるできないの判断をしましたが、もしかしたら自動化できないのではないか？という雰囲気が部署内にあったため、1案件をパイロット的に自動化してみようということになりました。こちらには３ヶ月ほどかけて取り組みました。
その後どんな課題があるかや、どうすればもっと運用しやすくなるかを考え、要件の再定義を２ヶ月ほどで行いました。60案件を移行するにあたって環境構築を済ませ、順次移行という形をとっています。
橋本：製品の検討には３ヶ月くらいかかりました。検討はできても、なかなか実装にたどり着けないところが難点でしたが、フィックスポイントさんのサポート体制等含めた上で、まずはやってみましょうと踏み切りました。
中山：フィックスポイントさんには案件移行中に色々とご質問等させていただきましたが、レスポンスが早く、的確な回答をいただいたなという印象を持っています。
その結果、弊社の方も大きなミスなく実装までできました。
自動化の体制について教えて下さい。
中山：6名のメンバーで自動化を実施しました。
監視環境やセキュリティの確保等が複雑であったので、専門スキルを有するメンバーを1人ずつ選出しました。具体的にはKompira Enterprise担当者と監視担当者、IT管理ツール担当者、ネットワーク疎通におけるセキュリティ関連の担当者、全体設計の担当者という形で計6名の体制で取り組みました。
導入にあたり、効果の目標設定はありましたか？
中山：自動起票と自動電話両方合わせて、大体月200時間は削減したいという目標で動いていました。1インシデントのチケット起票と電話にこのくらい時間かかり、大体1月あたりこのくらいという実績がありましたので、それを元に算出した数字が大体200時間でした。最終的には目標を達成できたと思います。
導入の効果
工数削減とともに品質向上を実現
現場の「現状を維持する」カルチャーに変化が生まれた
導入中に苦労した点は何ですか？
橋本：想定内ではありますが、Kompiraのみでできている自動化ではないので、各ツールの得手不得手のすり合わせはどうしても出てきてしました。パイロットとしてやった案件で成功したから他案件でもすべてOKとはいかないのも事実です。
色々な製品同士を組み合わせる以上、ある程度のクセがあるのは仕方ないと割り切り、これらを加味した上で取り組んでおりましたので、大きな問題は無かったと思います。
また、何をするにしても業務自体を変えなければいけないと言うことがネックにはなりますので、そこは障害になったところだと思います。
中山：そこは大変でした。社内に対して協力体制を作ってもらうのは苦労したところだと思います。
それまでは案件数が増えたらオペレーターを増やして対応してきましたが、その体制に思い切って踏み込んだ形になります。
稼働削減や品質向上を目的で進めておりましたが、はじめは「本当にできるの？」という雰囲気でした。やはりアラートメールは非常に大切なもので、自動起票できずロストした場合の影響度が大きいからです。サービスマネージャーからすると現状のままで特に問題ないのに、わざわざ変える必要があるのか？と考える人もおり、なかなか業務の自動化ができませんでした。
そこでTier１のチームであったり、運用設計をしているチームに地道に説明を続けていきました。すると一部のサービスマネージャーが「今までできなかった自動化に取り組んでくれてるなら、1回やってみようよ」と賛同してくれて、そこで潮目が変わりました。
そこから最初に取り組んだインシデント起票が自動化できたので、自動電話もできるはずだといった前向きな風潮に変わっていったんです。
この自動電話も、意識の変化には効果があったと思います。エスカレーション電話を人手で行っていると、伝達ミスなどの人的ミスは少なからず起きます。その是正ができることや、初動が早くなることで確実に運用品質が上がるからです。
そういった実績から自動化への理解が徐々に進み、最終的に60案件を自動化に移行といった形となりました。
導入によって期待する効果は得られましたか？
中山：初動連絡の速さや、運用品質の確保、オペレーターの精神的なストレスが軽減されました。特にオペレーターは24時間対応なので、土日や夜間帯に電話するときは電話のダイヤルにミスがないか、伝え間違いがないか、また相手の都合が悪いかもしれないといったことに気を使います。そこにミスが起きたときは大きな精神的な負担になりますが、そういったストレスが減ることで、オペレーターチームの雰囲気が変わったことは大きな効果だと思います。それで次の自動化の提案も非常にしやすくなったと感じます。
橋本：具体的な効果もさることながら、今までなかなか変わらなかった「現状を維持する」という社内の雰囲気を変えることができたので、今回の自動化がいいキッカケになったと感じます。
前田：お客様から自動化に興味持たれる方が最近多く、毎年会社としてどういう取り組みをしているのか？と聞かれることが多くありましたが、お客様にとって効果のあるものがなかなかありませんでした。ですが今回の自動化で、特に自動電話に関して、いいねと言われることが多くなったので、そういった点では取り組んでよかったと思います。
今後の展開
さらなる自動化でTier１の無人化をしたい
今後も継続して自動化を進めますか？
中山：今回の自動化の取組で、こういうことができるんだという認識とともに、オペレータから「次はこんな自動化しませんか？」という意見が出てくるようになりました。オペレーターの定型作業については、極端に言うと無人化レベルまでいければなと思います。例えば、アラートが出てエスカレーションするケースであれば、今はオペレーターが一旦チェックして自動電話をキックしておりますが、ここを完全に自動化したり、正常性確認をオペレーターが取った上で判断する場合、正常性確認のところは自動化したりなど、今後取組むことができる部分はいくつもあると思っております。
