Session Log

苦労せず運用現場の苦労話を聞く、Kompira活用におけるリアルを語る

Kompass Days 2022

面白きこともなき運用を面白く
運用維新の歩み~創生期編~

株式会社オージス総研
プラットフォームサービス本部 
運用サービス部
運用サービス第一チーム マネジャー 
臼井 成州氏

よろしくお願いします。
オージス総研の臼井です。

「面白きこともなき運用を面白く運用維新の歩み」と題しまして、我々オージス総研運用部門の自動化の取り組みとして、立ち上げ当初のテクニカルというよりは人・組織といった部分をメインにお話をさせていただきます。

最初に、会社概要/自己紹介を簡単にさせていただきます。
オージス総研は1983年設立、大阪ガス100%出資のIT子会社となります。事業内容は大阪ガスグループのアプリケーション開発から基盤構築、その後の維持管理を行っています。
また売り上げの約半分が外販向けのサービスで成り立っています。事業領域はITコンサルから企画、設計、開発、運用管理にわたる一気通貫のフルステージでソリューションサービスを提供している会社となります。
その中でもプラットフォームサービス本部が、私の担当している組織になります。

私の自己紹介ですが、プラットフォームサービス本部の中の運用サービス部運用サービス第1チームでマネージャーをやっています。
1992年の入社とともにオペレーション部門に配属となり、以降30年常に運用がつく組織で今まで続けています。
オペレーターをリスペクトしているというところは自信を持って言えるところです。

オペレーション部門の変遷


弊社運用部門、オペレーション部門の変遷というところで、我々が自動化に取り組んでいった背景からお話しします。
1960年代のメインフレームに始まり、1980後半~サーバ関係、2000年に入り仮想化クラウド、現在はDXという変遷になります。
その中で我々運用部門は1983年設立とともに、メインフレームのオペレーションをやっていました。
その後時代の流れとともにサーバ系のオペレーションが入ってきて、直近でクラウドの監視、部分的にオペレーションという形で対応しています。

我々運用部門は依頼に基づき準備された手順書に従い、その通りのオペレーションを行うこと、これはこれで非常に重要なことだと思っています。
環境の変化としてメインフレームからサーバというのはありましたが、オペレーションの考えには変化を起こせなかったということが実際のところだと思います。
守ることを一つの美学とした運用として、どうしても受け身になってしまうというところが我々の組織としての特徴だと思います。

運用現場へ黒船来航


少しこじつけになりますが、まさに約250年続いた徳川天下泰平の世と同じと表現させていただきます。
そんな天下泰平の世にクラウドという黒船が自動化やAIを引き連れてDXと叫びながらやってきました。
耳元でオペレーションなんてもうなくなるよと囁いてきます。

ここは世間一般にも言われてきたところなので我々も認識はしていましたが、さらにもう一つその黒船の先頭にたくさんのペリーが乗っていました。
彼らは運用でサービスを作れ、運用で外貨を稼げと言ってきます。もうぽかーんでした。
その頃、運用現場は監視対応数が年々増加し、オペレーターの電話連絡にかかる負荷が問題になっていました。
アラートが年間24万件と、「こんなの電話できひんよ」となりました。
また業務ピーク時の年度末やリリースを控えた時の作業量とオペレーターの調整等で、残念ながら燃えていたというのが我々の状況でした。

運用自動化への取り組み

そこで運用自動化への取り組みに移ります。
少し文学チックに書いてみました。
”時を同じくして、部内を眺めながらニヤリと笑う一人の男がいた。
その男は黒船に右往左往し思い悩んでいる重役たちを尻目に、1冊の書物を部下の藩士に渡し「何か作ってみよ!」と一声添えた。
その藩士が右手に携えた書物には「自動化」の文字が光っていた。
それから彼は暇を惜しんで、昼夜自分の分身として動いてくれる自動操作スクリプト開発に没頭。2ヶ月後ついにプロトタイプが完成。
彼は思い切ってそのプロトタイプを動かしてみた。
「俺が半日かけてやってたいことが1分で終わった、これだ、これからは自動化の時代だ」
それから彼は、直ちに藩の重役に「打倒黒船3か年自動化計画」を上奏。
重役たちは笑顔を取り戻し、彼をプロジェクトリーダーに任命。
こうして面白いという感覚を失っていた運用が変わり始めた。”

我々が自動化に取り組み始めたスタートはこういうところになります。
簡単に言えば課題はたくさんあったので、運用全体自動化することで課題解決しましょうということです。

組織作り


続いて組織作りのところです。
所属に関わらず思いを秘めた同志を募ります。
こちらは、我々運用サービス部の2017年からの遷移になります。
運用サービス部には統括チーム業務第1、第2があり、統括は品質的なところ、第1はデータセンター・オペレーション・ホスト、第2はヘルプデスク・申請書、データ入力、帳票出力とBPO的なところを担当していました。

この中で組織横断的に部内から運用立てなおしに思いがあるものを集め、自動化の教育・啓蒙「松下村塾」を開始しました。
組織横断でプロジェクトを立ち上げ、最初は効果が大きいところとしてアラート連絡の自動化に取り組みました。
その後苦労しながら2020年には志がある者たちを自動化の最新技術で武装訓練した部隊「運用エンジニアリングチーム」を立ち上げました。
今まで部を横断でプロジェクト的に動かしていたというところを認めて、1つのチーム組織として自動化をやるぞと組織を立ち上げたという形になります。

翌年にはこの運用エンジニアリングチームが外貨獲得に向け、外販の波にチャレンジしに行きました。
となると残された我々運用サービス部は自動化の主力メンバーがいなくなってしまいます。
普通であれば一旦元に戻ってしまいますが、運用統括チームにDX推進グループというものを作り、引き続き残った運用サービスも自動化に取り組むという試みをして現在に至ります。

その中で、運用エンジニアリングチーム結成時に第1第2に分かれ、プロジェクト的に自動化をやっていたところを運用業務チームと運用エンジニアリングチームに分けました。
運用業務チームは通常の運用維持管理を主業務としながら、内製業務の自動化をやっていきます。
エンジニアリングチームは外販に向けた自動化開発、チャネル拡大を目的とする組織として、明確な目標を持たすことで注力させていこうとしました。

組織分割したことによる課題と解決策


ただ組織分割したことで課題も出ました。
残った運用業務チームの中で比較的スキルを持った人間を運用エンジニアリングチームの方に寄せたので、残った部隊はスキルが足りず、どうやって自動化を推進していくのか、スキルの底上げ、モチベーションというところで課題が出てきました。

その課題解決の一つとしてDX推進グループを設立しました。
最初はこのDX推進グループが中心になって各グループの牽引役としてみんなを自動化の中で引っ張っていってくれました。
その先は各グループが自立し、DX推進グループは進捗管理や技術サポートを担当しました。

スキルの底上げ

またスピードの底上げというところで考えたのが、普通は人のスキルを平たく上げたいと考えられると思いますが、これがなかなか難しいということで、特定分野のスペシャリストを育てるという方針で育成しました。
我々が自動化を進める中でKompira、Python、Django、Redmine、RPAというジャンルに分け、それぞれのスペシャリストを育てていこうとしました。
また、特定分野のスペシャリストを作ろうとすることで、このジャンルをやってみたいと手を挙げるメンバーが出てきました。
現在は各ジャンルで2~3名のスペシャリストという人材育ってきています。

キャリアプラン

もう一つがキャリアプランということで、「オペレーターからエンジニアへ」という部分になります。
我々は運用エンジニアや自動化エンジニアという言葉をつけて、今までオペレーターから次はどこ行くという発想がなかなか出なかったですが、このような形で新しいキャリアプランとキャリアパスを考え、組織の中に落としていきました。

仕組み作り


ツール選定のところで我々は機能性、作成支援機能、操作環境、運用性、メンテナンス性、構築コスト、教育コストという項目で評価を出しました。
運用の人間が中心に動いているということもあり、運用性とメンテナンス性が大事ということでKompiraを採用させていただいています。
またフィックスポイントさんの方とは運用あるあるがすごく共感できるというところもあり、「これはあるよね」というところはよく話が通じるので、そこも影の選定ポイントになりました。

自動化範囲拡大に伴う課題

自動化範囲を拡大していく中で課題が出てきます。
我々の中で出た大きな課題は、自由度が高い反面、ルールを設けておかないとグループで開発する上で統制が効かなくなること、
また教育コストと展開スピードとして、Kompira言語は習得するまでに時間かかることが課題としてあがりました。
各担当が同じようなジョブフローを作成するなど管理が煩雑となりスピードが低下するため、メンバー間のナレッジ共有が不可欠です。
機能拡充の部分では、既存のポータル画面で処理状況などをウォッチすることは難しく、ダッシュボードのような機能が欲しいというようなところも課題が出ました。

フレームワーク開発


これらをどうして行ったかというと、1つ目がフレームワークの開発です。
オージス独自のフレームワークをKompira Enterprise上に開発することで、開発者は共通する機能を毎回作る必要がなくなり、要件に応じた業務アクションの作成のみに注力できました。

2つ目がテンプレートの充実です。
パズルのピースみたいなもので、多くのピースを準備しエンジニアはその要件をきちんと認識した後、そのピースの中から必要なものを選んでピースをうまく組み上げます。
これにより1からコーディングする必要なくテンプレートから類似するものを探し出し、要件に従って外注することで開発の効率化につなげています。

3つ目がフレームワークに即したダッシュボードの開発です。
フレームワークごとにダッシュボードを開発しておくことで、要件ごとにダッシュボードを作成する必要なく、必要に応じて部分的な解消を行うのみでよくなります。

このKompira Enterpriseに弊社オージス総研の付加価値というところをフレームワークテンプレート、ダッシュボードをミックスし、運用自動化ソリューションブランドの「Cloud Arch」に自動実行機能というものを実装しています。

「Cloud Arch」について

このCloud Archにはモニタリング、オブザーバリティ機能、AI分析機能等があります。
今後の展開としては、我々の自動化は歩きだしたばかりということで、大きなロードマップとしては、2020年Cloud Archブランドリリースをし、来年度2023年にはAIOpsとデータ分析のサービス化、その先はさらなるコード化、無人化を目指します。
クラウド利用によるシステム環境の変化にも対応した自動化サービスを提供し、将来的にはシステム運用の完全自動化サービスの提供を目指しています。

最後に

「面白きこともなき運用を面白く、住みなすものは心なりけり」これは高杉晋作辞世の句と言われています。
解釈としては、面白くない世を面白くするのは自分の心次第というふうに一般的には言われています。

皆さんはこの「住み直すものは心なりけり」というところには、どういうキーワードを入れられたでしょうか。
我々としてはまだ発展途上でもありますが、黒船とともに訪れた危機に情熱で立ち向かうことを決めた我ら運用サービス部は、組織・装備を刷新し時代の荒波を乗り越えようと決起しています。
中でも毎日の刺激が面白くなり始めたメンバーが出てき始め、これからは本部全体の変革に乗り出すことを考え始めています。
「面白くしていくには」という部分は、我々も発展途上なのでここで答えは出せないというところになります。

次回は薩長同盟結成編として2023冬公開ということで、勝手に予定しています。
まだまだいろいろありまして、脱藩していく者、志半ばで道を外れていく者、その後また巡り合わせて結成と次は感動巨編になっています。
機会が許されるのであれば、またお話しさせていただければと思います。

これで弊社の発表を終わらせていただきたいと思います。
本日はありがとうございました。

システム運用に携わるすべての
企業・ユーザーのためのイベント

EVENT REPORT

Online Event

橋本 和也氏

大量アラートに対応するためのメソッド

アイビーシー株式会社
ビジネスソリューション事業本部 プロダクト事業部
事業部長 橋本 和也氏

小林 剛氏

社内端末のリソース管理と脆弱性管理

バリオセキュア株式会社
技術本部
副本部長 第二技術部部長(兼任) 小林 剛氏

正岡 康洋氏

KompiraとITSMツール連携による自動化システム導入とその効果

興安計装株式会社
第1事業部 ICT技術サービス部門 Owlookサービス部
部長 正岡 康洋氏

服部 宙也氏

システム運用自動化のすゝめ

株式会社SMSデータテック
ソリューションサービス本部自動化ソリューション部
部長 服部 宙也氏

髙橋 由希奈氏

トイル撲滅に向けた取り組み~脆弱性情報管理を自動化する3つの機能~

株式会社ビデオリサーチ
ITユニット ITマネジメントグループ
アソシエイトエンジニア 髙橋 由希奈氏

臼井 成州氏

面白きこともなき運用を面白く 、運用維新の歩み(~創生期編~)

株式会社オージス総研
プラットフォームサービス本部 運用サービス部
運用サービス第一チーム マネジャー 臼井 成州氏

上原 和敏氏

Kompira Pigeonを使った24-365障害通知サービスのご紹介

株式会社コラボレーションシステム
文教システム部
課長代理 上原 和敏氏

藤本 敦史氏

Kompiraでオペレーションを標準化・高度化・効率化

NTTコミュニケーションズ株式会社
プラットフォームサービス本部
マネージド&セキュリティサービス部
担当課長 藤本 敦史氏