Azure Batch を使って CLI プログラムを動かしてみた ～実践編～

1. はじめに（前回のおさらい）

前回のブログで、Azure CLI で作成されている『とあるプログラム』を定期実行したい、という思いから、いろいろ検討した結果 Azure Batch を利用することに決めました。

今回、大規模な並列コンピューティングやハイパフォーマンス コンピューティング ( HPC ) といった Azure Batch の特性は十分生かし切れていないのが残念ですが、Azure Batch の基本的な作成方法・設定方法について、備忘録も兼ねて本ブログでまとめることにしました。

前回のブログにも記載しましたが、Azure Batch は以下のようなリソース構成になっています。

基本的には、以下の順にリソースを作成していきます。

＜ Azure Batch リソース作成順＞

1. Batch アカウント
2. プール
3. ジョブ
4. タスク

今回は上記の他にも、プログラムの自動実行に必要なサービスプリンシパルの設定や Azure CLI のセットアップの組み込み、定期実行に必要なジョブスケジュールの設定が必要となります。
下に行くほど設定箇所が多いので、ブログの分量もいつもよりも長く＆多くなりますが、早速 Azure Batch 環境を構築し、『とあるプログラム』を動かしてみることにします！

※補足事項※

• 本ブログは以下のチュートリアルをベースにしています。そのため、Azure ポータル上から Azure Batch のリソースを作成していきます。
  【参考：クイック スタート: Azure Portal で最初の Batch ジョブを実行する】
  https://docs.microsoft.com/ja-jp/azure/batch/quick-create-portal
• 上記チュートリアルの内容に、Azure CLI を動かすための設定を加えています。

2. Batch アカウントの作成

＜目次＞

1. はじめに（前回のおさらい）
2. Batch アカウントの作成　★←イマココ
3. プールの作成
4. サービスプリンシパルの設定
5. ジョブの作成
6. ジョブスケジュールの設定
7. タスクの作成
8. おわりに

Batch アカウントは Batch サービス内で一意に識別されるエンティティです。Azure Batch を利用する際、まず作成するのが Batch アカウントです。

1) Azure ポータル上から「すべてサービス」→「Batch」を検索します。

2) 「＋追加」をクリックするか、「Batch アカウントの作成」をクリックします。

3) 以下を入力・選択後、「ストレージアカウントの選択」をクリックしてストレージアカウントを選択します。

左右にスクロールしてご覧ください。

4) 下図がストレージアカウントを選択した状態です。この状態で「次へ：詳細設定」をクリックします。

5) 以下を入力・選択して「次へ：タグ」をクリックします。

左右にスクロールしてご覧ください。

6) 必要ならタグをつけて「次へ：確認と作成」をクリックします。
～余談～
タグはできるだけルールを決めて付与しておいた方が、請求時等に可視化しやすいのでお勧めします。

7) 「検証に成功しました」と表示されたら、内容を確認して「作成」をクリックします。

8) これで Batch アカウントの作成が完了しました。

3. プールの作成

＜目次＞

1. はじめに（前回のおさらい）
2. Batch アカウントの作成
3. プールの作成　★←イマココ
4. サービスプリンシパルの設定
5. ジョブの作成
6. ジョブスケジュールの設定
7. タスクの作成
8. おわりに

プールはアプリケーションが実行されるノード（＝仮想マシン）を 1 つにまとめた単位です。Batch アカウントの中にプールという枠があり、プール内に仮想マシンが数台存在していると思っていただけたら、理解がしやすいかと思われます。
ここでは、Batch アカウントの作成に引き続き、プールの作成を行っています。

1) Batch アカウントの作成後、「リソースに移動」をクリックします。

2) 「プール」→「＋追加」をクリックします。

3) 以下を入力・選択して「OK」をクリックします（入力値が多いけどがんばってください！）。

※補足事項※

• 下図のキャプチャは、チュートリアル通りに設定した場合の例です。小さいサイズの VM が 2 ノード（＝仮想マシン 2 台）の最小構成となっています。
  【参考：クイック スタート: Azure Portal で最初の Batch ジョブを実行する】
  https://docs.microsoft.com/ja-jp/azure/batch/quick-create-portal
• OS の種類は Linux でも構いません。実際には Openlogic の CentOS を選択しています。（後に Azure CLI をインストールする必要があり、使い慣れた yum でインストールしたいためです）

左右にスクロールしてご覧ください。

4) これでプールが作成されます。一見、すぐ作成されているように見えますが、下図のように「割り当ての状態」が「サイズ変更中」の間はコンピューティング ノードを割り当てて開始する準備中となるため、この状態ではジョブを実行することはできません。
ジョブやタスクを作成することは可能です。

5) 「割り当ての状態」が「安定」になると、コンピューティング ノードが割り当たり、ノードが開始されます。この状態になってから、ジョブを実行することができます。

4. サービスプリンシパルの設定

＜目次＞

1. はじめに（前回のおさらい）
2. Batch アカウントの作成
3. プールの作成
4. サービスプリンシパルの設定　★←イマココ
5. ジョブの作成
6. ジョブスケジュールの設定
7. タスクの作成
8. おわりに

Azure Batch を利用して Azure CLI を自動実行するためには、サービスプリンシパルが必要になります。サービスプリンシパルを利用することで、Azure AD でアプリケーションを認証できます。

【参考：Batch サービスの認証に Active Directory を使用する】
https://docs.microsoft.com/ja-jp/azure/batch/batch-aad-auth

サービスプリンシパルの認証には、パスワードベースの認証と証明書ベースの認証があります。しかし、以下の URL にあるように、パスワードベースでの認証はサポートされなくなった模様なので、証明書ベースの認証を実施します。
今回、証明書が無いので自己証明書を作成することにします。自己証明書は Azure CLI のコマンドで簡単に作成できます。

【参考：証明書ベースの認証】
https://docs.microsoft.com/ja-jp/cli/azure/create-an-azure-service-principal-azure-cli?view=azure-cli-latest#certificate-based-authentication

※補足事項※

• 本ブログでは Azure Cloud Shell で実行した内容を紹介していますが、Azure CLI が実行できる環境であればどこでも構いません。作成される証明書（ .pem ファイル）の場所だけご注意ください。
• サービスプリンシパルの発は、Azure Active Directory より「アプリの登録」ができる権限を所有していることが前提となります。

1) Azure Cloud Shell にアクセスし、以下のコマンドを実行します。
※赤字部分はサービスプリンシパルの名前になります。任意で設定してください。

2) 1）のコマンドを実行した場所に証明書が作成されます。1）のコマンドを実行後、下図赤線のようなメッセージが出力されるので、その場所にある .pem ファイルを大事に保管しておいてください。サービスプリンシパルでログインする際に指定する必要があります。

3) Azure Portal 上でも作成されていることを確認します。「Azure Active Directory」→「アプリの登録」をクリックします。
1）で作成したサービスプリンシパルが確認できます。

4) 作成した自己証明書もアップロードされていることを確認します。2）から作成したサービスプリンシパルをクリックして「証明書とシークレット」をクリックします。
証明書がアップロードされているはずです。

5) 証明書ベースのサービスプリンシパルでログインできるかどうかを確認します。Azure Cloud Shell にアクセスし、以下のコマンドを実行します。

左右にスクロールしてご覧ください。

6) 5）のコマンドを実行後、ログインが成功している場合は以下のように表示されます。

7) 証明書ベースのサービスプリンシパルでログインできたら、5）のログインスクリプトを実行させたいプログラムに追記します。
今回動かしたい『とあるプログラム』は、下図の「 main.azcli 」がメインプログラムになるため、「 main.azcli 」の冒頭部分に追記しています。その際、証明書へのパスが通るように記載することが重要です。

これでサービスプリンシパルの設定は完了です。後続の作業のため、先に以下を実施しておきます。
「2. Batch アカウントの作成」の3）で選択したストレージアカウントのコンテナーに、今回動かしたい『とあるプログラム』一式と証明書を配置します。

※下図は、Azure Storage Explorer 経由でストレージアカウントのコンテナーに配置した図です。

※補足事項※

• 本ブログでは、リソース配置の際に証明書を含める手法を取っています。ストレージアカウントに証明書を配置することになるので、正直セキュリティ的にはお勧めしません。（だってうまくいかなかったんだもん）
• 証明書を Batch アカウントに格納するのがベターな方法かと思います。証明書をストレージに配置することが無くなるため、セキュリティ的にも強固になります。
  
  【参考：Batch での証明書の使用】
  https://docs.microsoft.com/ja-jp/azure/batch/batch-certificates
  
  ただし、Azure Batch でインポートできる証明書は .pfx か .cer のみであるため、サービスプリンシパルを作成した際に一緒に証明書を作成した場合、そのままでは Azure Batch に証明書をインポートできません（ .pem ファイルで証明書が作成されるため）。
  
  その場合、.pem ファイルを Azure KeyVault に一度格納してから .pfx 形式でダウンロードするか、makecert コマンドライン ツールを使用して自己署名証明書を作成するのが良さそうです。

5. ジョブの作成

＜目次＞

1. はじめに（前回のおさらい）
2. Batch アカウントの作成
3. プールの作成
4. サービスプリンシパルの設定
5. ジョブの作成　★←イマココ
6. ジョブスケジュールの設定
7. タスクの作成
8. おわりに

ジョブは、後述するタスクを 1 つにまとめた単位です。プール内のコンピューティング ノード上で行う計算を、タスクを用いてどのように実行するかを管理します。処理を実行する上でのコントローラーというイメージを持っていただけたら、理解しやすいのではないかと思います。

1) Azure ポータル上で Batch アカウントを選択後、「ジョブ」→「＋追加」をクリックします。

2) 以下を入力・選択します。
※「OK」のクリックはもうちょっと待ってください！

左右にスクロールしてご覧ください。

ここでのポイントは、ジョブの準備タスクです。

今回実行したい『とあるプログラム』は、Azure CLI で作成されています。
ここまで Batch アカウントとプール（＋サービスプリンシパル）を作成してきました。プールの中に仮想マシンが数台立っている状態ですが、このままでは Azure CLI のコマンド（ az コマンド）を受け付けてくれません。なぜなら、プールの中の仮想マシンに、Azure CLI がインストールされていないからです。
（いつも思うんだけど、VM に最初からインストールされていて、オン / オフで切り替えてくれたらいいのに。。。セキュリティ上、過剰なものは入れないのかな？）

ジョブの準備タスクを設定すると、最初のタスクが実行される前に 1 回だけ動作するプログラムが設定できます。そのため、ジョブの前処理として活用できます。
上記の設定に加え、ジョブの準備タスクに Azure CLI をインストールする設定を組み込みます。

今回、プールの作成の際に Openlogic の CentOS を選択しているので、最新バージョンを yum でインストールします。

【参考：LinuxにAzureCLIをインストールする】
https://docs.microsoft.com/ja-jp/cli/azure/install-azure-cli-linux?pivots=yum&view=azure-cli-latest

3) 以下のコマンドをテキストファイルに貼り付け、「init.azcli」と名前をつけて保存します。

4) 「init.azcli」の保存後、今回動かしたい『とあるプログラム』一式が置いてある「2. Batch アカウントの作成」の3）で選択したストレージアカウントのコンテナーに「init.azcli」も配置します。
※今回は「init」というフォルダの中に「init.azcli」を格納しています。

5) 2）のジョブ追加画面で、「ジョブの準備タスク」をクリックします。クリック後、「ジョブの準備タスク」画面が表示されるので、以下を入力・選択して「選択」ボタンをクリックします。

左右にスクロールしてご覧ください。

ここでのポイントは以下 3 点です。Azure Batch アカウントで Azure CLI を動かすためのキモになる部分となると思います。

• ① コマンドライン
• ② ユーザー ID
• ③ リソースファイル

① コマンドライン
ここに、4）で配置した「init.azcli」のパスを記載します。
Azure Batch 上で記載する「コマンドライン」には、記載方法にちょっとしたお作法があるので注意してください。

【参考：タスク】
https://docs.microsoft.com/ja-jp/azure/batch/jobs-and-tasks#tasks

※赤字部分は任意のコマンドです。

今回、「2. Batch アカウントの作成」の3）で選択したストレージアカウントのコンテナー内の「init」というフォルダの中に「init.azcli」を格納しているため、そのパスを指定しています。

※なぜ、このような指定になるのかという点については、「③ リソースファイル」で解説します。

② ユーザー ID
ジョブの準備タスクを実行するユーザーを選択します。
3）で作成した「init.azcli」内のコマンド（＝ Azure CLI インストールコマンド）には、sudo の記載があります。管理者権限を持つユーザーでないと Azure CLI がインストールできないので、「プール autouser、管理者」を指定してください。

③ リソースファイル
リソースファイルを指定すると、ストレージにあるコンテナーの中身全てをプール内の仮想マシン全台にアップロードできます。特に、今回のような、実行ファイルを指定してプログラムを動かす場合や、サブプログラムに分割されているようなスクリプト構成には必須の設定となります。

「リソースファイル」をクリックすると、リソースファイルをアップロードできる画面に遷移します（下図参照）。今回、必要なリソースは全て Batch アカウントとひもづいているストレージアカウントのコンテナーに格納しているので、下図にある「ストレージ コンテナーを選択します」をクリックし、ストレージアカウントとコンテナーを選択して「送信」をクリックします。

6) 「ジョブの準備タスク」を設定し終えたら「OK」ボタンをクリックします。

7) これでジョブが作成されます。あっという間に作成されます。
ちなみに、ジョブを作成した時点では、「ジョブの準備タスク」で設定したプログラムはまだ動作していません。前述した通り、「ジョブの準備タスク」で設定したプログラムは、最初のタスクが実行される前に 1 回だけ動作します。

6. ジョブスケジュールの設定

＜目次＞

1. はじめに（前回のおさらい）
2. Batch アカウントの作成
3. プールの作成
4. サービスプリンシパルの設定
5. ジョブの作成
6. ジョブスケジュールの設定　★←イマココ
7. タスクの作成
8. おわりに

ジョブスケジュールはその名の通り、ジョブを定期実行するために使用します。ジョブ単位で設定ができます。
タスクを作成する前に、ジョブスケジュールの設定を行います。

1) Azure ポータル上で Batch アカウントを選択後、「ジョブスケジュール」→「＋追加」をクリックします。

2) 以下を入力・選択して「上書き保存」をクリックします。
※新規作成しても「上書き保存」と表示されます。迷ってしまいますが、そのままクリックしちゃってください。
※ジョブの作成と似たような設定もいくつか見受けられます。

左右にスクロールしてご覧ください。

3) これでジョブスケジュールが作成されます。こちらも、あっという間に作成されます。

7. タスクの作成

＜目次＞

1. はじめに（前回のおさらい）
2. Batch アカウントの作成
3. プールの作成
4. サービスプリンシパルの設定
5. ジョブの作成
6. ジョブスケジュールの設定
7. タスクの作成　★←イマココ
8. おわりに

タスクは Batch サービスにおける最小単位となります。この単位で計算や処理（＝スクリプト実行）を行います。
いよいよ最後のリソースです。がんばりましょう！

1) Azure ポータル上で Batch アカウントを選択後、「ジョブ」→ 作成したジョブのリンクをクリック後、「＋追加」をクリックします。

2) 以下を入力・選択して「送信」をクリックします。
※「5.ジョブの作成」で作成した「ジョブの準備タスク」と同様の項目が多いです。

左右にスクロールしてご覧ください。

ここでのポイントは、「5.ジョブの作成」で作成した「ジョブの準備タスク」と同じとなります。再度参考にしてみてください。

3) これでタスクが作成されます。タスクスケジュールを設定している場合、タスクスケジュールの設定に従ってジョブ（ジョブの準備タスク含む） → タスクの順に実行されます。タスクスケジュールを設定していない場合、即座にジョブ（ジョブの準備タスク含む） → タスクが実行されます。

作成したタスクをクリックすると、タスクの実行状況が分かります。
下図はタスクを開始した直後の画面になります。まだ「アクティブ」状態になったままなので、実際の処理（＝プログラム実行）は実施されていません。
今回はジョブの準備タスクを設定しているため、最初にジョブの準備タスクが実行されています。

4) タスクが実施され、実際の処理（＝プログラム実行）が実行されると、タスクの実行状況が「実行中」状態になります。
※画面上部にある「最新の情報に更新」をクリックすると、画面が更新されます。

「実行中」状態になると、プール上にある仮想マシン内のファイルを見ることができます。
root の直下に 2 種類のログファイル（「stderr.txt」「stdout.txt」）が出力されるので、エラー内容やプログラムでコンソール出力させている箇所もここから確認することができます。

5) タスクが終了すると、タスクの実行状況が「完了」状態になります。

6) ジョブの準備タスクを設定している場合、どこで実行結果が分かるのか？と気になった方もいらっしゃると思いますが、確認できる場所は用意されています。

ジョブの準備タスクの実行状況の確認は、「ジョブ」→「準備タスク」から確認できます。

7) 上図の赤枠で囲った部分をクリックすると、もう少し詳しい情報が確認できます。

8) 「タスク ルート ディレクトリ」のリンク（上図赤枠部分）をクリックすると、プール上にある仮想マシン内のファイルを見ることができます。
※タスクの画面より見づらいですが。。。

ジョブの準備タスクで設定した「タスク ID」フォルダの直下に 2 種類のログファイル（「stderr.txt」「stdout.txt」）が出力されるので、エラーの解析等に役立てることができます。

9) ジョブの準備タスク作成時やタスク作成時に「リソース ファイル」という項目を設定している場合、プール上の仮想マシン内のどこに展開されているのでしょうか。
※「リソース ファイル」の説明は、「5. ジョブの作成」の「ジョブの準備タスク」を設定している箇所を参考にしてください。

「リソース ファイル」でアップロードしたファイルは、プール上の仮想マシンの「root / wd」という場所に格納されています。
今回、必要なリソースは全て Batch アカウントとひもづいているストレージアカウントのコンテナーに格納しているので、ストレージコンテナーの中身がプール上の仮想マシンの「root / wd」に格納されていることが確認できます。

8. おわりに

これで Azure CLI で記載されている『とあるプログラム』を Azure Batch 上で動かすことができました。

『とあるプログラム』を動かして、結果も無事取得できたのですが、実はまだ考慮すべきことが残っています。
もし、Azure Batch 上で動かすプログラムが処理結果としてファイルを出力する場合、出力ファイルは Azure Batch 上のプール（＝仮想マシン）に出力されます。このままではプールを削除した場合、あるいは、ノードがプールを終了した場合、VM 内のファイルもすべて消えてしまうため、出力ファイルやログ等をストレージアカウントに移動する必要があります。
Microsoft の Docs でも、Batch（ジョブ）の成果物はストレージに移すことを推奨しています。

【参考：ジョブとタスク出力を保持する】
https://docs.microsoft.com/ja-jp/azure/batch/batch-task-output


あとはペンディングにしている証明書の保管のところです。今はストレージに配置してしまっているので、もう少しセキュアな構成にする必要があります。

上記の設定は、余裕があったらまたアップしようと思います。

本来、Azure Batch は、アプリケーションを独立して実行する「本質的に並列なワークロード」で利用されるケースが多いようです。Microsoft の Docs には、以下の例が挙げられています。以下の例に合致するのであれば、Azure Batch を検討してみても良いかもしれません。

• モンテカルロ シミュレーションを使用した財務リスクのモデリング
• VFX および 3D 画像のレンダリング
• 画像の分析と処理
• メディア コード変換
• 遺伝子配列の分析
• 光学式文字認識 (OCR)
• データの取り込み、処理、および ETL 操作
• ソフトウェアのテストの実行



【参考：並列ワークロードの実行】
https://docs.microsoft.com/ja-jp/azure/batch/batch-technical-overview#run-parallel-workloads

最後までお読みいただき、ありがとうございました！