クラウドエンジニアブログ

Video Analyzer for Media を使用して動画データからインサイトを見つけよう!

八木 真理奈

八木 真理奈

こんにちは。データサイエンティストチームの八木です。

最近ではウェビナーが一般的なものになり、録画した動画をアーカイブとして公開している企業も多いと思いますが、その動画をどのように活用していますか?動画にはたくさんの情報が含まれていますが、その情報量の多さから自分の求めている情報がどこで出てくるか分からず時間を取られてしまうといった声も聞かれます。そうした状況の中で、取得した動画の中からインサイトとなる要素を抽出し活用するといった観点はますます重要となってきます。そこで今回は Microsoft の Video Analyzer for Media (旧:Video Indexer) を使用して、動画データからどのようなインサイト (分析情報) を取得できるかをご紹介しようと思います。




「機械学習導入支援サービス」はこちら


Video Analyzer for Media とは

Azure Video Analyzer for Media とは、Microsoft が提供するビデオから分析情報を抽出するクラウドサービスのことです。Azure Media Services や Azure Cognitive Services (Face、Translator、Computer Vision、Speech など) を基盤として構築されています。Video Analyzer for Media を使えば動画や音声のデータから機械学習モデルを使用して詳細な分析情報を抽出することができます。また、自分でモデルをカスタマイズすることも可能です。

Build 2021 でのアップデートとして、開発者が AI ソリューションをより迅速に構築できるようにするために Azure Applied AI Servicesと呼ばれる新しいカテゴリのサービスが 2021 年 5 月 25 日に発表されました。Azure Video Analyzer は、そのAzure Applied AI Services の一つであり、もともとあった Live Video Analytics は Azure Video Analyzer になり、Video Indexer は Azure Video Analyzer for Media になりました。

Video Analyzer for Media には主に以下の機能があります。

  1. ビデオの分析
    • 顔検出
      ビデオに表示される顔を検出し、グループ化します。
    • 著名人の識別
      世界中の俳優、アスリート、研究者など、100 万人を超える著名人を自動的に識別します。
    • 顔のサムネイル抽出
      顔の各グループでキャプチャされた最適な顔を (品質、サイズ、正面位置に基づいて) 自動的に識別し、それをイメージ アセットとして抽出します。
  2. オーディオの分析
    • 音声の文字起こし
      音声をテキストに変換します。12 の言語に対応しており、日本語もサポートされています。
    • ノイズリダクション
      電話音声やノイズの多い録音を明瞭にします。
    • 話者の列挙
      どの話者がどの言葉をいつ話したかをマッピングして認識します。 16 人の話者を 1 つの音声ファイルで検出することができます。
    • 感情の検出
      音声 (話されている内容) と口調 (話し方) に基づいて感情を識別し、喜び、悲しみ、怒り、恐怖などに分類します。
  3. オーディオとビデオの分析 (マルチチャンネル)
    • キーワードの抽出
      音声と視覚テキストからキーワードを抽出します。
    • 名前付きエンティティ (人名や地名などの固有表現) の抽出
      自然言語処理 (NLP) を使用して、音声および視覚テキストからブランド、場所、人物を抽出します。
    • センチメント分析
      音声と視覚テキストから、ポジティブ、ネガティブ、ニュートラルといった感情を識別します。

ここに紹介した機能以外にもたくさんの機能が備えられていますので、詳しく知りたい方は以下のサイトからご確認ください。
https://docs.microsoft.com/ja-jp/azure/azure-video-analyzer/video-analyzer-for-media-docs/video-indexer-overview

Video Analyzer for Media を使ってみて、私が思う良い点と気を付ける点は以下です。

  • 良い点
    • Microsoft の AI サービスが統合されているので、多種多様な機能が用意されている
    • 動画を簡単に無料で分析することができる
    • モデルのカスタマイズを行うことができる
  • 気を付ける点
    • カスタマイズする場合、データの用意が必要となる。例えば、言語モデルのカスタマイズを行う際は話されるのと同じくらい十分な実例を用意することを推奨している

次の章では、Video Analyzer for Media にある動画サンプルを使って Video Analyzer for Media の機能や解析結果を見ていきたいと思います。

「機械学習導入支援サービス」はこちら


Video Analyzer for Media の使い方と得られるインサイト

1. サインイン

Video Analyzer for Media Web サイトにアクセスします。
https://www.videoindexer.ai/

アクセスするとサインインを求められますので、ご自身のアカウントでサインインを行ってください。私は AAD (Azure Active Directory) アカウントを持っていましたので、そちらを使用してログインしました。

Form Recognizer

サインインに成功すると、以下の画面が表示されます。

Form Recognizer

2. サンプルのデータを確認する

[サンプル] から、[Microsoft Build 2016] を選択します。

Form Recognizer

サンプルを開くと分析後の状態を確認することができます。早速どのような結果になっているのか確認していきましょう。

Form Recognizer

①人物
[経歴を表示する] をクリックすると、どの人がどの程度映ったかの数値と名前や経歴などが表示されます。[Bing で検索] をクリックするとすぐにどういった経歴を持つ人物なのかWebで調べることも可能です。

Form Recognizer

また、人物を選んで [次を再生する] をクリックすると、その人物が出てくるところまでスキップすることができます。

Form Recognizer

②Topic
③Keyword
④Label
動画の中でどのようなトピック、キーワード、ラベルがあったのか見ることができます。
特に keyword では、azure function や high spot などサービスで絞って動画を見ていくこともできるので、自分の興味があるところだけ見ることも可能になります。

Form Recognizer

⑤名前付きエンティティ
ここでは、場所、人物、ブランドのエンティティを見ることができます。例えばブランドで [Microsoft Visual Studio] をクリックするとどの箇所でそのサービスについての説明があったのかを見ることができます。

Form Recognizer

⑥感情
ここでは、動画の中でどのような感情が表現されていたかを見ることができます。
どのような感情か (今回の例だと喜び、怒り、恐怖、悲しい) と、積極的か消極的かという 2 つの観点で分析されています。
怒り、恐怖、悲しいと判断された場面について動画内を確認しましたが、そういった感情を表現している場面というよりは、抑揚や声のトーンによってそう判断されているように見受けられました。

Form Recognizer

⑦シーン
シーンで場面が区切られており、プレゼンからムービーに切り替わるところなどを検出していました。

Form Recognizer

3. 字幕の確認

[タイムライン] の項目では字幕が確認できます。

Form Recognizer

右上の地球のマークから表示する言語を変更することも可能です。

Form Recognizer

[日本語] を選択すると、日本語で字幕が表示されます。

Form Recognizer

字幕を見てみると全体として日本語に大きな違和感はないですが、一部 Windows のことを窓と表示している部分がありました。そういったサービス名称や業界用語などはモデルをカスタマイズすることで適切な表示になると思いますので、ぜひモデルのカスタマイズも使ってみてください。

「機械学習導入支援サービス」はこちら


さいごに

今回は、Microsoft の Video Analyzer for Media (旧:Video Indexer) を使用して、動画データからどのようなインサイト (分析情報) を取得できるかご紹介しました。すぐに試すことでき、動画データから様々な情報を得ることができますので、ウェビナーや研修の動画などをお持ちの方はぜひ試してみてください。

弊社では、このような Azure のサービスを使用した AI 活用支援をはじめ、様々な分野での機械学習モデル構築を承っております。現行の作業を軽減してより重要な作業に時間を当てたい、取得しているデータを活用して課題解決を行いたいなどAI活用を検討中のご担当者の方がいらっしゃいましたら、ぜひお問い合わせください。まず何から始めればよいか悩んでいるといったお客様も、お気軽にご相談いただければと思います。

関連ページ

「機械学習導入支援サービス」はこちら

【総合】お問い合わせ

製品・サービスに関するお問い合わせはお気軽にご相談ください

ピックアップ

セミナー情報
クラウドエンジニアブログ
clouXion
メールマガジン登録