どんな機能？
弊社のライブ配信機能は、「カメラが撮影している映像」を、すぐに、手軽に、視聴できる機能です。現場でもクラウドでも、「今この瞬間の映像」を確認することができます。遅延は１秒以下です。
映像の視聴方法は、ブラウザーのみあれば良く（WebRTC技術）カメラの種類にも依存しません。特別なアプリケーションやプラグインのインストールが不要なので、とても手軽です。弊社では、様々な分野のお客様に映像解析ソリューションを提供していますが、「今この瞬間の映像を見たい」というのは、多くのソリューションに共通してある要望です。
そのため、重要な技術要素の１つとなっています。また、弊社では、お客様の要望により、多様な規格のカメラを扱います（参考：リスト１）ライブ配信機能により、どんな種類のカメラであっても「今この瞬間の映像」を確認する方法は同一になり、手軽・簡単に行うことができます。
（参考：リスト１）
映像解析ソリューションで利用できる様々な種類のカメラ
- 業務用のPTZカメラ（リモート制御でカメラの方向を変えたりズームできます）
- 暗視カメラ
- 赤外線カメラ（サーマルカメラ）
- UVC規格の安価なウェブカメラ
- コンシューマ向けスマートカメラ
- スマートフォンのカメラ（Android）
- マルチキャスト配信カメラ（国交省仕様エンコーダ）
カメラの映像ですので、当然、セキュリティーにも配慮した設計となっています。
ユーザは何に困っていたか？
映像解析の現場では、なぜ「今この瞬間の映像」を見たいことが多いのでしょうか？
それは、良い映像を入力できるほど、良い結果が出やすいからです。
映像解析の現場では、入力する映像の品質が非常に重要になります。しかし、カメラの映像品質は、いろいろな要因で劣化します（参考：リスト２）
（参考：リスト２）
カメラ映像を劣化させる要因（一部）
カメラ映像を劣化させる要因（一部）
- 光学系
ー 画角ミス（設置後にカメラに何かがぶつかって視野角が変わった、ズームしたまま戻し忘れた等）
ー逆光による白飛びや黒つぶれ
ー朝焼け・夕焼けによる変色
ー露光不足によるノイズ
ーオクルージョン
ーピンぼけ
ー ミー散乱（濃霧・雨など）
ー雨天でヘッドランプが路面に反射するなどの反射光
ーモーションブラー（シャッタースピードに対して被写体の動きが速すぎる）
ーレンズへの汚れ
ー センサーの感度・品質 - エンコーディング
ー解像度不足によるディテール潰れ
ーフレームレート不足
ービットレート不足によるブロックノイズ（フレームレートが過剰な場合もある）
ー コーデックの品質 - 伝送系
ーネットワークのパケット・ドロップ等に起因するノイズ（Wifiの混雑など）
ーネットワークの遅延や再送
コンピュータの世界では、Garbage in, garbage out (GIGO) [1] という言葉があります。どんなに分析ロジックが優れていても「無意味なデータ」をコンピュータに入力すれば、「無意味な結果」が出力されるという意味です。
昨今は、ディープラーニングの進歩のおかげで、低品質な映像でも、出力結果の品質は大幅に向上しました。映像品質自体を改善するアルゴリズムも色々と発表されています。それでも、ノイズの海から有効なシグナルを取り出すには限界がありますし、必要となる計算リソースも増え、コストの増加につながることが多いです。少なくとも、この文章の執筆時点では、映像解析プロジェクトの成功は、どれだけ良質な入力映像を得られるかという部分に大きく依存しているといえるでしょう。
実際、弊社以外の業者と映像解析プロジェクトをやってみて、とりあえず撮影できたということで解析フェーズに入ったら、映像の品質が低すぎて期待する結果が得られなかった。十分な費用対効果が得られなかった。といった事例をよく見かけます。カメラの設置業者もエンドユーザも映像解析のプロフェッショナルではないことが多いですから、致し方ないことかもしれませんが、弊社であれば、もっと高品質な映像を取得できたのではないかと思うこともあります。
入力映像の品質を確認するのに最も簡単な方法は、実際の映像を目視で確認してみることです。もしカメラを設置するなら、カメラの画角や明るさが足りているか等、現場で確認できるのがベストです。そうすれば、設置の間にフレームレートや解像度、カメラの種類、向きなどをその場で調整できます。[2]
また、映像解析をカメラ側で行う（エッジ解析）のではなく、一旦サーバーなどに転送してから解析を行う場合（クラウド解析／中間サーバー解析）には、伝送系の問題も発生します。そのため、解析サーバー上で映像を目視確認することも大事になってきます。
伝送系の問題は、単なるWifi混雑などだけでなく、意外なところに潜んでいます。ショッピングモールで行った映像解析プロジェクトでは、昼間にモールからインターネットに出る回線の途中で、通信帯域が不足したことがあります。モール内でのWifiは混雑もなくスムーズで、ウェブサイトの閲覧でも問題ない（ダウンロードスピードは十分）。しかし、クラウドへの映像アップロードはスピードがでず、映像が大きく乱れてしまったことがありました。このように、所望の品質で映像が解析サーバーまで到達しているかどうかは、単純なようでいて、しっかり確認しておかないと、いざ解析をしようとなったときに、ノイズだらけで解析できる映像がないという話になりかねません。
どう解決したか？
弊社のライブ配信機能は、前述の色々な状況に対応できるよう構築されています。キーとなるモジュールは２つあり、エッジデバイス用ミドルウェア 「SCORER Edge」 と、クラウド上でのライブ視聴を可能とする「SCORER Cloud」です。
SCORER Edge
「SCORER Edge」は、非常に多くの機能を提供していますが、標準機能の１つとして、その場で入力映像の視聴ができます。WebRTCプロトコルを活用し[3]、ブラウザ上にカメラ映像を直接表示できます。帯域の厳しい環境では、３秒毎の静止画（JPEG）をパラパラ漫画のように表示することもできます。通信は、エッジデバイスとブラウザー間でのP2P通信となりますので、インターネットに接続できない現場でも、スムーズ、かつ手軽に映像を確認することできます。
もちろん、「SCORER Edge」が様々なタイプのカメラ／プロトコルの違いを吸収するので、ユーザーはカメラごとに異なる動画の視聴方法を調べなくとも、ブラウザだけで映像を確認することができます。
「SCORER Edge」は、用途に応じて、Intel系の小型PC、NVIDIA GPUを搭載したサーバー、Raspberry Pi上でも動作できます。カメラの死活監視や映像を目視確認をするレベルであれば、Raspberry Piのような安価なコンピュータを利用してシステム全体の費用を削減することができるますし、解析用のGPUサーバーに搭載すれば、潤沢なハードウェアリソースを活用して、１つの拠点にある多数のカメラ映像をリアルタイムで現場で解析、お客様のシステムやクラウドに結果データのみ送信することもできます。
SCORER Cloud
「SCORER Cloud」でも、受信したライブストリーミング映像を、ライブ視聴できます。インターネットにさえ接続できれば、複数の拠点にあるカメラの映像を「SCORER Cloud」で集約し、一括で監視することができます[5]。
このとき、各拠点のネットワークに立ち入る必要はありません。
もちろん、弊社は映像解析ソリューションを提供する会社ですので、クラウドに集約された質の良い映像をそのまま解析し、侵入者検知や異常検知といった解析と組み合わせることも容易です。
まとめ
このように、弊社のライブ配信機能は、「今この瞬間の映像」を簡単に確認できるようにする適用範囲の広い基本的な機能です。背後には、様々なプロトコルの取り扱いや、遅延を抑え効率的に動作させる工夫、スケーラビリティー、最新ブラウザへの対応など苦労もありますが、弊社が多様な映像解析を扱うために必須の技術モジュールとなっています。
事例
- 事象検知
- SCORER Traffic Counter Edge
- peopletracker
Appendix
1. Garbage in, garbage out (GIGO)
2. 弊社のプラットフォームでは、ライブ配信のみでなく、映像の録画やクラウドへの保管を自動で行い、後日、解析結果と入力映像を突き合わせることも当然できます。しかし、ライブ配信を利用すれば、よりシンプルに、その場で映像を確認できるというのは、とても便利です。
3. ユーザが必要とするなら、RTSPプロトコルを用いた視聴も可能です。過去に、ブラウザではなく、VLCメディアプレイヤーを利用したいというケースがありました。
4. クラウドへのライブストリーミングにはRTMP/RTMPSを利用します。一般的なストリーミング配信の方法で、YouTubeでのライブ配信などにも利用されています。
5. このようなシステムは、一般的に Video Management System (VMS) と呼ばれます。ビル管理システムなどで、たくさんのカメラの映像を司令室のようなダッシュボードで見たいといった要望です。