VJ時に外部映像を取り込む時のソース選定ガイドライン

こんにちは、SabaLeoN szkです。

久々のVJガイドライン記事になります。
今回のテーマは「外部ソースの映像を取り込む時の考え方」になります。

概要

VJソフトの多くはResolume含みメディアサーバとして多数のソースを読み込むことが可能です。
また、それらの映像データを内部でルーティングし複数のアプトプット先へ投影することができます。
この記事では、コンシューマ向けの機材の中から実際に利用する映像入力をどのような考え方で選定するかを記載します。

また、類似の参考記事も併せて参照頂くことで、より理解を深められるかと存じます。
※下記の記事はResolumeの記事になります。

ソース：Caputure Devicesについて

[blogcard url=”https://szkhaven.com/2020/07/27/resolume_source_caputure-devices/”]

取り込んだソースを複数のアウトプットへルーティングする

[blogcard url=”https://szkhaven.com/2020/05/26/resolume_disp_routing_quickguide/”]

主なインプットソースについて

一般的なインプットソースについては次のようなものがあげられます。

HDMI(又はそれに準ずる)キャプチャボード

HDMIのソースを入力することができる機材です。
その性能は使用する機材によって大きく異なります。
古くはPCI接続のモノが主流かつ安定していましたが、USB3.0の普及以降はゲーム配信用のUSB経由の外付けキャプチャボード製品も層が厚く
安定感もほとんどPCI接続のモノと変わらないのが現在の状況です。
また、このテレワークブームに準じて質より価格を取った中華製の製品もあるため、手が出しやすくなっています。

ただ、キャプチャボードには大きく分けて2つ種類がありそれを知っておく必要があると思います。

ハードウェア処理とソフトウェア処理

キャプチャボードには大きく分けて2つ、ハードウェアで映像処理するデバイスとソフトウェアによって映像処理するデバイスが存在します。
それぞれの違いは以下のような感じ

・ハードウェア処理型は遅延が生じやすいがPC負荷がかかりづらい
・ソフトウェア処理型は遅延が生じづらいがPC負荷がかかる

もちろん例外もあります。
例えば予めVJソフトウェアによって高負荷環境でソフトウェア処理のデバイスを使えば遅延が生じる可能性があったりもします。
ゲーム配信界隈では、「高いスペックのデスクトップPCにソフトウェア処理のデバイスをつけてPC画面上でコンシューマゲームをプレイする」
といった文化もあります。
余りブログで個人主張はしたくないのですが、あえて意見を述べさせてもらうとVJユースに関してはハードウェア処理型のデバイスを用いたほうが安定感は増すかと思います。
遅延はどうせVJソフト側で切り替えるタイミング＝客から見た切り替えタイミングなのでVJの手によっていくらでも吸収できるわけですし、そもそもハードウェア処理型も最近はコンマ秒程度の遅延に収まっているのが現状です。

と、御託はここらへんにしておいて、”一般的な製品(ヨドバシで売っているようなレベルの製品)”を平均としてみたときに他の方法と比較して以下のメリット/デメリットがあります

他映像取り込み方法との比較

▲優れているポイント　▼劣っているポイント

▲(ハードウェア処理デバイスの場合)負荷は少なく安定性も高い
▼機器の購入費用がかかり、コストは低いとは言えない
▼映像を出力する側の機器はOUTPUTが埋まってしまう
→上記の対応を行うためにスプリッターなどを使うと映像が安定しなくなる。
※NDI等の場合はHDMIに出力しながら別経路で映像を出力できる。

NDI

SDIをネットワーク経由で飛ばそう、という規格。
散々このブログでは取り上げられているので最近はご存じの方も多そうです。
1台のPCの中でデータを回す場合は最も安価かつシンプルな方法になります。
ただし、最近はNDIのバージョンアップに従い転送情報量が増えてきたためか、v4以降は利用する際には若干の負荷を覚悟する必要があります。

他映像取り込み方法との比較

▲優れているポイント　▼劣っているポイント

▲現在最も安価に映像をやり取りできる規格。
▼最新のバージョンではある程度の負荷を考慮し、スペック(特にCPU)の高いPCが必要
▼2台以上の機器から情報を受け取る場合はギガビットイーサ対応のネットワーク機器が必要になる。
→上記の危機を事故無く扱うためのネットワーク基礎知識が必要となる

Syphon & Spout

ローカル環境のウィンドウを別アプリケーションで映しましょう。という用途で開発された仕組み。
元はローカル環境向けであるもののNDI同様にLAN環境でなら映像を別危機に飛ばすこともできます。
NDIと比べてシンプルかつ負荷もかからない。
但し最大の弱点として「Mac/Windows」で互換性が無いというデメリットがあります。

他映像取り込み方法との比較

▲優れているポイント　▼劣っているポイント

▲NDIよりも負荷がかからない
▼WindowsはWindows同士(Spout)、MacはMac同士(Syphon)と互換性が無い
▼ソフトによって別途プラグインなどを導入する必要がある(Resolumeは不要)
▼ソフトによって未対応の場合がある

外部映像を取り込む時のソース選定ガイドライン

というわけで本編。これら3つのソースをどういった理由を以て選定するか考えていきましょう。

ケース1：ローカル環境内での映像入出力

例えばOBSやVLC、はたまた複数ソフト間でのデータの受け渡しが必要な場合のシチュエーションです。
Resolumeに限った話でいえば、MP4コンテナH.264フォーマットの動画ファイルの資産が多い方はVirtualDJやVLCからResolumeに映像を渡すというシチュエーションがあるかと思います。
さて、この場合利用するのは主にSypon&Spout か NDI がになるかと思います。

Macの場合はSyphonを使うのが最も良い選択肢だと思います。実装も楽でかつ負荷も少ない。
Windowsユーザーの場合はSpoutかNDIの2択ですが、最も実装が楽なのはNDI。PCスペックに余裕があるならこちらで良いでしょう。
ただしバージョンの違いによってうまく送受信できない場合があるので送信側と受信側のバージョンには気を付けてください。
また、負荷が若干気になる環境の場合はPCを2台にする、下のSpoutを使うなどが選択肢として挙げられます。
Spoutは対応ソフトが限られています。touchdesignerやProsessing、VirtualDJ等は対応。
VLCは未対応ですがWINAMPが対応しているのでそちらで対応してみるのもいいかもしれません。

ケース2：自身の2台目のPCやデバイスの映像を入力したい

このケースは優先してHDMIキャプチャを利用したいケースとなります。
但し条件として「2台目のPCからは直接映像を出力しない」という構成が推奨です。
HDMIキャプチャを使うということはPCのOUTPUTは塞がれてしまいますので。

「だったら、スプリッターを使えばいいじゃん！」というアイデアもあるかもしれませんが、HDMIの場合むやみに分岐を行うと他のVJとの共有機材(V1HD等)のオペレーションが複雑になる可能性もありますし、事前に検証できていない場合は相性によって設営に余計な時間を割く可能性もあります。
(「1番と3番はszkが使うので2番と4版をそれぞれ〇〇さんと△△さんでお願いします！」とか余計な混乱を招くのであまり言いたくないですからね)
スプリットした場合のHDMIの動作については以下の記事を見て頂くのが一番よいかと

[blogcard url=”https://szkhaven.com/2020/05/25/multidisplay_and_projector_pc_atvj/”]

もちろん、ミキサーが自分専用のものであれば自身の環境で完結できるので問題ないと思います。
その際は事前に構成を検証しておくとGoodですね。
自身の複数台のPCをメインアウトの1台にまとめたい、というときにはキャプチャボードを優先して利用したいところです。

ケース3：他のVJの映像を入力したい

最もパターンバリエーションがあって困るのがこのケース。
正直いうと「構成による」かと思います。
Resolumeの場合の話をしますが、”メディアサーバ”の名前に準じて「最終OUTをResolumeにする」(ROLAND PR800的に使う)という構成も中にはあると思います。
新宿のWARPさんは確かこの構成だったかと。

この場合は、ResolumeのインストールされたPCをミキサとして利用するので、ケース2と同様にHDMIキャプチャボードを繋いで入力すればいいかと思います。
・Resolume←他VJ用PC

で複数台のHDMIキャプチャを利用しても

・Resolume←ミキサー←他VJPC

で1台のHDMIキャプチャを利用してもいいと思います。
ちなみにUSBタイプのHDMIキャプチャを複数利用する場合はUSBバスの帯域に気を付けてください。
理想は1つのUSBコントローラーに対して1台のキャプチャボード。複数入れてもせいぜい2台が限界かと。
あとはUSBハブの先にキャプチャボードを複数台つなげるといった構成は帯域不足の原因になる場合もあるのでご注意下さい。

一方でアニクラなどで汎用素材を利用するVJがアニメOP素材等を流すVJの映像を欲しいと思うとき。
こういったパターンではNDIが便利です。
それぞれのVJのPCからはメインのOUTPUTを出す中でキャプチャボードに占有されませんし、画面の数に対してVJが多い場合も2人で協業してプレイできる等土壇場の構成幅が広がります。

構成時のポイントとしてはちゃんとギガ対応したスイッチングハブかルータを持っていくこと。
無線だと会場の電波で干渉され中々厳しいです。
あとはIPアドレスを振るか市販のルータのDHCP機能を使ってIPアドレスを振り分けること。
さらに、アニメOPを流す人はモバイルルーターなどでYoutubeにアクセスしたりもするので、そこまで気にしてあげること。です。

ハードルは高いですが、上記にさえ気を付けていれば1時間で設営は問題なくできるかと思います。
何ならNDIに関しては本番始まった後でも拡張設営が可能ですので、試してみてください。

まとめ

と、つらつらと書きましたがポイントとしては以下になるかと

1．PC単体での安定性はキャプチャボードだが、全体の構成が複雑にならないようにすること
2．NDIはメインのアウトプットに干渉しない。Addの存在として考えること。使う場合は責任を持って構成理解し取りまとめすること。
3．Spout/SyphonやNDIローカル環境で映像を受け渡しする際に便利。自身のPC環境と相談して都合のいい構成を見つけよう。

といった感じでしょうか。
上でも少し記載してますがProsessingやTouchDesignerなどのソフトを使えばさらに表現の幅も広がります。
色々工夫してみてくださいね。

resolumeのメモ by szkhaven