AEを使ってローリングシャッターを修復してみる

こんにちは、ペリーです。

C84に参加されたみなさんお疲れさまでした。お目当ての品は手に入ったでしょうか?
Twitter や各種まとめサイトを見る限り、今年は八咫烏も真っ青になる「灼熱地獄」と化した様で、モニター越しに見ているこちらにも熱気が伝わってくるようでした。
連日外気が40℃超えってえぇぇ…(((( ;゚Д゚)))ガクガクブルブル
自分はとにかく暑さに弱いので、いままでもこれからもたぶん参加は見送りになりそうです。

また「夏コミ終わったー」と安心してもいられないのが、同人サークルの宿命。
ご存知の通り冬コミ(C85)の締切が16日に迫っているので、C85の参加を考えているサークルさんは、今日明日あたり書類と格闘されているのではないでしょうか?

ちなみに冬コミなんですが、……ちょっと微妙な状態ですね。
スケジュールがだいぶ遅れてしまっているので、冬コミ用に何か発表できるものがあるのか心配です。
もしかしたら次回の参加は見送るかも…
まあ、参加する・しないにかかわらず、まずは完成目指してがんばりましょう(→主に自分)

さて話は変わって、今回もちょっとマニアックな AfterEffects 話をしたいと思います。
(以下、映像話が続くので、興味のある方だけどうぞ。)


話は 前回の記事を書いた直後くらいにさかのぼります。

撮影もだいぶ終り、それなりにショットのストックが貯まって来たので、確実に使う予定のショットは先にスタビライズしておこうと、AfterEffects の「トラッキング(Tracking)」機能を使って、撮影時に発生した手ブレを修正していた時の事でした。 (詳しくはこちら

まずはスタビライズ前の動画。


今回はドリー代わりの自転車を使えなかったので、上下左右に結構手ブレが起きています。
ただ、屋外の撮影のためか、モーションブラはあまり発生していなかったので、トラッキングはスムーズに行きました。


「さて、カメラもスタビライズした事だし、さっそくMatchmoving を…」と考える自分の前に、奇妙な現象が現れます。それがこちら(↓)

ここに動画
( ゚д゚) ・・・
 
(つд⊂)ゴシゴシ
 
(;゚д゚) <アレナンカユガンデネ?

…まるでコンニャクのように建物が揺れています。
(よく分からなった方は奥の建物に注目してもう一度見てみてください)

そう、このコンニャク現象こそが「モーションブラー」に次ぐ難敵として名高い
ローリングシャッター(Rolling Shutter)
という現象だったのです。

まずはこちらの動画を見てみてください。


回転するプロペラ機の羽根を、ケータイ(Nokia N95)で撮影したところ、このような奇妙な映像が撮れたようです。(確かオリジナルの記事はGIGAZINEか何かでみた気がするのですが、思いだせないのと検索しても出てこないので、 自分で解説したいと思います)

実はこの奇妙な映像も、先ほどのコンニャク現象も、同じローリングシャッターが原因で発生しています。

ではローリングシャッターとは一体何のことなんでしょうか?
と言うわけで、困った時の wikipedia 先生。
Rolling shutter is a method of image acquisition in which each frame is recorded not from a snapshot of a single point in time, but rather by scanning across the frame either vertically or horizontally. In other words, not all parts of the image are recorded at exactly the same time, even though the whole frame is displayed at the same time during playback. This produces predictable distortions of fast-moving objects or when the sensor captures rapid flashes of light. This is in contrast with global shutter in which the entire frame is exposed for the same time window.
…らしいです(笑)

たぶん、ほとんどの方(自分も含む)が( ゚д゚)ポカーンとなったらしく、もっと分かりやすい資料がリンクされていました。



最近のスマートフォン(iPhoneなど)に搭載されているカメラを始め、今回の撮影に使用した Canon 60D (カメラの詳しい話はまたの機会に)も、「ライン露光順次読み出し方式(ローリングシャッター)」を行うCMOSセンサーを使用して映像を記録しています。
 
CMOS センサーは、従来のビデオカメラに使われていたCCDセンサーに比べ、少ない電力で、高速の読み出しを、低価格で実現するというメリットがある半面、CCDと違い、動画のように映像をまるで スキャナーのように読み取るため、このスキャン速度より早い物を撮影しようとすると、先ほどの動画の様な奇妙な現象が発生するようです。
ちなみにCCDセンサーのように、レンズに映った物を一度に記録できる方式の事をグローバルシャッター(Global Shutter)と言います。


と言うわけで、原因が分かったところでもう一人の先生に解決策を聞いてみます。
教えてGoogle 先生w


どうやらケータイやデジカメで撮影することの多い昨今、このローリングシャッターの問題にみなさんかなり頭を悩ましていたらしく、AfterEffectsの標準機能ですでに解決策が提供されていたようです。
…知らなかった(汗
さすが Adobe さん、仕事が早くて助かります。

と言うわけで、コンニャク現象もこの機能でさくっと解決…

まあ、そんなに甘く行かないですよね…。

確かにコンニャクの様な横の歪みは無くなったのですが、まだパースペクティブ(縦方向の妙な歪み)が残っています。これは、カメラが左右に揺れた際に、レンズの向きが変わる=被写体の写る側面が変化する事が原因だと考えられます。

で、解決方法はと言うと
…地味に3Dレイヤーで逆パースをかけて修正する事にします。



Y軸回転タイミングは目で見て判断するしかないので、どうしてもタイミングのズレが出てしまうのですが、そこは気合いでカバーする事になります。


まあ、こんなもんでしょう(汗
完成後のショットはこちら(↓)


何とか見れるショットになったかと思います。
(まだちょっと揺れてますが…)

と言うわけで、今回はローリングシャッターの直し方を解説してみました。
次回こそはもっと普通の話題を提供できればいいんですけど…。

それでは、また。

0 コメント :

コメントを投稿

 

©Copyright Perry Street. All rights reserved.