いつかPhotoshopに? 昼景が夜景に、雪原が草原に…! 写真の色彩を自動的に転写できるアルゴリズム

いつかPhotoshopに? 昼景が夜景に、雪原が草原に…! 写真の色彩を自動的に転写できるアルゴリズム

写真の楽しみが広がりそう。

美しい空の色や鮮やかな花の色といった写真色彩的特徴を他の写真に転写できるアルゴリズムが開発されました。

こちらの画像を例に説明すると、夜のオフィス街の写真を参照して日中のビル群を撮影した写真を、まるで夜に撮影したかのように変えられるということです。画像処理アルゴリズムは数あれど、これが他と違うのは写真らしさを損なわずに、もととなる写真の色合いや照明の具合いといった特徴を別の写真に転写できるのです。

このアルゴリズムを開発したのはAdobeのSylvain ParisとEli Shechtman、コーネル大学のFujun LuanとKavita Bala。彼らが共同執筆した、Deep Style Photo Transferという論文はつい最近、論文サイトarXivに投稿されました。その中で写真のようなリアルさを保ったまま、1つの写真の色合い(時間や気候、季節の色)の要素を全く別の写真に自動的適用できる編集作業と色補正を行う新たなディープラーニングのアプローチについて述べています。

このような画像処理のアルゴリズムは別に目新しい物ではありませんが、従来のアルゴリズムで出来上がった画像は、写真というよりもどちらかというと絵画っぽく見えがちなものでした。見事なディテールは損なわれ、まっすぐな線は歪められ、色の変更は画像の広い範囲に適用されるなど、その後の手直しが求められる、理想的とは程遠いものだったのです。

しかし、研究チームは1ステップでの変換を目指していたので、ニューラルネットワークディープラーニングを使ったアプローチを行うことに。そうすることで空間的なゆがみを防ぎ、写真の場面の意味を尊重した転写を行えるようになったのです。例えば、空の範囲の色が人工建造物に適用されたら困りますからね。そうして出来上がったアルゴリズムはディテール維持し、歪みを作らず画像のだけを変えるものになりました。

ただ、仕上がりは常に完璧かというと答えはノーです。上の画像では雪原が緑豊かな渓谷に変えられましたが、アルゴリズムには責任が取れないこともいくつかあります。草木が生い茂る草原のディテールは、ただ雪に覆われた平野を緑色へと色補正するだけでは再現できないのです。しかし研究者たちの調査によれば、このアルゴリズムは後で微調整しなくても8割がたは成功しているとのこと。

ゆくゆくはPhotoshopや他の画像処理アプリケーションに組み込まれることになりそうです。

グニョグニョGIFが簡単につくれるアプリ「Squigglish!」その開発のきっかけは、手のふるえを修正する技術

Photos: Fujun Luan
source: Deep Photo Style Transfer via DPReview via PetaPixel
reference: Fujun Luan / GitHub

Andrew Liszewski - Gizmodo US[原文
(たもり)