昨年、ドイツのコンピューター科学者のグループは、デジタル静止画像を、ヴィンセントヴァンゴッホ、パブロピカソ、エドヴァルドムンクなどの絵画風のマスタースタイルを模倣したアートワークに変換できる新しいコンピューターアルゴリズムを実証することで、波を作りました。 印象的な偉業でしたが、同じ手法を動画に適用することは当時とんでもないように思えました。 しかし、現在、別の研究者グループがそれを見つけ出し、動きのあるデジタル傑作を迅速かつシームレスに作成しているとCarl EngelkingはDiscoverに書いています。
関連性のあるコンテンツ
- ゴッホに関するこのアニメーション映画は、完全に油絵で作られています
- この人工ニューラルネットワークは不条理なピックアップラインを生成します
ビデオデモでは、プログラマは、マウスをクリックするだけで、Ice AgeやMiss Marpleなどの映画やテレビ番組のシーンを絵画のようなアニメーションに変換することにより、アルゴリズムの芸術的能力を発揮します。 しかし、アルゴリズムの開発は簡単なことではありません。
このような詳細な変換を作成するために、テュービンゲン大学のコンピューター科学者Leon Gatysと彼の同僚は、人工ニューラルネットワークから実行される深層学習アルゴリズムを開発しました。 人間の脳内のニューロンが接続する方法を模倣することにより、これらの機械学習システムは、古いラップトップよりもはるかに複雑なタスクを実行できます。
仕組みは次のとおりです。ラップトップで絵の写真を見たり、映画を見たりするとき、コンピューターがファイル内の情報をデコードし、適切な方法で表示するのを目撃します。 しかし、これらの画像がニューラルネットワークを介して処理されると、コンピューターはこれらのファイルに含まれる情報の多くの異なるレイヤーを取得し、それらを断片ごとに分離することができます。
たとえば、 MIT Technology Reviewによると、1つのレイヤーにはファンゴッホの星空の基本色の情報が含まれ、次のレイヤーにはもう少し詳細やテクスチャなどが追加されます。 その後、システムは異なるレイヤーを個別に変更してから、それらを元に戻し、まったく新しいイメージを作成します。
「両方の表現を個別に操作して、知覚的に意味のある新しい画像を作成できます。」Gatysは、prepress arXivサーバーに公開された調査で書いています。
このレイヤーベースの学習システムをピカソとファンゴッホの絵画に適用することにより、研究者たちはコンピューターを「教え」、この情報をすべての内容を分離する方法で解釈するアルゴリズムを開発することができました。そのスタイルから絵画。 ヴァンゴッホがブラシストロークと色をどのように使用するかを理解したら、Photoshopフィルターのようなスタイルを画像に適用し、象徴的なスタイルで効果的に再作成できると、マットマクファーランドはワシントンポストに書きました。 しかし、この手法をビデオに適用すると、まったく新しい問題が発生しました。
「過去には、特定の芸術的スタイルで画像を手動で再描画するには、プロのアーティストと長い時間が必要でした」とフライブルク大学のManuel Ruderと彼のチームは、arXivに掲載された新しい研究で書いています。 「片手でビデオシーケンスにこれを行うのは想像を超えるものでした。」
Ruderと彼の同僚が最初にアルゴリズムをビデオに適用しようとしたとき、コンピューターはgobbledygookを乱しました。 最終的に、彼らはプログラムがビデオの各フレームを個別の静止画像として処理しているため、ビデオが不規則にちらつくことに気付きました。 この問題を乗り越えるために、研究者たちは、コンピューターがフレーム間で過度に逸脱しないようにするアルゴリズムに制約を設けた、とエンゲルキングは書いている。 これにより、プログラムは落ち着き、ビデオ全体に一貫したスタイルを適用できました。
アルゴリズムは完全ではなく、多くの場合、大きくて速いモーションの処理に問題があります。 ただし、これは、コンピューターがビデオをレンダリングおよび変更する方法における重要な一歩です。 MIT Technology Reviewのレポートによると、初期の段階ではありますが、将来のアルゴリズムでは、スマートフォンアプリで撮影したビデオにこの効果を適用したり、お気に入りの絵画のバーチャルリアリティバージョンをレンダリングしたりできます。
アーティストのスタイルを一連のデータポイントに煮詰めるという考えは、一部の人々をランク付けする可能性があります。また、これまで不可能と思われていたすべての新しい種類のアートへの扉を開きます。
