従来の修復は、教師付き学習を介して解決することができますが、実際の写真の劣化は複雑です。さらに、合成写真と実際の古い画像の間のドメインギャップは、ネットワークが一般化に失敗します。教師付き学習では古い写真を効果的に復元できず、Microsoft リサーチ チームが開発した新しい手法は、古い写真を効率的に復元できます。
新しいAIベースのアルゴリズムは、新しい三つ座ドメイン変換ネットワークを提案します。新しい技術は、大規模な合成写真ペアで実際の画像を活用します。特に、Microsoft Research チームは、古い画像とクリーンな画像を 2 つの潜在スペースにそれぞれ変換するのに役立つ 2 つの VAE (バリエーション オートエンコーダ) をトレーニングします。
そして、これらの潜在空間の中の翻訳は、合成対の情報で学習される。この翻訳は、このコンパクトな潜在空間でドメインギャップが閉じられるため、実際の画像に対してうまく一般化されます。1つの古い画像に複数の劣化が混在している場合、研究チームはこの問題に対処するために部分的な非ローカルブロックを持つグローバルブランチを作成しました。部分的な非局所ブロックは、写真や傷のダストスポットのような構造化された欠陥をターゲットにしています。
ローカルブランチは、ぼやけやノイズのような写真の非構造化欠陥をターゲットにしています。次いで、これらの枝の両方が潜在的空間で融合される。これは最終的に、さまざまな欠陥から古いイメージを復元する機能を強化することにつながります。新しい技術は、古い写真を復元するための最先端の技術を上回ります。
新しい技術では、画質が向上し、古い画像を復元するための既存の技術よりも優れています。視覚の質の点では、この方法は非常に有用であることが証明できる。しかし、マイクロソフトはまだデモ Web サイトを新しいテクノロジを試用するために公開していません。私たちは、同社がすぐに古い写真を復元するための新しい方法を試すために一般に公開することを期待しています。