画像処理 錯視  脳 視覚の数理モデル

 
     
     
視覚と錯視の数学的研究から生まれる
新しい画像処理技術 (1/3)
New Techniques of Image Processing from the Study of the Mathematical Vision Science
      
   
       東京大学大学院教授 新井 仁之  
      新井しのぶ  
      Hitoshi Arai (Professor of the Univ. Tokyo)  
        Shinobu Arai  
                 
                 
                 
   脳内の視覚情報処理の数理モデルと目の錯覚、つまり錯視の新井・新井の研究から、新しい画像処理の技術が生まれています。  
   まずはその一例として短い動画をご覧ください。左側が原画像(iPhone sPLUSで撮影)で、右側が本技術による処理画像です。  
     

https://youtu.be/rfOWUHposAc

     
   このサイトでは、この話を含めて本研究から生まれたさまざまな画像処理への応用の一端を紹介したいと思います。  
                 
        ◇ 目次 ◇       
  【1】 はじめに (Page 1)
  【2】 人の視覚に優しい画像処理 (Page 1)    
   Q&Aコーナー (Page 1)  可能性は?  なぜ人の見たい所を自動的に鮮鋭化できるのか?
  【3】 人の視覚機能を特化した画像処理(Page 2)  
  【4】 視覚の数理モデルをどのように組み立てたか(Page 3)   
   Q&Aコーナー (Page 3)  フレームレットが本質?  他にできることと展望は?  ほか 
                 
                 
                 
  【1】 はじめに      
                 
   大ざっぱにいえば、人の視知覚は外界からの光の信号が眼球に入り、網膜で捉えられ、それが脳内に伝送され、脳内でさまざまな処理が行われることにより起ります。  
   視覚の数学的研究の大きな課題は  
     
  脳内の視覚情報処理の数理モデルを作る  
                 
  ことです。   
   しかし、まだまだ脳内の情報処理のメカニズムには未知の部分も多いため、その完成はずっと先のことになるでしょう。  
   新井・新井は脳内の 視覚情報処理の一部(V1野とV4野の一部)ですが、新しい数理モデルを考案しました。  
   それにより、本技術に関連する物としては、V1野に主な要因があると考えられるある種の錯視に対して統一的にシミュレーションを与えることに成功しました。ある種の錯視とは  
     
    ヘルマン格子錯視といくつかの(網膜説で説明できない)バリエーション  
    明暗の対比錯視  
    色の対比錯視  
    マッハの帯とその非線形的な現象  
    大域的なコントラスト知覚に関する錯視  
    色の対比錯視  
    カフェウォール錯視など傾き錯視に関するある非線形的な問題  
     
  などです。  
     
  【2】 人の視覚に優しい画像処理  
     
    数理モデルの構成についての詳細はここでは省略しますが、このモデルに錯視画像ではなく、もっと自然な画像を入力すると、自動的に次のような結果を出力します。  
     
鮮鋭化画像処理
     
   さらに人の視覚の数理モデルの機能を高めると(これは数理モデルだからできる操作ですが)次のような画像処理が得られます。  
Image Processing
     
     
   この鮮鋭化は、アドホックな鮮鋭化のための画像処理技術ではありません。(詳しくは下記のQ&Aをごらんください。)  
   上に挙げた様々な錯視を統一的にシミュレーション・解析できる視覚の数理モデルによるものです。  
   このことから、視覚科学的には次の帰結が得られます。  
                       
    錯視は視覚系の欠陥であるという説がある.しかし,本数理モデルから錯視はむしろ,ものを良く見ようとするための代償であることがわかる.このことが数学的理論により示されたことが重要.    
                 
  さらに画像処理的には、次のようなことが理論的な帰結としていえます。        
                 
    本提案の鮮鋭化では画像全体を歪めることなく,人がよく見たいところを自動的に鮮鋭化する.    
    言わば,人の視覚に優しい鮮鋭化が可能になった.        
                 
   なお最初にご覧頂いた動画は、数理モデルによる人の視覚の鮮鋭化機能をやや強化して処理してあります。他の実施例も適宜アップしていく予定です。     
                 
                 
  Remark          
   視覚・錯視の研究を利用した鮮鋭化技術として、ここでご説明したものの他に、新しいタイプのエッジに起因する錯視を応用したものもあります。これは上に述べたものとは原理的に異なるものです。なお、新しいタイプのエッジに起因する錯視は、古くからよく知られているクレイク・オブライエン・コーンスウィート錯視や墨絵錯視とはある意味で異なったものとなっています。詳しくは こちら からご覧ください。  
                 
                 
                 
  Q&Aコーナー        
                 
  Question  
  この鮮鋭化はどんな用途の可能性があるでしょうか?  
                 
  Answer  
   たとえば普通の大きさの動画コンテンツを大きく表示して再生するために、大きな画像にします。そうするとややぼけた画像になってしまいます。そういったコンテンツを作成したいときに本技術を使えば、きれいな鮮鋭化画像ができ、さらに人の視覚にとって自然な鮮明さ、奥行き感などが得られることが期待できます。        
   重要な点は、こういったことが視覚の新しい数理モデルに基づいてできているということです。        
   再度述べますが、これは鮮鋭化のためのアドホックな鮮鋭化技術、あるいは視覚特性の単純な話に基づいてはいるものの、とりあえずこれでできるという表面的な技術ではなく、体系的な脳内の視覚情報処理の数理理論によるものです  
                 
                 
  Question  
  本提案の鮮鋭化では画像全体を歪めることなく,人がよく見たいところを自動的に鮮鋭化する、とありますが、どうやってそのようなことができるのですか?  
                 
  Answer     
   これは鮮鋭化のために考案した鮮鋭化法ではないことをまずお断りしておきたいと思います。
 たとえば「コントラスト改善をするために***の処理をした」とか、「色を鮮やかになるように***処理した」というアドホックな画像処理技術を施したということではありません。
 ラジカルに言えば、脳内の視覚細胞による視覚の情報処理の数理モデルを作ってみたら、それが鮮鋭化もした画像を出力してきたのです。ですから、鮮鋭化以外にも処理がされています。      
 
                 
  今回の処理画像ができるまでのプロセスの概略を記すと次のようになります。  
                 
  視覚の基本法則のいくつかを発見し,それを数理化した。  
        ↓        
  それを独自の基盤モデルに加えて,視覚の非線形的な数理モデルの構築した。  
        ↓        
  モデル化した脳の領野に主要因があると考えられる錯視を統一的にシミュレーションできた。  
  また、錯視発生のメカニズムの説明もできた。  
        ↓        
  このことから視覚の数理モデルとしてある程度適切であると考えられる。  
    (ただし完璧ではない。脳のすべての解明ができていない現在、完璧な視覚の数理モデルは望めない。完璧な数理モデルの作成は技術的にも困難。)    
        ↓        
  自然画像を数理モデルに入力してみたら、人の見たい所が自動的に鮮鋭化されていた。  
        ↓        
  現在の我々の脳の中に形成された視覚系のメカニズムは、人の生存に必要な部分の情報を見ようとしてできたものであろう。今回の画像処理技術は、その部分をある程度再現できたと言える。  
        ↓         
  本数理モデルの構成の特徴として、その機能をさらに強化させることも可能。  
    実際、数理モデル内の脳内の視覚細胞に対応するものの特定の機能を特化させ、実際の視覚では視認が困難な対象が見えるようにすることもできた。(次ページの【3】参照。)    
                 
                 
  ☆ Q&Aコーナーは Page 3 にもありますのでご覧ください。  
                 
                 
  【3】 人の視覚機能を特化した画像処理(Page 2 に続く) ここからどうぞ  
                 
    Page 2  人の視覚機能を特化した画像処理  
    Page 3  視覚の数理モデルをどのように組み立てたか、Q&Aコーナー、今後の展望      
                 

本サイトの文の全部あるいは一部、画像等の無断転載・複製を禁じます。. 
 本技術の特許(発明者:新井仁之、新井しのぶ)は国立研究開発法人科学技術振興機構が有してます。
©Hitoshi Arai

  本技術に関する連絡先(企業の方用)  
  東京大学産学連携プロポーザル