メディアセンシング技術を用いたQoL支援

自らが取り組んでみたいと考えているテーマについて、ある程度の専門的な知識を含めた理解があることが望ましいです。本研究室では画像処理や深層学習の開発について主にPythonもしくはC言語等を使いますが、それらの経験については問いません。

主に画像、映像を対象としたマルチメディアを利用する上で必要となる分析する力が養われます。これらの実装について深層学習による開発を通し、データサイエンティストとしての基礎だけでなく、どのようなアプリケーション開発をするかという応用のための力が身に付きます。

1. 深層学習による画像変換処理へのヒストグラム情報利用に関する研究 深層学習を用いた画像変換は、学習サンプルの与え方によって様々な用途に使う事ができます。これらはスタイル変換手法も含めればある程度の色合いの再現についても期待できますが、本研究では変換対象の画像の濃度ヒストグラムを用いる事でより正確な色合いの再現について試みます。

図1.  低階調化された画像からの画像変換による復元例

2. 深層学習による画像の位置合わせを用いたカメラアプリの研究 複数画像間の精密な位置合わせは、一般的に画像の局所特徴量を用いていました。しかしながら、画像間のスタイルが異なると共通した特徴点を得られないという問題がありました。本研究では深層学習ベースの回帰を用いる事で、スタイルの異なる画像間からでも位置合わせに必要となる射影変換行列を求める手法を提案します。また、その射影変換行列を用い、撮影者により最適な位置取りをさせるためのガイドを出すというカメラアプリの実装について試みます。

図2.  一方の画像中央の正方形がもう一つの画像でどのような形状になっているかを推定するモデル例

3. 初学者クリエイターのための下絵を対象とした支援ツールの開発 イラスト表現においては、一般的に下絵・線画・塗り等の工程があるが、前の工程に戻る事が困難な事も多い。そこで、本研究では下絵の段階のイラストを対象とした支援ツールの実装について試みている。これらの多くは写真等を対象とした手法が以前から提案されているが、本研究ではテクスチャとして情報量が少ないものしか得られない事が多い下絵に対して、深層学習を用いた画像分析やオブジェクト検出を用いて手法の実装に試みている。その一つとして、下絵に対して人オブジェクト検出をベースとした構図変換システム[業績1・論文PDF]がある。

森下 陽介, 坂本 牧葉, 藤原 孝幸: イラストの下絵に対する構図変換システムの提案, 日本感性工学会論文誌, Vol.24, No.1, doi: 10.5057/jjske.TJSKE-D-24-00022, (2024)
藤原孝幸, 森下陽介, 伊藤雅彦, 森竹潔, 寺田高之: 鉄塔作業における危険領域侵入検知システムの提案, 日本工業出版(株)，画像ラボ，Vol.35，No.8，pp.30-33(2024)
Yosuke Morishita, Takayuki Fujiwara and Makiba Sakamoto: Proposal for a Composition Recommend System Based on Human Detection from Sketches in Illustration, Proceedings of The 30th International Workshop on Frontiers of Computer Vision (IW-FCV2024), PS2-13 (2024)

修了に際して、社会に通用する研究者・技術者となることを目指します。そのために、最先端の研究に対する調査や分析を通じて知見を深め、これらを実践的に活用できる能力を養います。さらに、理論と実技を兼ね備えた高度な専門知識を習得するだけでなく、問題解決能力や創造的な思考を培っていきます。
特に、自分を取り巻く技術や研究において、「その背景に何があるのか」、「何を目的としているのか」、「関連する研究・技術にはどのようなものがあるのか」、「誰がどのように喜ぶのか」、「現状と比べて今後の伸びしろはどうか」について、できる限り十分に理解し、深い専門性を持つ「エキスパート」になることを目指します。