デジタル表現

音メディア表現研究室

  • 音響工学
  • 音声対話システム

複合メディアによるコンピュータ音楽と対話の研究

当研究室は、コンピュータ音楽と音声対話システムの二つを大きな柱として研究しています。コンピュータ音楽では、デジタル表現ならではの新たなエフェクトとしてのモーフィング音、や音色変換合成を行っています。また映像や舞踊との複合メディアの自動生成、および作品制作も行っています。 音声対話システムでは、人型ロボットやアバタとの音声対話を行うための総合システムの構築や、対話制御の研究をしています。対話制御では、話題や対話内容のほか、身体動作（所作）についても検討しています。いずれも複合メディアを対象とした総合システムの製作に集約させています。

音メディア表現研究室ウェブサイト

教員紹介

小坂 直敏教授

Naotoshi OSAKA

週末は健康維持のために水泳をしています。また、自然の中にいるのが好きで、四季折々に野山の中に居るのが好きです。動植物や昆虫との出会い（熊、イノシシ、マムシは除く）をいつも期待しています。一昨年は200本の植林をし、その育つ様子を楽しみにしています。昨年のめずらしい出来事は、千住キャンパス1号館前で30年ぶりにヒオドシチョウを見つけたことです。
音楽作品は、オーケストラ作品から室内楽、コンピュータ音楽作品を幅広く扱います。近年では、これまでに自然探索の中で出会った蝶をテーマに、今若冲「蝶の図」シリーズを精力的に制作中で、映像、舞踊との複合メディア表現へも制作の幅を広げています。
コンピュータ音楽企画も手広く行い、アジアコンピュータ音楽プロジュエクト(ACMP),JSSA音楽祭を2016より立ち上げました。

発表業績を見る

研究事例

コンピュータ音楽のための音合成

コンピュータを用いた音合成は、デジタル合成の時代になり、アナログの時代から存在したリバーブ、各種フィルタなどのほか、デジタルならではの新しい音色を合成しています。当研究室では「構造的音色」という考えで「サウンドモーフィング、「サウンドハイブリッド」「音の音」という3つの概念の音つくりをしています。いずれも、ぎりぎり一つの音といえる音で、同時にさまざまな装飾的側面を併せ持つ音作りです。できた音は、コンピュータ音楽をはじめとして、さまざまなデジタルコンテンツへの応用が期待されます。

舞踊生成

音楽が与えられたとき、この音楽の印象と同様な印象を与えるような舞踊の振りを考案し、音楽と合わせて複合メディアとし、より豊かなコンテンツ制作を行うための研究です。 そのために、1) 音楽からの感情推定、2) 感情からの振り付け生成がの2つのテーマが重要です。この結果は、線画での表現、MMDへの表現、ダンサーへの振り付け提示などを行います。

音声対話システム

現在は音声認識技術や音声合成技術などAI技術が進展し、これらを組み合わせてアヴァタや人型ロボットで人間との音声対話システムが少しずつ世の中に登場してきました。本テーマでは、会話の制御をどのようにしていくか、ということにチャレンジしています。また、音声が逐次型だけでなく、ストリーミングで扱えるよう、自然な会話の達成を目指します。自然な対話にはさまざまな要素がありますが、1)会話の番（スムーズなやりとり）の制御、2)知識からこれを音声出力に変換する技術、3)声色の制御などについて検討します。

研究室の生活

研究室には、修士生、学部４年生が所属しており、また、効果音の合成、およびデータベース化に関する研究員も所属しています。また、OBも立ち寄って、効果音のデータベース管理システムである電子音色辞書の支援をお願いいます。研究室は全体ゼミと、音声班、音楽班、映像班などに分かれた小ゼミとの二本立てで意思疎通をはかっています。英語での論文読み合わせも重要視しています。 　研究室では音を中心とし、映像や舞踊にまで拡大した複合メディアコンテンツに関わる技術と、音声対話の研究を進めています。すなわち、音の持つ音楽というノンバーバルな情報と言語情報のいずれも対象にして、認識、合成などのAIの基本問題を扱っていきます。

先輩の声

千住キャンパスで音楽の研究をしたいならここの研究室一択です。 音楽知識が浅くても、音楽の造詣が深い小坂先生が懇切丁寧に教えてくれます。 また、インスタレーションアートの製作やロボット対話など、 情報メディア学科の中では珍しい分野も扱っており、幅広く研究することも可能です。 （修士課程K.H）

自分はもともとDTM（パソコンで曲を作ること）に興味があって、大学に入学してからサークル活動でDTMを始めました。その活動の中で音響処理や音声合成に興味を持ちはじめ、この研究室に入りました。あと、この研究室にはスタジオがあり、スピーカーやミキサー等の機器がたくさんあります。自分みたいな音の分野に興味がある人や、音響機器・ＰＡに興味がある人には、その興味を深く学べる研究室だと思います。(学部生　S.N.)

プログラミングが苦手で全く出来なかった私でしたが、研究室に入ってから勉強を始め卒業するころにはスラスラ書けるようになりました。 これも、先生のご指導のおかげです。もちろん、先生に聞くだけではなく、自分で努力することが一番大事ですが。(修士課程 M.S.)

研究内容は、音に関する事。音声分析や音合成のように信号処理をする事もあれば、自動作曲や3Dモデルを利用した動作生成など、幅広く研究しています。小坂先生は学生に親身になって、研究に行き詰まった時には的確なアドバイスをくださる、とても頼りになる先生です。(学部生 M.I.)