エンジニアやデザイナー、音楽家、建築家といったさまざまなバックグラウンドを持つ7人が発足した「nor(ノア)」。
「クリエイティブレーベル」と名乗る彼らが一体何者なのか、前編のインタビューでプロジェクトメンバーの4人(中根智史さん・松山周平さん・小野寺唯さん・林重義さん)からお話を伺いました。
後編では、norがこれまでに手がけた作品の中から「herering(ヒアリング)」にスポットライトを当て、開発秘話やエンジニア視点でこだわったポイントについて、ハードウェアエンジニアの中根智史さんとプログラマー/ヴィジュアルアーティストの松山周平さんに詳しく伺いました。
クリエイティブレーベル「nor」とは?
「3331α Art Hack Day 2016」で出会った7人により、2017年から本格始動したnor。
これまでに「SHOES OR(シューズ・オア)」、「dyebirth(ダイバース)」、「herering(ヒアリング)」を発表。先端研究の技術を使ったアート表現により、テクノロジーの社会的な価値や可能性を伝えています。
▲正面から一番右が中根智史さん、右から3番目が松山周平さん
3作品の中でも、2017年5月27日から2018年3月11日までNTTインターコミュニケーション・センター[ICC] で開催されている「オープンスペース2017 未来の再創造」で実際に体験できるインスタレーションとして注目を集めているのがherering。
音と色の共感覚を示す「色聴」にインスパイアされた作品で、体験者が単にカラフルな世界観を楽しむのではなく、色と音を“探す”不思議な感覚を味わえるよう、開発は試行錯誤の連続だったといいます。
herering - Abstract [JP] from nor on Vimeo.
色と音を“探す”不思議な感覚を提供する「herering」はどのように生み出されたのか?
hereringの仕組みと開発過程について、お二人に伺いました。
恐る恐る“色と音を探す”「herering」開発秘話
―まず、hereringとはどんな作品なのでしょうか?
松山さん「来場した人が空間を探索すると、位置情報に応じて壁全体に映像(色)が映し出され、同時に対応した音が流れます。 音を耳で感じ、目で色を感じることで、“音に色が見える”という共感覚を擬似体験できます。 空間を動き続ける限り、色と音は重なり合い、常に変化していくので、二度と同じ景色は生まれません。自分で体験するだけでなく、『体験している人を見る』という楽しみ方もできる作品です」
―システムの全体像を可能な範囲で教えてもらえますか?
中根さん「まず、体験者の位置情報を検知する仕組みとして、VRのヘッドセットで用いられるセンサー『HTC VIVE(エイチティーシーバイブ)』を部屋の隅に設置しました。体験者が持つデバイス『カラーピッカー』をセンサーが数ミリ単位でトラッキングすると、マスターPCでは受信した位置情報をもとに映像と音が生成され、プロジェクタとスピーカーで再生されます。言わば、VRのヘッドセットなしで“没入感のある空間”を作り上げているわけです。」
松山さん「映像生成のソフトウェアには『TouchDesigner(タッチデザイナー)※』を採用しました。
色は空間の中心を基点に彩度や明度が緩やかに変化するように配置されていて、カラーピッカーがポイントを通過した順番に色が重なっていきます。最大で8色が混ざり合い、後ろのレイヤーからゆっくりと消えては、常に新たな映像へと変化し続けます。」
※TouchDesigner(タッチデザイナー)
カナダのDerivative社が開発した、ビジュアルプログラミングツール
▲TouchDesignerのシステム画面
▲色は空間の中心を基点に立体の色相環(HSV)で配置されている。
松山さん「同様の仕組みで、音は『ラングフェルトによる音と色の対応表※』に基づき、12の音階を利用しています。それぞれ30秒ほどの音源を用意して、カラーピッカーがアクティブに動くと多くの音が同時に再生されますが、最大数の音が重なっても音楽として破綻することはありません。メンバーであるサウンドアーティストの小野寺唯さんにより、適切なバランスのサウンドデザインが施されています。」
※ラングフェルトによる音と色の対応表
1900年代初頭にラングフェルトによって行なわれた共感覚に関する実験結果に基づく統計的な音と色の対応表。
▲色に対応して「ド」から「シ」まで12の音階を利用。
▲体験者の不規則な動きにより生み出される音の組み合わせが、常に不協和音なく空間と調和するように、各音の長さや音色、空間音響が設計されている。
―こだわった点はありますか?
松山さん「カラーピッカーのデザインにはかなりこだわりました。体験者には、空間の中を走り回って『イエーイ!』と楽しんでもらうのではなく、恐る恐る“色と音を探す”ような感覚を味わって欲しかったので、探索を誘発する、自然とどこかに向けたくなるようなデザインを選びました。LEDにより、現在選択している色が鮮やかに表示されます。」
▲自然な探索行動を誘発するようデザインされたカラーピッカー
中根さん「カラーピッカーはCADのソフト『Fusion 360(フュージョン360)』を使ってモデリングし、TechShopテックショップの3Dプリンタで試作を重ねてようやく完成しました。先端に、Vive Trackerを取り付け、位置をトラッキングし、その下にESP-WROOM-02というwifiが使用できるマイコンボードと、LEDが入っています。 メインPCのTouchDesignerからOSCを送信し、LEDの色、明るさを指示しています。小型の筐体に収まる構造を工夫しました。現在インスタレーションとして展示中ですが、期間中もお客さんの反応を見ながらより良いものになるよう、設計変更を行っています。」
▲カラーピッカーのイメージ図
無限の仕様変更に対応するために…
―開発で苦労したことはありますか?
松山さん「工業製品のようなプロダクトを作る場合、あらゆる仕様を決めて制作していくことになるわけですが、hereringはあくまでアート作品。考え方を根本的に変える必要がありました。一般的な設計の作業を例に出すと、精度を上げることを目的に変化点を見つけたら、あとは該当するパラメーターだけをいじっていけば精度を高めることができます。hereringで目的となるのは、「精度を上げること」ではなく、「人が気持ち良いと感じること」や「人の心が動くこと」です。お客さんの反応を常に確認しながら、より良い体験を提供できるように、いつでもシステムをチューニングできる設計にしています。」
▲松山周平さん。プログラマー/ヴィジュアルアーティスト。株式会社ティーアンドエス R&D部 部長。
―最後に、hereringの楽しみ方を教えてください。
中根さん「hereringは既に完成した作品を鑑賞するものではなく、インスタレーションとして派手に盛り上がるものでもありません。自分の動きと音と色がシンクロする不思議な空間の中で、アートをより身近なものとして楽しんでもらえれば嬉しい。身構えることなく、静かな心で楽しんで欲しいですね。もちろんお子さん連れでも大歓迎です。」
▲中根智史さん。ハードウェアエンジニア 。TechShop Japan 教育イベントコーディネーター/ ワークショップデザイナー
豊富なキャリアをもつエンジニア2人の知見や技術は、人間にとって本当に豊かな体験をもたらすアート作品を創造するために使われていました。
hereringの展示期間中も、さらなるお客さんの感動を目指し、日々「無限の仕様変更」が加えられています。
自分が探し出した音と色に包まれた時、あなたは何を感じるのでしょうか。
ぜひ一度「オープンスペース2017 未来の再創造」でhereringの世界を味わってみてはいかがでしょうか?
また、2017年六本木アートナイトで好評だったnor新作「dyebirth(ダイバース)」が 2018年2月の「MEDIA AMBITION TOKYO 2018」で展示されます。こちらも必見です。
dyebirth | ROPPONGI ART NIGHT 2017 from nor on Vimeo.
■展示概要
『MEDIA AMBITION TOKYO 2018』
日時:2018年2月9日(金)~2月25日(日)全17日間
会場:六本木ヒルズ 森タワー52階
入場料:当日1800円、前売り1500円(東京シティビュー入場料)
URL: MEDIA AMBITION TOKYO
■クレジット
クリエイティブ・ディレクター:nor
プランナー:福地諒
ハードウェア・エンジニア:中根智史
ソフトウェア・エンジニア:松山周平
サウンド・プロデューサー:小野寺唯
アーキテクト/エクスペリエンス・デザイナー:板垣和宏
デザイナー・モチベーター:カワマタさとし
プロデューサー:林重義