DVD棚、見せてください。第30回／Rhizomatiks 真鍋大度

音楽と数学的な視点を軸に
映画を分析するように楽しむ

壁一面にぎっしりと並ぶレコード棚、その反対側には大きな本棚。レコードショップのようでもあり、知的好奇心をくすぐる書店のようでもあるこの部屋は、今回ご紹介していただくDVD棚の持ち主、真鍋大度さんの仕事場です。

日本のみならず世界の舞台でも活躍するインタラクションデザイナーであり、プログラマやDJ、映像作家など様々な肩書を持つ真鍋さん。“メディアアート”という言葉がまだあまり一般的ではなかった2006年に、最先端のAR（Augmented Reality）やVR（Virtual Reality）技術の研究開発や学術的なリサーチを行い、エンターテインメント体験の提供まで制作する「株式会社Rhizomatiks（ライゾマティクス）」を設立。Perfumeのライブ演出サポートやBjörk（ビョーク）とのコラボレーション、2016年リオデジャネイロオリンピック開会式のフラッグハンドオーバーセレモニーの演出など、多くのプロジェクトのディレクションや実装を手掛けています。

身近な現象や素材を深い観察力で捉え直し、その視点をもとに最新技術を次々と開発。常に新しい技術を使い、新しい表現を挑戦し続けている真鍋さんですが、このコロナ禍でもその試みに途切れはありません。緊急事態宣言をきっかけに、俳優のムロツヨシさんと劇団ヨーロッパ企画の上田誠さんとの三人で“非同期テック部”を立ち上げ、ムロツヨシショーというInstagram Live、YouTube Liveで観られるライブ映像作品を制作しました。

ムロツヨシさんの自宅にある映像やiPhone、照明装置などを遠隔で制御するという、真鍋さんが開発した独自の技術（テック）と、脚本家の上田誠さんが生み出す奇妙な物語が組み合わさりできた作品は同時視聴者数7万人という大注目の作品となりました。そして、その活動は『DEEPMURO』（オムニバス映画『緊急事態宣言』［2020］の中の一作品）という新作につながり、ムロツヨシさんを通して描き出した今作は、既視感のない、全く新しい映像作品になっています。

アート作品やエンターテインメントの世界を通して、常に私たちに“誰も見たことのない景色”を見せ続けてくれている真鍋さんは、どんな映画に影響を受けてきたのでしょうか？ オンライン取材にて、お伺いしました。

「もともと収集癖があるので、CDやレコード、DVDをたくさん持っていたんです。でも、最近は映画も音楽も配信で楽しむ機会が増えてきたので、アナログレコードは残したんですが、他は思いきって整理しました。DVDも昔は1000本くらい持っていたんですけど、今では厳選した100枚ほどを所有して時々観返しています」

“最新の技術”という真鍋さんのイメージとは、真逆にあるようなレコードや本、CD、DVDの量。厳選したといえど、100本もDVDがあるのは驚きです。そうして選び抜かれ、手元に残されたDVDたち。タイトルを眺めてみると、ヴィム・ヴェンダースの『アメリカの友人』（1977）やアンドレイ・タルコフスキーの『鏡』（1975）、スパイク・ジョーンズの『かいじゅうたちのいるところ』（2009）など、巨匠と呼ばれる名監督から、新しい映像表現を生み続けている現代の監督まで、幅広い映画が並んでいます。

「ホラー映画はちょっと苦手なので、それ以外ならわりと何でも観ます。ここにある『レヴェナント：蘇えりし者』（2015）は最初試写会で観たんですが、ストーリーもさることながら音楽と映像が素晴らしくて、のちにDVDを購入しました。あとは、アカデミー賞受賞をきっかけに作品を知って観ることもあるし、『コンフィデンスマンJP』（2019）のような、話題になっている邦画も観ます。そういう娯楽として純粋に楽しむ映画もあれば、自分の仕事を意識して観る映画もあって。例えば、VFXや最新の映像技術を使ったSF映画は、普段の作業と重なる部分もあるので、自分ごととして観てしまいますね。あと、最近はミュージックビデオなどの短い時間の作品だけでなく、長編の映像作品の仕事も広がってきたので、スパイク・ジョーンズやミシェル・ゴンドリーのような、ミュージックビデオ界出身の映画監督の作品は観返すことも多く、DVDも手元に残しています」

もとは娯楽として映画を楽しんできたという真鍋さんですが、大学卒業後、一度社会に出たのち入学した情報科学芸術大学院大学「IAMAS」で受けた授業をきっかけに、新しい観点で映画を捉えるようになったといいます。それは、音楽と数学を軸に表現を続ける、今の真鍋さんともつながる“映画の楽しみ方”でした。

「ドゥルーズの『シネマ』を読みながら映画を分析して研究する授業があったんです。昔は、小津安二郎監督の映画は自分には理解できないんじゃないかという印象があったんですけど、先生の解説を聞きながら、新たな観点で改めて『東京物語』（1953）に触れた時に、すごく面白さを感じました。ヴィム・ヴェンダース監督の『ベルリン天使の詩』（1987）もそうですが、当時授業を通して観た映画は、今でもよく観返しますね」

東京物語 ニューデジタルリマスター

Amazon

ベルリン・天使の詩 デジタルニューマスター版 [DVD]

Amazon

そういって、『東京物語』のVHSビデオを棚から出して見せてくれました。一本の映画の中に、編集点はいくつあるのか、どの色味が一番多く使われているのか、セリフは合計いくつ使われているのか。音声や音楽、映像などの、映画を構成している要素を厳密に“数値化”して分析する、そうした視点で映画を研究する楽しみ方を映画のメタデータサイト「0xdb」を通じて学び 、『東京物語』も分析をしたといいます。

「Rhizomatiksでは、機械学習技術とか人工知能技術についても研究や開発をしていますが、一時期、0xdbの影響で“AIが映画を観た時に、どの作品とどの作品に類似性があると捉えるか”という研究もしていました。その流れで2015年にNHK Eテレで放送されたインタビュー番組『SWITCHインタビュー 達人達（たち）』で本木雅弘さんが出演している映画を分析するということをやったのですが、その際にも『東京物語』を取り上げていましたね。物語としても素晴らしいですが、編集や構図の視点で見ても美しくベンチマークとして使っています。いつ観ても新鮮な発見がある。時代や国境を超えて多くの人に届くのがよくわかります」

そうした数学的な視点にくわえて、真鍋さんが研究や表現のもうひとつの軸にしているのが、ミュージックビデオやライブステージの演出、インスタレーションやダンスパフォーマンスの音楽制作など、“音と映像の共感覚”です。

「脚本やストーリーの部分は、個人的な好き嫌いで観てしまうことが多いですけど、僕はミュージックビデオを撮ったり、ライブステージの演出をしたりと、音楽と映像を仕事をさせていただくことも多いので、どうしてもカメラワークとか音楽の使い方とかに注目して観てしまいますね。これは面白いなとか、すごいなと、刺激をもらうことも多いです」

そうした視点から、今でも観るたびに感銘を受ける映画として、『2001年宇宙の旅』（1968）のDVDを棚から出してくれました。未来的なイメージから電子音楽が使われることが多かったSF映画の中でも、リヒャルト・シュトラウスの交響詩などクラシック音楽の楽曲が全編にわたって用いられるなど、映像と音楽という観点からも革命的な名作です。

「1960年代に作られた映画なんて信じられないくらい、今観ても洗練されていますよね。楽曲も素晴らしいし。宇宙の映像と音楽、というつながりでいうと、ジョルジュ・メリエス監督の『月世界旅行』（1902）という無声映画も僕はすごく好きで。昔、オーストリアのリンツで開催されている“アルス・エレクトロニカ”というメディアアートの祭典で、この映画に自分が音楽をのせながら上映したこともあります。映像の素材に合わせて音楽をつけるVJって、20世紀初頭の実験映画とか抽象映画にルーツがあるんじゃないかなと思っているんです」

音と映像に着目して映画を楽しむ真鍋さん。“非同期テック部”で制作したオムニバス映画『緊急事態宣言』の『DEEPMURO』では、そうした視点からも新たな発見があったそうです。

「映像に音楽をつけることって、これという正解がないから、センスが問われて悩むんですよね。今回の『DEEPMURO』では、音源は僕がほぼすべて作りましたけど、映像に実際当てはめたのは別の方なんです。いつもはその役割まで自分が担っていたのですが、今回は自由に使ってくださいと託していたので、“ここにこの曲使うんだ！”という発見があって面白かったです。しかもその意外性は、音源を作った僕だけが味わえる特権なので、楽しませてもらいました（笑）」

ピンチとも思えるような「非常事態」が
新しい表現の可能性を広げる

2020年4月、新型コロナウイルスの感染拡大を防ぐために発令された「緊急事態宣言」。多くのクリエイターたちが、表現や制作の場を模索していた時期に、“何か面白いものを作ろう”と、真鍋さん、俳優のムロツヨシさん、劇団ヨーロッパ企画の上田誠さんの3人で発足したのが“非同期テック部”です。

もともと、真鍋さんとムロさんは大学の同級生という間柄。上田さんと、映画『サマータイムマシン・ブルース』（2005）以来の付き合いだったムロさんが二人を繋ぐかたちとなり、この部活動が始まりました。“今だからできる作品”をテーマに、InstagramやYouTubeで作品をライブ配信してきた活動の3作目となるのが、今年8月よりAmazon Prime Videoにて独占配信中のオムニバス映画『緊急事態宣言』として制作された『DEEPMURO』です。真鍋さんのAI技術が作り出す不思議な映像世界が、上田さんが得意とする奇想天外なストーリーと出会い、その世界の住人をムロさんをはじめ、柴咲コウさん、きたろうさん、阿佐ヶ谷姉妹など、個性的な顔ぶれが演じることで、誰も観たことのない新しい映画を生み出しています。

非同期テック部で、真鍋さんにとって新しい挑戦となったのが、自分で開発した技術（テック）に、“物語”を組み合わせることでした。

「振付家や演出家、ダンサーの方と組んで、映像作品にしたりパフォーマンスにしたりすることはあるのですが、実は、そこに脚本やセリフをつけるということは、あまりしてこなかったんです」

脚本家と組んで映像作品を制作することが、未知の体験だった真鍋さん。今回チームを組んだ上田さんは、特殊なコンセプトや仕掛けを物語に組み込む“企画性コメディ”を得意とする脚本家。いわば、真鍋さんに近い数学的な発想の持ち主で、前例のない新しい表現に“物語”という分野で挑み続けています。実際にチームを組んでみて、どんな発見があったのでしょうか？

「上田さんは、僕が作ったプロトタイプやモチーフをベースに、ちゃんとその技術が物語に組み込まれるように書いてくれました。すごいテクニックだなと思いましたね。新しい技術や仕組みのポイントをストーリーの中に活かして、観ている人にわかりやすく伝えるという、ある種、広告的な感性ですよね。上田さんの脚本を通して、新しい可能性を感じました」

一方、ムロさんとは理学部数学科の大学に通っていた当時の同級生という、縁の深い間柄。在学中だけではなく、卒業後も親交は続いていたそうですが、まさか一緒に仕事で組むことになるとは想像もしていなかったと、真鍋さんは笑います。

「大学時代のムロさんは、短い間でしたが大学の中では、いつも一緒にいました（笑）。学食で話したり、校内でぼーっとしたり、二人とも落ちこぼれの典型だった。だから、ムロさんと一緒に仕事をしているというだけでも、僕のキャリアからするとかなり“非常事態”です（笑）。でも、これまでは自分と近い感覚やスキルを持った職種の人と組むことが多かったので、ムロさんや上田さんのように、普段では生まれないコラボレーションが出来たのは、とても面白かった。この時代の緊急事態がなかったら、実現しなかったでしょうね」

リモートや非対面でのコミュニケーションが日常になり、この先もしばらくコロナ禍が続いていくという現実に向き合った時、それを否定的に捉えるのではなく、新しい可能性を考えるきっかけとして挑戦につなげていきたいと、真鍋さんは言います。

「自粛で外に出ていなかった時期も、Zoomなどの会議システムで使うことが出来るバーチャルカメラを開発したら、新しい作品が出来るかなと思って勉強していました。こんな感じで。」

そう言って真鍋さん側でカメラのアイコンマークを操作すると、こちらのZoomの画面に変化が！ 真鍋さんの顔が映し出されている画面が青になったり黄色になったかと思えば、その画面の左上へさらに小さな画面が登場!! そして、そこに指が歩いているような映像が映し出されました。自分の画面を、誰かに操られているような不思議な感覚に驚きます。

「こういう新しい技術やアイデアをビジネスにしてもいいんですけど、今は、ひとりで独占するよりも、オープンにしてしまった方が面白いことがもっと起きるんじゃないかと考えたんです。だから、少し前に、“これを使って自由に遊んでみてください”とこのツールについての情報を公開しました。今、こういう状況下で、何か新しいことがしたいと、みんな可能性を探していると思っています。だから、自分が制作したツールから、さらに広がった他の人から出てくる新しい表現を体験できる機会でもあるのではないかと。アメリカMITの授業でも紹介されたり少しずつですが使ってくれる人が増えてきました」

自身のアートプロジェクトとして、また、アーティストや企業など、さまざまな分野のクリエイターとコラボレーションをして、常に新しい技術開発を続けている真鍋さん。研究者としての視点と、コンテンツを制作するクリエイターとしての視点のバランスは、どのように保っているのでしょうか。

「人が作った技術やツールだけで制作していると、制約が多いので結局は自分で開発するしかないんです。でもこの制作スタイルは、Rhizomatiksという会社の事業そのものが、“リサーチ”と“プロジェクト”という2つのベースで動いているからなんです。リサーチのチームは、技術の研究開発に徹底しています。そして、そこで取り組んでいることをプロジェクトのチームで進めているコンテンツに接続していく。“今取り組んでいるこの技術を、この仕事のライブ演出で使えそうだね”という感じです」

いわゆる研究発表ではなく、いかに世の中の人に新しい価値として届けるか。そのことを、真鍋さんはいつも大事にしているといいます。では、前例のない道を先陣を切って進んできたそのモチベーションは、どこにあるのでしょう？

「最初は、自分が見てみたい、という動機がスタートなんです。もう、モチベーションはそこしかないですね。まだ誰も見たことのない景色を、自分たちで実現してみたい、という。それが世に出て評価されていくというのは、また次の段階の話で、本当に奇跡のようなことだと毎回思います」

今回の“非同期テック部”も、まさに奇跡のようだったと真鍋さんは振り返ります。

「映像表現も映画も、歴史を辿ると、いつも新しい技術とともに歩んできています。トーマス・エジソンが発明した映写機“キネトスコープ”や、実写の映像をトレースしてアニメーションにする“ロトスコープ”の時代から始まって、ディズニーがCGやVFXの技術を積極的に映画の中に取り入れてきたように、映画の歴史は、新しい映像表現に合わせて、物語やコンテンツが作られてきた歴史でもあると思うんです。今回、僕らが挑戦した、新しいAI技術を物語に変換するということも、そうやって長く続いてきた歴史の一部なんですよね。部活動のような小さな世界で、それを今回実現させたということは、改めて面白いなと思います」

緊急事態を機に発足された“非同期テック部”。今後は、レクチャーと作品発表の中間のようなかたちで、ワークショップなども行っていきたいとメンバーで話しているそうです。

時代や環境が変わっても、それを否定的にではなく、新しい可能性が生まれるきっかけとして捉え、挑戦を続けている真鍋さん。その技術や映像表現は、映画や映像の歴史が辿ってきた道のりの最先端として、“誰も見たことのない景色”をこれからも私たちに見せてくれるのでしょう。