15年前に書いた物語、ついにAIで撮影しました：『SECONDHAND』制作ノート
林政賢 Zheng-Xian Lin ·
最後に、映像、音楽、サウンドエフェクトを一緒に見直したとき、心に浮かんだ最初の言葉は：
「ようやくあなたを作り上げた。」
この物語は、2011年にすでに考えていた脚本です。
15年間、心の中にありました。いくつかのシーンは明確で、いくつかのストーリーは何度も考えましたが、結局、誰かが座って見られるオリジナルSF短編にはなりませんでした。振り返ると、自分のオリジナル作品を完成させてからもすでに8年近く経っています。
今回は、Higgsfield Global Film Festivalのコンペティションに参加するため、この物語を再び開き直しました。
今、AIがどれほど進化しているのか、私の頭の中に長年あったシーンを実際に作れるのか知りたかったのです。
つまり、何度もテストが必要なプロジェクトでしたが、新しい細部を次々と発見する制作旅に出ました。
誘惑が、あなたが最も望んでいた形をしているなら
『SECONDHAND』は5分以上のオリジナルSF短編で、未来から来た人物が現在の高雄に戻り、災害が起こる前にそれを阻止しようとする物語です。
彼は明確な目的を持って来ました。事態がどれほど深刻か、そして失敗できないことを知っています。
しかし、2011年にこの物語を書いたとき、私が最も気にしていたのは：人は自分の決意をどれだけ守れるのか。
どれほど固く決意し、出発したときには絶対に揺らがないと信じていても、目の前の道が煙に覆われ、背景から忍び寄る誘惑が少しずつ潜在意識を書き換えていったら、最初の判断を信じ続けられるでしょうか。
特に、その誘惑が、あなたが最も取り戻したいものであるなら。
映像の中の明るさと暗さ、曖昧な金煙は、この考えから来ています。私は誘惑が常に画面に存在することを望んでいました。人物が他のことをしているときでも、それは止まらないようにしました。
誘惑は急いであなたを説得しようとはしません。ただ、あなたがその存在に少しずつ慣れていくようにするだけです。そしてある時、あなたは自分が見たいと信じていたことを、真実だと信じるようになります。
そして「輪廻」は、この物語のもう一つのテーマです。
私たちが努力して選んだ選択は、運命を変えることができるのでしょうか？それとも、私たちが反対したいと考えていることさえ、すでに物語の中に書かれているのでしょうか？
これらの問いは、短編を観た人に残しておきたいと思っています。
『ハイテク葉巻、チップ、タイムトラベラー』から SECONDHAND
この物語の元の名前は『ハイテク葉巻、チップ、タイムトラベラー』でした。
その名前はとても直接的で、物語の中で最も重要ないくつかの要素をすべて語っていました。しかし、最終的には、SECONDHANDという名前を選びました。
この名前に込めたのは、「他人のアイデンティティと運命を受け継ぐこと」です。
私たちは中古品を手にしたとき、それがある瞬間の外見だけを受け取るのではなく、すでに使われたもので、痕跡があり、私たちのものではない過去をも受け継いでいるのです。
では、受け継がれるのが人のアイデンティティだった場合はどうでしょうか？
あなたが他人の場所に入り、彼が残したものを受け取ると、次第に彼が終わっていない運命を受け継いでいくことになるのでしょうか？あなたは自分が新しい選択をしていると信じていますが、実は他人が歩んだ道を続けているかもしれません。
私にとって、SECONDHANDはこの物語が最も気にしている問いをタイトルに残しています。また、輪廻とも関係しています。物語が終わってから、その場所はまた誰かに受け継がれるのでしょうか？
生成は簡単になった。心の中の映像をより正確に作るため。
現在のモデルは、AI映像生成をとても簡単にしています。『SECONDHAND』を始めるとき、私は想像していたシーンが作れると思っていたのです。検証が必要だったのは、それらを私の心の中の形にすることでした。
画面があることと、その画面が私の物語を正確に伝えていることの間には、まだテストが必要な距離があります。
今回の制作を自分でやり遂げたことで、より自信を持つことができました：私にとって、今では最初から技術の理由で諦めなければならないような映像はほとんどありません。 一部は方法を変える必要がありますし、一部は再設計する必要がありますが、私はどんどん想像が現実になる道を見つけることができると信じています。
過去の制作計画では、通常 1/10 から 1/5 の素材使用率 を基準に見積もり、反復テストと再生成の空間を確保していました。私が自分で素材使用率を推定する方法に基づくと、今回の全体は約 1/6 に落ち着きました。私が初めて制作した頃の約 1/10 の経験と比べると、これは私にとって進歩です。これは私の制作経験の粗い推定であり、モデルの公式な成功率ではありません。
この進歩は、どこを先に処理すべきか、どの条件を明確にすべきか、そしてどの細部をテストに時間をかける価値があるかを、私がどんどん分かってきているからです。
今回の経験から見ると、人物の顔の一貫性はすでにかなり良い状態で維持できています。指そのものも、私が最もよく詰まる場所ではなくなってきました。
本当に時間をかけたのは、手と物との関係でした。
同じ腕でも、今見えているのは内側なのか、外側なのか。装置はどちら側にあり、手には何を持っているのか。人物が動いた後も、その物は正しい位置に残っているのか。
これらのことは撮影現場の人には直感的ですが、生成モデルに渡すと、一つ一つ確認する必要があります。物の数、どの手にいるか、接触位置や動作の順序は、数秒の間に変化する可能性があります。
それ以外にも、物語に直接影響を与えるようなより微細な場所があります。
探していた相手をようやく見つけた瞬間には、ほんの少し驚き、そのまま観察を続けてほしい。ところが生成結果では、ひどく怯えた表情になってしまうことがあります。
災害の真実を聞いた人が、心は重く、不安に思っているはずなのに、画面では笑顔を浮かべているかもしれません。
人物の感情と動作が正確でなければ、観客は私が伝えたい物語を読み取ることはできません。私はこれらの数秒の違いに多くの時間を費やしました。
動作を分解し、視線を明確にし、カメラがどこに立っているのか、どの角度から見ているのかを再考します。時折、より正確な参考図を作成することで無駄な道を避けられます。時折は、カメラの設計を調整して、それが一つのことを専念して行えるようにします。
私はAIモデルが進化するにつれて、これらの細かい点も段々と改善されていくと信じています。おそらく私たちが想像しているよりも早くです。そして、今回の経験は、私が現在の条件で特に注意すべきところを知っているということです。
自然に動かすために、私は一回大きな回り道をしました。
今回の制作では、Blenderもプロセスに取り入れ、3Dシーンと予演を使ってカメラの経路、人物の位置と空間関係を計画しました。
単純なブロックで人物を表し、カメラの動きを動画生成モデルに参照させる方法を見たとき、私は少し疑っていました。
本当にこれで十分なのでしょうか？
私は、もっと完璧にできることを信じていました。すでにシーンを構築できるなら、なぜ人物の骨格、関節、動作まで自然に流れるようにしないのでしょうか？
そこで、私は多くの時間を試行に費やし、自分自身でBlenderのアドオンを構築しました：Tangyi Cam。
最初は、スマートフォンでカメラの動きを直接制御できることがとても嬉しかったです。しかし、すぐにそれだけでは物足りなくなり、人物の動きをさらに細かくする必要があると感じました。
結果として、骨格の動きは予想ほどスムーズにはいかず、時間とリソースは継続して消費されました。
その後、私は再び最初に疑った方法を試してみました。単純な立方体で人物の位置と移動を示し、表情、肢の細部、演技はプロンプトに任せることにしました。
それが本当に機能しました。
もちろん、すべてが成功するわけではありませんが、これにより私は今回の制作に適した分業方法を見つけました：3Dプリビズは主にカメラと空間を処理し、プロンプトと人物の参照は演技を補う役割を果たします。
その遠回りは無駄ではありませんでした。少なくとも、今回のツールの組み合わせと時間の条件で何が可能で、何がさらに準備が必要かを実際にテストして知ることができました。
Tangyi Cam は実際に使える用途も残っています。これを整理・調整してより完成度を高めたら、予定では Workshop.tangyi.mx に無料でオープンソースとして公開する予定です。
50秒を超える長回し。つなぎ目は最初から設計していた
最初の頃、私は約5分の短編を一見して一発撮りのような作品にすることを考えていました。シーンとカメラの経路はその考えに基づいて計画されました。
とくに50秒を超えるあの長回しは、Seedance 2.5の1回の生成では作れないと最初から分かっていました。複数に分けて生成し、見えない編集でつなぐことは、もともとの計画でした。
編集は私が元々準備していた方法だったので、私は動作設計の中で接続可能な瞬間を予め確保していました。
たとえば瓶が割れる瞬間には、飛沫と手前の遮蔽物を編集点に使えます。水の壁が画面全体を覆い、その先から母子が走ってくる場面も同様です。物語に必要な映像でありながら、画面が隠れる瞬間に次の素材へつなげる設計でした。
実際に制作した後、中間にはいくつかのカットポイントを追加しました。反復処理が必要だったのは、生成された素材が予定された位置に到達し、動作、小物、空間関係が合理的であるようにすることでした。
人物の位置が正しいこと、動作がつながること、カメラの速度が突然変化しないこと、光、視線、小物も継続することが必要です。前のフレームが後のフレームの最初のフレームになるとしても、元の動作の慣性が必ずしも続くとは限りません。
この長回しだけで、6,000ポイント以上の生成クレジットを投入しました。
この数字を思いついたとき、最初の反応は「本当にたくさんのポイントを使ったな」というものです。
しかし、それらが無駄だったとは言えません。毎回の結果は、次回どのようにテストできるかをより明確にしてくれました。どの動作を同じセグメントに詰め込めないか、どの接触を明確にすべきか、手の内側と外側をどの角度から見るべきか、小物とのやりとりをどのように配置するかなどです。
6,000ポイント以上を費やしたあの試行錯誤がなければ、その後の制作はここまでスムーズには進まなかったと思います。
最後に残った長時間の映像の感覚は、複数の生成素材と事前に設計された遮蔽、見えない編集によって完成したものです。私にとって、この経験で本当に蓄積したのは、どのようにして使える素材を生成するか、そしてどこで選択肢を残すべきかをよりよく知ったことです。
観客がキャラクターと共にその空間に入って、出来事の継続を感じてほしいと思いました。この感覚を成立させるために、生成、カメラワーク、編集は最初から一緒に考える必要があります。
音声が入ってきてから、短編映画がやっと呼吸するようになりました。
画像が徐々に完成していく中でも、何かがまだ足りない感じがしました。
音楽と効果音を組み入れてから、元々バラバラだったシーンが共通の感情を持つようになりました。
今回はSunoを使って音楽と効果音を作成し、音楽の方向性を何度も試しました。あまり熱血すぎると感情が過剰に押し出され、ただ雰囲気と効果音だけでは、人々に覚えられるメロディーが欠けていました。
私は音楽に電子的でサイエンスフィクション的な質感を残しながら、人物の逡巡、渇望、不安も残したいと思いました。
私がいちばん気に入っている配楽は、ひげの男が最後の美しい幻から現実へ戻るところです。疑似的なドリーズームを挟み、葉巻の男をトイレの個室へ引きずっていく場面につなげました。人物の顔から次の行動へと映像が移る間、音楽が感情をつないでいます。ぜひ音を出して観てほしい部分です。
映画中に意図的に配置された短い黒画面にも、効果音が組み込まれています。私は照明の点滅、画面の中断、音声を一緒にして、それらが共にリズムに参加し、この不安定な世界の一部になるようにしました。
いくつかのものは単一の画面では理解しにくいです。連続して見たり、一緒に聴いたりすることで、その意図を感じ取ることができます。
今回は、私が実際に経験したプロセスを持つことができました。
『SECONDHAND』の制作には、以下のツールを使用しました：
- Seedance 2.5：動画生成。
- GPT 2.5：絵コンテと参考画像の生成。
- Photoshop：絵コンテの制作、合成、整理。
- Blender：3Dシーンとカメラプリビズ。
- Adobe Premiere Pro：映像編集、見えないつなぎ目の処理、映像と音の統合。
- Claude＋GPT-6 Astra：脚本の議論、整理、調整。
- Suno：音楽と効果音生成。
最後に、私はPremiereで編集を完了し、映像、音楽、効果音を統合して完成した物語にしました。
制作過程には多くの失敗もあり、多くの判断が蓄積されました。
今では、一つのシーンに対して、まず何を参考にすべきか、カメラをどのように説明すべきか、動作をどのように分解すべきか、そしていつ生成を繰り返すのをやめて編集やカメラワークで解決すべきかをよりよく知っています。
これにより、AI映像制作に対してより熟練し、他のクリエイターと実際に出会った問題について話し合うことをより強く望むようになりました。
今後、Blogで順次共有していく予定です：Tangyi Camの開発、長方形の予演の実験、長時間のシーンの接ぎ方、そして繰り返しテストを経て徐々に掌握した動作とオブジェクトの細部について。
あなたもAI映画を作っている、または関連する映像制作や制作のニーズがある場合は、ぜひ私に話しかけてください。
5万台湾ドル未満で、「撮れる」の意味が変わった
今回、『SECONDHAND』に実際に支出した費用は5万台湾ドル未満でした。自分自身が注いだ創作と制作の時間は、それとは別の大きな投資です。
15年前にこの物語を考えていた頃、私は倉庫を借りてトイレやバーを組み立てることを検討していました。場所、セット、エキストラだけでこの世界を実写で撮るにはすでに高いハードルがあり、撮影、照明、アクション、後編集はまだ計算に入っていませんでした。
当時、頭の中にあったのは数十万、場合によっては数百万台湾ドルが必要な制作規模でした。正式な見積書を取ったわけではありません。それでも、この物語を実現する方法を考えるたびに感じていた予算の重圧でした。
今では、同じ物語が私が負担できる範囲で完成しました。
『SECONDHAND』にはいくつかの特殊な小物、テクノロジー効果、シーンの変化、戦闘があります。テストも多かったので、もしシーンが集中していて小物が少ない恋愛物語であれば、今回の経験をもとにコストをさらに半分に抑えることも期待できます。もちろん、最終的にはクリエイターがどの程度追求するかにかかっています。
私にとっての本当の変化は、一人の人が過去に大規模なチームを動員して初めて表現できたような映像規模を、自分自身で完成できるようになったことです。
生成された戦闘シーンでは、俳優が実際にドアにぶつかる必要はなく、これらの仮想アクションのためにアクション監督や現場の医療スタッフを手配する必要もないし、破損した小物が俳優を傷つけることもない。もともと実写アクションとともに伴う身体的なリスクは、これらのシーンではまったく起こらなかった。
人物の感情、照明、撮影、カメラワーク、セット美術など、進歩の幅も私にはとても感じられた。かつてネット上で印象的で、少し恐怖を感じさせるAIのウィル・スミスが麺を食べる動画を思い出した。今ではこのような映像が作れるようになったことを考えると、本当に3年、5年後には映画やテレビの制作がどこまで進むのかと、思わず考えてしまう。
私は、映画やテレビ産業の制作方法、チームの役割分担、そして誰が物語を制作する機会を得るかが、大きく変わるだろうと信じている。
コンテンツが増えるにつれて、誰がそれを止まって見るだろうか？
また、映画やテレビ作品を制作するハードルは、私はさらに下がるだろうと考えている。
すでに一部のクリエイターはMiniMax H3 Maxをインタラクティブな物語実験に使っている。観客は映画を観ながら投票で物語の次の展開を決定し、システムは現在のシーンを再生しながら後続の分岐を生成する。Henry Daubrezが紹介したTHIS WAYがその例である。これはまだ実験段階で、一貫性の問題もあるが、観賞と創作が同じ体験の中で起こる可能性を見せている。
こう考えると、私は別の問題を思いついた。どんどん多くの人が美しい映像を作れるようになり、観客の選択に応じて物語が続いていくようになると、今後コンテンツの量はどの程度になるだろうか？
私はそれが爆発的な成長になるだろうと予想している。しかし、観客が映画を観るために使える時間は、それほど増えることはないだろう。
だから、マーケティングがクリエイターにとってより重要な課題になるだろう：どうやって作品を目に留めてもらい、どうやって人々がその作品に留まってくれるか。
カバーや予告編は誰を止めるのか？後で何が起こるのか知りたいと思わせるか？物語は誰に語られているのか？最後に、何か1文や1つの感情が、観客が他人に共有したくなるものがあるのか？これらはすべて、作品が観客を見つけるかどうかに直接影響を与える。
物語、審美、個人的な視点も、それゆえにさらに重要になる。皆が強力なツールにアクセスできるようになった今、なぜこの作品を作ったのか、そしてなぜ他人が時間をかけて見るのかをより明確にしなければならない。
これは私がこの制作ノートを書こうと思った理由の一つである。画面を示すだけでなく、この物語がどこから来て、なぜその細部を堅持したのか、そして毎回のテストで何を学んだのかをあなたに伝えたいからだ。
15年前、私が最もよく考えていたのは：いつこの物語を撮影できるのか？今や、私はついに次の質問ができるようになった：どうやってこの物語を気にしてくれる人々の前に届けるのか？
世界中の作品に直面しても、私は依然として非常に自信を持っている
応募期間中、私は世界中から届いた応募作品を見て、その数がすでに6,800本を越えていることを確認した。これは私が確認した数字であり、主催者が最終的に審査した作品の総数ではない。
また、応募者の中には、自分自身が40万ポイント以上の生成量を投入したと話している人もいた。これは私が見た中で最高の数値であり、もっと多く投入した人もいるかもしれない。
今回の『SECONDHAND』では、Higgsfieldで使用した生成量は13,324ポイント、約1万3千ポイントである。
ここでの「ポイント」は、Higgsfieldプラットフォームが生成量を計算するために使用するクレジットであり、新台幣とは等価ではなく、1ポイント＝1元と換算することはできない。これは私がこのプラットフォームで使用した生成量を示すものであり、この作品に他のツール、労働時間、後製を含む総コストを示すものではない。異なる人が使用するツール、生成条件、制作規模も異なるため、ポイント数は作品の良し悪しを直接比較するものではない。
これらの投入を見て、このコンテストの中で皆がどれほど真剣に取り組んでいるかをより感じた。
しかし、私の作品に対して、私は非常に大きな自信を持っている。
この5分余りには、2011年からずっと語りたかった物語が詰まっているからです。人物が迷う理由、金色の煙が漂い続ける理由、明滅する照明、そして最後にもう一度あの問いへ戻る理由。どの選択にも、私なりの理由があります。
結果はまだ発表されていない。私は自分が伝えたい物語を、見られる、感じられるオリジナルのSF短編映画として、できる限り作り上げた。今では、作品が世界中のクリエイターと出会うのを待っている。
『SECONDHAND』は正式に提出された。まだ完璧ではない部分もあるが、15年前に書いたキャラクターがようやく画面の中で動き、選択をするのを見て、この道を歩む価値があると感じている。
この道を歩んでくれた、資源、アドバイス、そして支援をしてくれた友人たちに感謝する。
あなたがここまで読んできたなら、私はさらにあなたに私のHiggsfieldプロジェクトページを開いてほしい。
この記事は制作プロセスの一部に過ぎない。私のすべての生成されたシーンはプロジェクトページにまとめられており、成功したバージョンと失敗したバージョン、カットのヒント、そして3Dカメラワークの予演も含まれている。 完整な短編映画を視聴することもできるし、その映像がどのように1つずつ試行されていったのかを見直すこともできる。
特にあなたもAI映画を作っているなら、これらのテストを直接見てほしい。いくつかのエラーはあなたも経験しているかもしれないし、いくつかの接続方法は次の創作の出発点になるかもしれない。
ヘッドホンを装着し、5分ちょっとでこの物語に浸ってみよう。その後、制作記録を見てみよう。その後、あなたの答えを聞かせてほしい：
彼は運命を変えたのか、それとも運命を完成させたのか？
制作リスト
《SECONDHAND》｜瑭宜出品 Tangyi Studio
Zheng-Xian Lin
企画・脚本・監督・プロデュース・編集
原案、脚本、AI生成、3Dカメラプリビズ、映像制作、編集。
Ping-Chen Chiang
プロダクションスポンサー＆コンサルタント
Yann-Yean Su
クリエイティブコンサルタント
Wen-Lin Xu
脚本アシスタント
Special Thanks
Ping-Chen Chiang
Yann-Yean Su
Li-Chen Tai
Xun-xi Lee
著者：林政賢（監督 · Gen AI クリエイター兼エンジニア · 瑭宜影像創意工作室 創業者）