Seedance リップシンク：写真と声を喋る動画に変換

Seedance 2.0は、画像と一緒に参照音声を受け付けます。プロンプトでその音声トラックを声として使うよう指定すると（@audio1の記述）、モデルはその音そのものを話す、あるいは歌う顔を生成し、口の動きを言葉に一致させます。一言で言えば、これがSeedanceリップシンクです。あなたの写真、あなたの音声、そして一度のレンダリングで完成します。

対応できるのはセリフだけではありません。Sunoで作った楽曲、録音したナレーション、ポッドキャストの一部など、どれを読み込ませてもSeedanceリップシンクがキャラクターに演じさせます。1回の生成で使用できるのは参照画像9枚、音声3トラックまでで、顔と声を同じリクエストの中で固定できます。

すべてこのページ内で完結します。上のSeedanceリップシンクテンプレートを選び、ファイルを追加すれば、動画はブラウザ内でレンダリングされます。編集用のタイムラインも、別途の同期作業も、ソフトウェアのインストールも必要ありません。

短いセリフは長いスピーチよりも同期精度が高くなります。1文あたり5〜10語程度にすると、モデルが明確な基準点をつかめます。Seedanceリップシンクの生成がずれてしまう場合は、同じ長いクリップを何度も生成し直すのではなく、音声を短く分割してそれぞれ個別にレンダリングしてください。

プロンプトには対象を明確に書きましょう。「@image1の人物が@audio1のセリフを話す」のように明記すれば、あいまいな「喋らせて」よりも精度が上がります。その一文が、どのファイルが口の動きを駆動するのかをモデルに正確に伝えます。