Как сделать клип на песню с помощью нейросети: от трека до монтажа

1. Сделайте песню. В Suno вставьте свой текст или опишите тему, в Lyria задайте структуру по таймкодам. Скачайте лучший вариант в MP3.
2. Разметьте трек на сцены. Выпишите время каждой части песни и придумайте по одному действию на каждые 3-8 секунд.
3. Создайте героя и стиль. Сделайте картинку героя в Nano Banana или GPT Image и одну фразу о стиле, которую будете повторять в каждом промпте.
4. Сгенерируйте сцены. Kling, Veo или Grok Video: по одной сцене за запуск, с картинкой героя как первым кадром или референсом.
5. Смонтируйте под музыку. В любом видеоредакторе положите трек на дорожку, выключите звук сцен и режьте склейки на сильные доли.

Важно знать заранее: видеомодели не принимают песню на вход. Они не слышат музыку и не двигают губами под ваш вокал, а склейку видео с треком делает видеоредактор, а не Vizzo. Поэтому клип планируют как монтаж, а не как одну генерацию.

Если песня уже есть, сразу переходите к раскадровке: генерировать видео можно под любой трек. Для публикации чужой песни нужны права на неё, нейросеть это не меняет.

Для клипа удобнее песня с чёткой структурой. В Suno разбейте свой текст на куплеты и припев, в Lyria можно расписать части по секундам: [0:00-0:10] вступление, [0:10-0:40] куплет, [0:40-1:00] припев. Эти же отметки потом станут границами сцен.

Одна сцена в клипе обычно длится от 2 до 8 секунд. Для минуты музыки нужно 8-15 сцен, для быстрого трека больше, для медленной баллады меньше. Правило для каждой сцены: одно место, одно главное действие, одно движение камеры.

Подгоните длину сцен под темп

Склейки в такт выглядят профессионально. Длина такта в размере 4/4 считается так: 60 ÷ темп (BPM) × 4. Темп трека можно узнать в любом приложении-метрономе или в описании стиля, если вы задавали его сами.

Сцену всегда можно сгенерировать чуть длиннее и обрезать при монтаже, поэтому точное совпадение не обязательно. Пример раскадровки для куплета: «герой идёт по ночному мосту» (8 с), «крупно: руки на перилах, огни города» (4 с), «камера поднимается над рекой» (8 с), «герой оборачивается» (4 с).

Главная сложность клипа нейросетью: в каждой генерации модель заново придумывает лицо, одежду и стиль. Чтобы герой не менялся от сцены к сцене, работают три приёма.

• Картинка героя. Сначала сделайте героя на нейтральном фоне в Nano Banana или GPT Image 2.5. Nano Banana принимает до пяти исходных фото и умеет ставить того же героя в новые места: так получаются первые кадры сцен (картинка в Nano Banana 2.1 1K стоит 7 токенов).
• Первый кадр или референсы. В Kling 3.0 Omni режим «Кадры» делает картинку первым кадром, режим «Референсы» принимает до 7 изображений героя и места, на них ссылаются тегами @image_1, @image_2. У Veo 3.1 Fast и Standard до 3 референсов, ролик в этом режиме 8 секунд.
• Одна фраза о стиле. Например: «плёночный клип 90-х, тёплые цвета, зерно, мягкий контровой свет». Повторяйте её дословно в каждом промпте.

Чтобы сцены перетекали друг в друга, возьмите последний кадр готовой сцены как первый кадр следующей: скриншот из ролика загружается в режим «Кадры» так же, как обычная картинка.

В Kling 3.0 Omni для клипа выключайте звук: музыка всё равно ляжет поверх, а секунда в 720p без звука стоит 9 токенов вместо 13 токенов. У Grok Video и Kling Turbo звук генерируется всегда, его просто выключают при монтаже.

Если в клипе нужен танец

Снимите себя или знакомого, танцующего под ваш трек, и загрузите это видео вместе с фото героя в Kling Motion Control: модель перенесёт движения на персонажа. Исходник от 3 до 30 секунд, длина результата равна длине исходника. Подробно на странице «Танец по фото».

Если герой поёт

Синхронизации губ с вашим вокалом в Vizzo нет, поэтому крупные планы, где герой поёт прямо в камеру, будут не в такт. Обходят это общими планами, съёмкой со спины или в профиль, сюжетными сценами и крупными планами рук, глаз, деталей.

Вступление

Пустая ночная трасса, свет фар выхватывает разметку, туман над асфальтом, камера медленно едет вперёд низко над дорогой, плёночный клип 90-х, тёплые цвета, зерно.

Куплет

Девушка с @image_1 идёт по мокрому мосту ночью, огни города отражаются в реке, камера следует за ней сбоку, плёночный клип 90-х, тёплые цвета, зерно.

Припев

Толпа на концерте поднимает руки, лучи прожекторов режут дым, камера быстро пролетает над головами к сцене, яркие вспышки света.

Переход

Крупный план: капли дождя падают на стекло, за стеклом размытые огни, фокус медленно переходит с капель на огни.

Финал

Герой стоит на крыше на рассвете спиной к камере, ветер треплет куртку, камера медленно отъезжает назад и поднимается, город внизу просыпается.

Больше приёмов для описания движения камеры в статье «Промпты для Kling AI на русском».

• Сначала трек. Положите песню на дорожку и расставьте метки на сменах частей и сильных долях. Сцены кладите к меткам, а не наоборот.
• Звук сцен выключите. Если модель сгенерировала шум улицы или дождя, его можно оставить тихо на вступлении, но не поверх вокала.
• Режьте на долю. Склейка ровно на ударе бочки или на первом слове строки воспринимается как «в такт», даже если сцена сама по себе не ритмичная.
• Чередуйте планы. Общий, средний, крупный: три общих плана подряд утомляют, смена крупности держит внимание.
• Текст и титры добавляйте в редакторе. Буквы внутри сгенерированного видео часто искажаются.
• Формат под площадку. Для рилс, шортс и клипов VK генерируйте сразу в 9:16, для YouTube и Rutube в 16:9. Обрезка горизонтального ролика в вертикальный теряет большую часть кадра.