今天逛huggingface发现一个有意思的项目，为歌曲生成符合上下文的图，并且也支持生成相应的视频。看了一下实现使用了一个为音乐配解释性字幕的模型lp-music-caps，如果勾选使用歌词还会调用人声分离模型Demucs和Whisper来提取歌词。然后将解释性字幕和歌词通过Llama生成stable-diffusion的提示词。1/2