🎥 Midjourney计划推出“文本转视频”模型，扩展AI形象生成器到视频创作领域。
方法介绍:
研究概述了为图像恢复个性化引导扩散模型的方法。Dual-Pivot Tuning技术包括两个步骤:基于文本的微调，将身份特定信息嵌入扩散先验中，以及模型中心的枢轴，将引导图像编码器与个性化先验协调一致。文本到图像扩散模型的个性化运算符被定义为通过枢轴微调模型以创建定制版本。该技术包括上下文文本枢轴，注入身份信息，然后是基于模型的枢轴，利用通用恢复在实现高保真度恢复的图像之前。
ScriptGPT 是我创建的一个工具，旨在将功能开发卸载到由 GPT4支持的 AI 代理上。它专为 TS/JS 项目量身定制，自动安装所需的库、测试代码、添加注释等。
据悉，M2UGen采用了创新的方法，生成了大规模的多模态音乐指导数据集，用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型，以在各个领域生成对应的指导。