多模态故事生成模型SEED-Story开源

Stability AI推出Stable Diffusion 3.5，这一开放版本包括多个模型变体，包括SD 3.5 Large、SD 3.5 Large Turbo和SD 3.5 Medium。

SD 3.5 Large拥有高达80亿的参数量，能够快速生成百万像素级图像，满足专业创作需求；SD 3.5 Large Turbo作为3.5 Large的蒸馏版本，在保证高质量输出的前提下优化生成步骤，生成速度快，适用于需要快速迭代、频繁生成图像的场景；SD 3.5 Medium面向更广泛的用户群体，能够在标准的消费级硬件上流畅运行，生成0.25~200万像素的各种图像。

Stable Diffusion 3.5具备较高的可定制性，将Query-Key Normalization集成到Transformer块中，稳定了模型训练过程并简化了进一步的微调和开发，可通过微调满足特定创意需求，或基于自定义工作流程构建应用程序。

Stable Diffusion 3.5已在Hugging Face上托管，也可通过API、Replicate、ComfyUI、DeepInfra访问。

阿里通义千问开源视觉语言模型Qwen2-VL，包括参数量分别为20亿（2B）、70亿（7B）和720亿（72B）的三款开放权重模型。

Qwen2-VL支持单图、多图、视频输入，能够理解不同分辨率和不同宽高比的图片和20分钟以上的长视频，支持多种语言，还可实时读取摄像头或电脑屏幕，进行文字形式的视频对话，作为智能体（Agent）与环境进行交互，根据任务目标自主操控手机等设备。

在复杂的大学水平问题解决、数学能力、文档和表格的理解、多语言文本图像的理解、通用场景问答、视频理解、视觉智能体能力等方面的评估中，72B版本在大部分指标上均达到最优，刷新了开源多模态模型的最好表现，在文档理解方面优势最为明显，仅在复杂的大学水平问题解决方面与GPT-4o还存在差距。

Qwen2-VL的三个版本中，2B和7B版本已可下载并免费商用（Apache 2.0），72B则通过API提供。目前开源代码已集成到Hugging Face Transformers、vLLM等第三方框架中。

南洋理工大学S-Lab、北京大学、上海人工智能实验室和香港中文大学联合推出三维生成大模型3DTopia-XL，能够通过文字或图片直接生成具有物理渲染（PBR）材质的高质量3D数字资产。

3DTopia-XL采用全新三维表征PrimX，基于DiT生成架构，具有10亿规模参数，能够在5秒内生成具有物理材质属性的3D模型，生成结果支持更换不同环境光照图来渲染输出GLB格式的3D资产，可无缝导入主流图像引擎和工业设计软件中，服务下游应用。

3DTopia-XL的核心技术在于，采用PrimX作为一种符号距离场（Signed Distance Field，SDF）的高效几何表征方式，将三维物体表征为若干个Primitive的集合。每个Primitive仅在形状边界邻域内对局部几何、纹理和材质进行联合建模，从而将一个三维资产的所有信息表示为若干个固定长度的token，完成了三维数据的高质量结构化。这一方法不仅大幅减少了表示三维物体所需的参数量，提高了参数利用效率，还便于DiT基模型的规模扩展。

3DTopia-XL已将推理代码、以图像为输入条件的预训练模型和技术报告分别公布在GitHub、Hugging Face和Arxiv，未来还将持续更新训练代码、其他模态作为输入的预训练模型与配套数据集。

交错图像-文本内容（Interleaved Image-text Content）创建可用于多模态故事生成，即以交错的方式生成叙述性文本和生动的图像，可用于长篇故事的可视化。这一领域的现存挑战在于，模型需要理解文本和图像之间复杂的相互作用，并能够生成长序列连贯、上下文相关的文本和视觉内容。

对此，香港科技大学、香港中文大学和腾讯的研究团队联合提出了一种利用多模态大语言模型（MLLM）生成扩展多模态故事的新方法SEED-Story，能够通过用户提供的初始图像和文本，生成包含丰富叙述文本和风格一致图像的长篇故事，并使得长篇故事能够始终产生高质量、一致的图像而不崩溃。

SEED-Story基于MLLM强大的理解能力，可预测文本标记（Text Token）和视觉标记（Visual Token），随后使用经过自适应的视觉去标记器（De-tokenizer）对其进行处理，生成具有一致性角色和风格的图像。研究团队进一步提出了多模态注意力下沉（Multimodal Attention Sink）机制，能够以高效的自回归方式生成最多25个序列的故事。

此外，该研究团队还提供了一个名为StoryStream的大规模高分辨率卡通数据集，包含三个子集：Curious George、Rabbids Invasion和The Land Before Time，每个子集提供丰富的关键帧图像和由大语言模型生成的对应故事文本，用于模型训练，并对多模态故事生成任务进行基准测试。

SEED-Story的数据集、模型权重、推理代码和指令微调代码可从Hugging Face下载。

（本期图片均来自互联网）