今年初,由OpenAI发布的文生视频大模型Sora震惊了世界,仅需输入文字指令便可生成长达一分钟高清分辨率、画面精致的动态视频。3月12日,南山辖区的北京大学深圳研究生院—兔展智能AIGC联合实验室发布了“Open-Sora”计划,旨在复现一个“开源版Sora”。该项目由深圳兔展智能创始人、CEO董少灵与北京大学信息工程学院助理教授、博士生导师袁粒领衔发起,期望以开源的方式对外传播中国团队的技术自信,号召全球一起做人类普惠的技术内容。据悉,深圳兔展智能是2014年成立的南山辖区企业。
“我们Open-Sora的数据完全开源,全世界的用户都可以直接拿去用,甚至利用它们来实现盈利。”在发布现场,袁粒介绍道,目前能支持动态输入、多尺度、多分辨率的训练,对于可变比例、可变时长的视频已取得了较好的生成效果。目前,团队在条件和算力存在一定缺口的情况下选择了更高效、低功耗的大模型训练方式。
该项目在GitHub上一经发布,立即引起国际人工智能界的关注,一周内就获得14万余次访问,代码被克隆超800次,美国、英国、加拿大、德国、澳大利亚、沙特阿拉伯、伊朗等国家技术人员参与其中。
目前,该计划“初步验证当前框架有效性”的第一阶段目标已完成,第二阶段团队希望在有效框架基础上训练出能够生成20秒以上720p清晰度视频的模型,同时将生成更加逼近Sora时长和效果的视频作为第三阶段的拓展目标。
发布会现场,董少灵展示了“Open-Sora”大模型的落地项目。其中,在建筑设计方面,能够通过文本描述引导生成三维建筑模型,自由调整建筑视角,并结合AI局部重绘的能力补全设计效果图,方案设计及效果图制作提效97%,成本节约14.6%。
编辑 温静 审读 吴剑林 二审 党毅浩 三审 张雪松