模型框架

智源团队提出了一种名为BiPFT的1bit轻量化预训练模型，用于自然语言理解任务。与标准的FP32模型相比，BiPFT在推理阶段节省了56倍的操作数量和28倍的内存。与其他1bit模型相比，BiPFT在学习和泛化能力上有显著提升，并在GLUE标准测试集上表现出更好的性能。此外，BiPFT还通过对自注意力操作的量化误差进行参数化，减少了量化损失。实验结果显示，BiPFT在下游任务…

来自字节跳动的团队在arXiv上发表论文，推出视频生成方法MagicVideo-V2。该方法将文本到图像模型、视频运动生成器、参考图像嵌入模块和帧插值模块整合到一个端到端的视频生成流程中。通过这些架构设计，MagicVideo-V2能够生成高保真度和流畅度的高分辨率视频，据称在大规模用户评估中表现超过Gen-2等领先文生视频系统。 论文地址：arxiv.org/pdf/2401…

我们发现，在严格保持某个“物体ID”不变的情况下生成新的内容有着很大的市场需求，同时也是具有挑战性的。为此，我们提出了ReplaceAnything框架。它可以用于很多场景，比如人体替换、服装替换、物体替换以及背景替换等等。 项目地址： https://www.modelscope.cn/studios/damo/ReplaceAnything/summary

本文介绍了一种名为Make-A-Character（Mach）的用户友好型框架，用于根据文本描述创建逼真的3D角色。该框架利用大型语言和视觉模型的能力进行文本意图理解和中间图像生成，然后通过一系列面向人类的视觉感知和3D生成模块来实现。该系统提供了一种直观的方法，让用户在2分钟内创建出符合他们期望的可控、逼真、完整的3D角色，并且可以与现有的计算机图形流程进行轻松集成，以实现动…

Colossal-AI团队开源了SwiftInfer，提升了大模型推理性能46%，为多轮对话场景提供高效可靠的落地方案。 项目地址： https://github.com/hpcaitech/SwiftInfer

阿里开源多语言视觉文字生成与编辑模型——AnyText，用户可自定义规划文字出现的位置，可媲美专业PS。 地址： https://github.com/tyxsspa/AnyText AnyText包括两种模式：文本生成和文本编辑。运行下面的简单代码在两种模式下进行推理，验证环境是否正确安装。 如果您有高级GPU（至少8G内存），建议按照以下方式部署我们的演示，其中包括使用说明…

Meta的GenAI团队推出了名为Fairy的视频到视频综合模型，该模型比现有模型更快、时间上更一致。研究团队展示了Fairy在几个应用中的表现，包括角色/物体替换，风格化和长形式视频生成。 项目地址： https://fairy-video2video.github.io/ Fairy是一种用于视频编辑的图像编辑模型，通过基于锚点的跨帧注意力机制，实现了高保真度和时间一致性的…

华人团队提出大模型上下文窗口的自行扩展新方法SelfExtend，无需任何训练和微调，只需修改四行代码即可扩展现有大模型的上下文窗口长度，最高可增加3倍。 论文地址： https://arxiv.org/abs/2401.01325.pdf

新加坡科技设计大学（SUTD）团队发表论文，提出11亿参数的小型语言模型TinyLlama，其在大约1万亿个Token上进行了3轮预训练。 论文地址： https://arxiv.org/pdf/2401.02385.pdf

百川智能于2024年1月9日发布了角色大模型Baichuan-NPC，该模型通过优化角色知识和对话能力，使角色能够更好地理解上下文对话语义，更符合人物性格地进行对话和行动，让角色栩栩如生。此外，百川智能还推出了“角色创建平台+搜索增强知识库”的解决方案，游戏厂商可以通过简单的文字描述快速构建自己需要的角色，实现低成本、高效率的角色定制。Baichuan-NPC在对话能力、角色一…