模型框架

原文： https://x.ai/ Grok是一个AI，模仿了《银河系漫游指南》，旨在回答几乎任何问题，并且更难的是建议提出什么问题！Grok被设计为带有一点机智并且有叛逆倾向，所以如果你不喜欢幽默，请不要使用它！Grok的一个独特而基本的优势是，通过𝕏平台，它具有对世界的实时知识。它还会回答大多数其他AI系统拒绝的辛辣问题。Grok仍然是一个非常早期的测试产品，我们在2个月的…

Distil-Whisper：比Whisper快6倍，体积小50%的语音识别模型。它在Whisper核心功能的基础上进行了优化和简化，速度提高了6倍。主要优点包括速度、尺寸、准确性、抗噪声、减少幻听和推测性解码。该模型使用了伪标签方法和知识蒸馏，参数减少了51%。实验结果显示，Distil-Whisper在处理速度和准确性方面都有显著提升。评论中的一些关键亮点包括该模型适用于移…

MimicGen是一种自动生成大规模数据集的工具，只需少量人类示范即可。它可以自动生成超过50,000个示范，仅使用不到200个人类示范，涵盖了18个任务、多个模拟器和真实世界。MimicGen可以生成各种不同的数据集，包括新的复位分布、新的对象和新的机器人硬件。它适用于长期任务、高精度任务、移动操作任务和真实世界任务。此外，MimicGen还可以生成高质量的数据集和策略，即使…

Character-LLMs，它是一种可训练的角色扮演代理程序，可以从实际经验、特征和情感中学习。与提示代理程序相比，Character-LLMs是专门为角色扮演训练的代理程序，能够扮演具体的人物，如贝多芬、埃及艳后克娄巴特拉、凯撒大帝等，具有详细的角色相关知识和代表性的角色个性。为了实现这一点，作者提出了一种数据生成过程，即“经验重建”，可以生成详细且多样化的特定角色的经验数…

DB-GPT是一个基于数据库的开源GPT实验项目，旨在解决大模型在数据安全和隐私方面的挑战。该项目支持本地部署，可以应用于独立私有环境，并且可以根据业务模块独立部署隔离，确保大模型的能力绝对私有、安全和可控。通过DB-GPT，围绕数据库构建大模型应用会更简单、更方便。 git地址： https://github.com/eosphoros-ai/DB-GPT/ 来源：https…

这篇内容介绍了一种实时渲染技术，可以在移动舞台、ENeRF-Outdoor和DNA-Rendering数据集上进行渲染，分别使用了24、18和60个视角。通过提出的4K4D点云表示方法，可以实现4K分辨率下动态3D场景的高保真和实时视图合成。该方法在硬件光栅化的支持下，实现了前所未有的渲染速度。实验结果表明，使用RTX 4090 GPU，在1080p分辨率下，可以以超过400 …

AutoGen提供了多代理对话框架，可以方便地构建大型语言模型的工作流程。AutoGen还提供了一系列不同领域和复杂度的工作系统，可以用于构建多样化的应用程序。此外，AutoGen还支持增强型的大型语言模型推理API，可以提高推理性能并降低成本。 项目地址： https://microsoft.github.io/autogen/ 来源：https://mp.weixin.qq…

看得懂图片的多模态大模型MiniGPT4 MiniGPT-5是一个基于大型语言模型的图像和语言生成模型。它采用了一种创新的交错式视觉和语言生成技术，通过“生成vokens”作为图像和文本输出之间的桥梁。该模型经过两个阶段的训练，无需对图像进行详细描述，同时结合了无分类器引导的指导方法，提高了图像生成的效果。在多个评估数据集上，MiniGPT-5在人类评估中表现出优秀的多模态输出…