NVIDIA 发布开放模型和数据,加速语言、生物学和机器人领域的 AI 创新

NVIDIA 发布开放模型和数据,加速语言、生物学和机器人领域的 AI 创新

NVIDIA 的开放模型系列,包括面向数字 AI 的 NVIDIA Nemotron、面向物理 AI 的 Cosmos、面向机器人开发的 Isaac GR00T 以及面向生物医学 AI 的 Clara,为开发者提供了为现实世界应用构建专用智能体的基础。

NVIDIA 秉持对开源的长期承诺,推出了面向语言、机器人和生物学的全新开源 AI 技术,为构建开源生态系统做出贡献,扩展 AI 的普及并推动创新。

这些开放技术将通过高效推理、高保真世界生成和基于 NVIDIA 基础设施加速的交互式物理 AI 系统,赋能全球开发者,并推动经济增长。

新发布的开放模型、数据和工具属于多个 NVIDIA 平台和产品系列的一部分,包括面向 AI 推理的 NVIDIA Nemotron 系列、面向物理 AI 的 NVIDIA Cosmos 平台、面向机器人开发的 NVIDIA Isaac GR00T 和面向生物医学 AI 的 NVIDIA Clara

NVIDIA 正将这些模型、数据和训练框架贡献给 Hugging Face,让 AI 研究和开发更加易于获取。作为 Hugging Face 的首要贡献者,NVIDIA 目前拥有超过 650 个开放模型和 250 个开放数据集,将继续为全球开发者社区拓宽对前沿 AI 资源的访问途径。

Hugging Face 首席执行官 Clément Delangue 表示:“开放模型是 AI 创新的催化剂,使 AI 变得更易于访问、更透明且更负责任。NVIDIA 对开放模型生态系统的贡献、对 AI 开放式研究以及 Hugging Face 生态系统的承诺,将赋能数百万开发者共同在开放环境中构建先进 AI。”

NVIDIA Nemotron 为专业 AI 智能体带来更高效的推理能力

AI 智能体使用多种模型来查看、检索、生成和推理。NVIDIA Nemotron 系列的最新开放模型统一了这些功能,使开发者能够构建专业化的智能体。

  • Nemotron Nano 3 使用混合专家架构,提高软件开发、客户服务和 IT 支持等领域的推理吞吐量。
  • Nemotron Nano 2 VL 提供文档智能、图像推理和视频分析。
  • Nemotron Parse 从文档中提取文本和表格,以获取可操作的信息。
  • Nemotron Safety Guard 增加了具有文化意识的多语言调节功能,可在九种语言里检测 23 个安全类别的有害内容。
  • Nemotron 检索增强生成 (RAG) 模型现在具有高级文档提取特征,并可跨文本、图像、音频和视频数据源进行统一检索。

NVIDIA 还发布了全新的开源 Nemotron 数据集,包含多模态训练、多语言角色保护隐私型合成个人信息,供专业模型开发使用。此外,全新的 NVIDIA NeMo 工具,包括用于合成数据生成的 NeMo Data Designer 和用于高级后训练和强化学习的 NeMo-RL,让开发者在模型定制方面拥有更高的控制权。

领先的软件公司使用 Nemotron 构建代理式 AI

开源模型使开发者能够为各自的领域构建和改造 AI,使软件成为使用工具的代理式系统,而非仅仅提供工具。领先的软件和服务公司正在使用 NVIDIA Nemotron 构建代理式软件平台。

Apriel Nemotron 模型系列借助 NVIDIA 和 ServiceNow 提供的数据进行后训练并取得成功,ServiceNow 发布了其新一代 Apriel 2.0 多模态推理模型,为所有行业的跨企业工作流带来智能,包括金融服务、医疗与电信等受监测的领域。

ServiceNow 平台工程和 AI 执行副总裁 Joe Davis 表示:“开放模型正在推动企业转型的下一波浪潮。Apriel 2.0 是首批专为企业打造的开放权重多模态推理模型之一,将文本、文档和数据理解相结合,为各行各业的实际工作流注入动力。我们正与 NVIDIA 一起将推理透明度与高性能相结合,为注重信任和合规性的领域带来可解释、安全且可扩展的 AI。”

更多领先的软件公司正在采用 NVIDIA 的最新推理模型,以驱动其新一代 AI 应用:

  • Palantir 正通过其 Foundry 中的 Ont ology 和 AIP 提供 Nemotron,支持与 NVIDIA 集成的技术栈,实现运营级 AI。
  • Cadence 正通过 JedAI 平台和 Nemotron 开放技术加速芯片设计师的生产力。
  • CrowdStrike 正在通过 NVIDIA Nemotron 将自主、持续学习的 AI 智能体构建到他们的 Agentic Security Platform 中。
  • PayPal 正借助 Nemotron 将 AI 服务的吞吐量和成本效率提升 50%。 
  • Synopsys 正与 NVIDIA 协作,基于 NVIDIA NeMo Agent Toolkit 和 Nemotron 开放模型及数据开发芯片设计智能体,供 NVIDIA 工程师使用。 
  • Zoom 正使用 Nemotron 自定义代理式功能,以适应客户的具体工作流。 

Cosmos 和 Isaac GR00T 开放模型及数据用于物理 AI 和机器人开发领域

为加速具备类人推理和认知能力的机器人系统训练,NVIDIA 对其物理 AI 开放模型做出了重大更新,包括 Cosmos 世界基础模型和 Isaac GR00T 机器人基础模型:

  • Cosmos Predict 2.5:将三种模型统一为一种模型,用于快速世界仿真,单帧即可生成 30 秒视频。
  • Cosmos Transfer 2.5:从 3D 场景中生成更高质量、逼真的数据,且大小仅为 Cosmos Transfer 1 的三分之一。
  • Cosmos Reason:推理视觉语言模型,现已作为 NVIDIA NIM 提供,用于高级多模态理解。
  • Cosmos 数据集搜索:支持即时检索训练场景,将后训练周期从数月缩短到数天。
  • Isaac GR00T N 1.6:增强人形机器人的推理、泛化和全身控制能力。

NVIDIA 还发布了全球最大的物理 AI 开源数据集,目前收录了来自美国和欧洲的 1,700 小时的多模态驾驶传感器数据,以及已跻身 Hugging Face 有史以来下载量最高的十大数据集之列的 GR00T 训练数据。

Agility Robotics、Amazon Robotics、Figure AI、Skild AI、Milestone Systems 和 Uber 等领先公司正采用 Cosmos 或 Isaac GR00T N 模型来生成合成数据,训练机器人学习新行为,并大规模部署现实世界和物理 AI 智能体。

面向医疗与生命科学的 NVIDIA Clara 开放模型

NVIDIA Clara 系列迎来全新开放模型,该系列包含专为加速科学发现、分析医学图像等而建的模型、工具和方案,其中包括:

  • Clara CodonFM:研究 RNA 规律,揭示其编码变化如何改善治疗和药物设计。NVIDIA 将把 CodonFM 等开放模型贡献给 Chan Zuckerberg Initiative (CZI) 的虚拟细胞平台,从而加速开源协作和模型评估的发展。
  • Clara La-Proteina:以以往模型两倍的长度和复杂性逐原子创建 3D 蛋白质结构,实现更好的药物、酶和材料的设计。
  • Clara Reason:一种能够进行链式推理的视觉语言模型,专为放射学和医疗影像设计,推动可解释 AI 医学研究。

开启 NVIDIA 开放模型体验

部分在 NVIDIA DGX Cloud 上训练的 NVIDIA Nemotron 和 Cosmos 开放模型,现可在 NVIDIA 官网、Hugging Face、OpenRouter 和 Microsoft Azure AI Foundry 上获取,并即将扩展至 Google Vertex AI 平台和其他云服务提供商。此外,NVIDIA Clara 和 Isaac GR00T 可通过 Hugging Face 获取。

这些模型以 NVIDIA NIM 形式提供,可在 DGX Cloud 或任何 NVIDIA 加速基础设施上安全、可扩展地部署,实现最高程度的隐私保护和控制。
欲了解 NVIDIA 与合作伙伴如何推动 AI 创新进程,敬请观看黄仁勋在华盛顿特区 NVIDIA GTC 大会上发表的主题演讲

Read more

Counterfeit-V3.0:重新定义AI绘画自由度的技术革命

Counterfeit-V3.0:重新定义AI绘画自由度的技术革命 【免费下载链接】Counterfeit-V3.0 项目地址: https://ai.gitcode.com/hf_mirrors/ai-gitcode/Counterfeit-V3.0 在AI绘画领域,创作者们长期面临着一个核心矛盾:追求艺术自由还是保证结构准确?Counterfeit-V3.0的出现,为这一困境提供了全新的解决方案。作为基于Stable Diffusion架构的创新型模型,它通过独特的负嵌入技术和增强的自然语言理解能力,为数字艺术家们打开了前所未有的创作空间。 技术突破:从理解到创造的质变 BLIP-2驱动的智能解析引擎 Counterfeit-V3.0最大的技术亮点在于集成了BLIP-2视觉语言模型,这使其在文本到图像的转换过程中实现了质的飞跃。传统模型在处理复杂描述时往往顾此失彼,而Counterfeit-V3.0能够同时捕捉多个视觉元素的微妙关系。 实际案例展示: cyberpunk metropolis, neon-drenched streets, rain-slicked

llama.cpp + llama-server 的安装部署验证

飞桨AI Studio星河社区-人工智能学习与实训社区 用的是 魔塔的免费资源 不太稳定 我的Notebook · 魔搭社区 cat /etc/os-release  Ubuntu 22.04.5 LTS (Jammy Jellyfish) —— 这是一个长期支持(LTS)且完全受支持的现代 Linux 发行版,非常适合部署 llama.cpp + llama-server。Ubuntu 22.04 自带较新的 GCC(11+)、CMake(3.22+)和 Python 3.10+,无需手动升级工具链,部署过程非常顺畅。 一、安装系统依赖 sudo apt update sudo apt install -y

英文论文查AI率,用这两个权威的AIGC检测工具!

现在英文论文也需要检测论文AI率了,针对英文论文AI率检测,目前有两个系统可以用来检测AIGC率,主要是IThenticate系统和Turnitin系统。 一、IThenticate检测系统 IThenticate检测系统:http://students.ithenticate.checkpass.net/ Ithenticate为Turnitin公司旗下的反剽窃检测系统。2000年1月13日,12个世界顶级学术出版商联合创办了非营利性会员制协会组织CrossRef, 世界上绝大多数顶级出版商均为此联盟成员。 该系统没有版本的选择,目前检测得到的报告是自带有AI率的报告。 二、Turnitin国际版+AI Turnitin国际版+AI检测:https://truth-turnai.similarity-check.com/ 这个系统实际上也是属于turnitin系统,但是这个主要是针对目前比较流行英文内容的AI内容进行检测,使用这个网址进行检测的话,是可以出具AI报告和查重报告的。 同一篇内容,使用Turnitin系统检测AI率的结果: 使用IThenticate系统

[科研实践] VS Code (Copilot) + Overleaf (使用 Overleaf Workshop 插件)

[科研实践] VS Code (Copilot) + Overleaf (使用 Overleaf Workshop 插件)

科研圈写文档常用 Latex 环境,尤其是 Overleaf 它自带的 AI 润色工具 Writefull 太难用了。如果能用本地的 CoPilot / Cursor 结合 Overleaf,那肯定超高效! 于是我们找到了 VS Code 里的 Overleaf Workshop 插件。这里已经安装好了,没装过的同学可以直接点击 “安装” 安装后左边会出现 Overleaf Workshop 的图标: 点击右边的“+”: Overleaf 官网需要登录,这里我们通过 cookie 调用已登录账号的 API: 回到主界面,右键点击 “检查”: 打开检查工具后,找到 “网络”(Network)窗口,搜索 “/project” /project 如果首次加载没内容,刷新页面就能看到