AIGC 周报：周鸿祎谈 GPT 影响，蔡崇信论 AI 替代与侵权风险

AIGC 技术周报

AIGC（AI Generated Content）即人工智能生成内容。近期爆火的 AI 聊天机器人 ChatGPT，以及 DALL-E 2、Stable Diffusion 等文生图模型，都属于 AIGC 的典型案例，它们通过借鉴现有的、人类创造的内容来快速完成内容创作。

技术前瞻

VideoChat：基于聊天的视频理解系统

近日，上海人工智能实验室、香港大学等联合推出了一个端到端、基于聊天的视频理解系统——VideoChat。它通过一个可学习的神经接口整合了视频基础模型和大型语言模型，在时空推理、事件定位和因果关系推理方面表现出色。

此外，研究团队也提出了一个以视频为中心的指令数据集，其中包含数千个视频，配有详细的描述和对话。这一数据集强调了时空推理和因果关系，为训练基于聊天的视频理解系统提供了有价值的资源。

初步的定性实验显示，该系统在各种视频应用领域的潜力，并为未来的研究设定了标准。

参考链接：https://arxiv.org/abs/2305.06355

ImageBind：横跨 6 种模态的开源大模型

日前，Meta 公布了名为 ImageBind 的开源模型，该模型能够同时从文本、图像/视频、音频、深度（3D）、热能（红外辐射）和惯性测量单元（IMU）6 种不同的模态中学习。

据介绍，ImageBind 还能够超越之前的单一模态模型，具有更好的性能，并能够更好地分析多种形式的信息，它的目标是使机器具备类似于人类的全面理解能力。

参考链接：https://arxiv.org/abs/2305.05665

OpenAI 新研究：用 AI 解释神经元

近日，OpenAI 使用 GPT-4 对 GPT-2 中 307200 个神经元进行了解释。从结果来看，绝大多数的解释评分并不高，但有超过 1000 个神经元的解释得分高于 0.8。虽然从目前的结果来看，通过 GPT-4 解释 GPT-2 的效果并不完美，但这一阶段性的成果给 AI 可解释性研究提供了思路。

参考链接：https://openai.com/research/language-models-can-explain-neurons-in-language-models

类似 GPT-4，这个 LLM 有了多模态能力

近日，为了赋予 LLMs 多模态能力，来自中科院、华南理工大学未来技术学院、中国科学院大学的研究团队提出了 X-LLM——使用 X2L 接口将多模态（图像、语音、视频）转换为外语，并将其输入到开源的双语对话语言模型 ChatGLM 中。

实验表明，X-LLM 表现出了优异的多模态聊天能力，有时甚至会在未见过的图像/指令上表现出多模态 GPT-4 的行为。与 GPT-4 相比，X-LLM 在合成的多模态指令跟随数据集上取得了 84.5% 的相对得分。

参考链接：https://arxiv.org/abs/2305.04160

新型 Prompting 让大模型推理能力狂升

近日，华为联合港中文提出 Progressive-Hint Prompting（PHP），用来模拟人类做题过程。在 PHP 框架下，LLMs 能够利用前几次生成的推理答案作为之后推理的提示，逐步靠近最终的正确答案。

这种 PHP 与 LLMs 交互的新方法，具有以下优点：

1. PHP 在数学推理任务上实现了显著的性能提升，在多个推理基准测试上领先于最先进的结果；
2. 使用更强大的模型和提示，PHP 可以更好地使 LLMs 受益；
3. PHP 可以与 CoT 和 SC 轻松结合，进一步提高性能。

参考链接：https://arxiv.org/abs/2304.09797

企业动态

OpenAI 将向所有 ChatGPT Plus 用户开放网络功能和插件