腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

机器之心

专栏作者

8931

文章

6258582

阅读量

277

订阅数

模型被投毒攻击，如今有了新的安全手段，还被AI顶刊接收

区块链安全客户端模型数据

现今，机器学习（ML），更具体地说，深度学习已经改变了从金融到医疗等广泛的行业。在当前的 ML 范式中，训练数据首先被收集和策划，然后通过最小化训练数据上的某些损失标准来优化 ML 模型。学习环境中的一个共同基本假设是训练数据可以立即访问或轻松地跨计算节点分发，即数据是「集中式」的。

2024-04-19

110

看视频、画CAD、运动想像识别！75B的多模态工业大模型太能干了

安全 cad 模型设计视频

当 Sora 和 Suno 所创造的视频和音乐作品在全球范围内引起视听革命时，工业领域的大规模多模态应用又将如何演进？3 月 27 日，作为中国领先的「AI+制造」解决方案提供商，创新奇智揭开了他们的前瞻性答案。

2024-04-12

1370

Hinton、Bengio等联合中国专家达成AI安全共识：AI系统不应违反红线

开发模型系统人工智能安全

现阶段，人工智能的发展速度已经超出了人们最初的预想，用 AI 工具写文章、编代码、生成图片、甚至是生成一段电影级别的视频…… 这些在以前看似非常艰难的任务，现在只需用户输入一句提示就可以了。

2024-03-19

510

AI图片橡皮擦来了，清华&阿里合作推出「概念半透膜」模型，还能改头换面

设计安全迁移论文模型

第一步在常见 AI 作图模型输入「一只胖胖的像面包的橘猫」，画出一只长得很像面包的猫猫，然后用概念半透膜 SPM 技术，将猫猫这个概念擦掉，结果它就失去梦想变成了一只面包。上图 1 是更多的猫猫图失去猫这个概念后的结果。

2024-03-18

750

十年内出现AGI？下一代Gemini能感知环境？DeepMind CEO哈萨比斯畅谈AI

数据搜索系统安全模型

「如果我们在未来十年内拥有类似 AGI 的系统，我不会感到惊讶。」Google DeepMind 联合创始人和 CEO Demis Hassabis 近日在人工智能播客节目 Dwarkesh Podcast 上如是说。

2024-03-07

850

白宫发文，呼吁开发者放弃C、C++：Rust被「钦点」内存安全

内存 c++安全 rust 开发者

近日，在一份 19 页的报告《回归基础构件：通往安全软件之路》中，白宫国家网络主任办公室（ONCD）呼吁开发者使用「内存安全的编程语言」，比如 Rust 语言。报告指出，从一开始就选择内存安全的编程语言，是以安全设计方式开发软件的重要途径。

2024-03-07

1360

能力与可信度可以兼得？GPT-4、Gemini等多模态大模型评测报告来了

模型视频开源安全 gpt

2023 年我们正见证着多模态大模型的跨越式发展，多模态大语言模型（MLLM）已经在文本、代码、图像、视频等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。以 Llama 2，Mixtral 为代表的大语言模型（LLM），以 GPT-4、Gemini、LLaVA 为代表的多模态大语言模型跨越式发展。然而，它们的能力缺乏细致且偏应用级的评测，可信度和因果推理能力的对比也尚存空白。

2024-03-07

1510

OpenAI赋予ChatGPT记忆功能，由你掌控

安全 chatgpt openai 模型性能

很快你就能告诉 ChatGPT 忘记一些事情，或者在以后的对话中要求它记住特定的事情。

2024-02-26

1220

大语言模型的可信之路：TrustLLM全面揭秘

开源安全模型数据隐私

大型语言模型（LLMs）在 NLP 方面的卓越能力已引起广泛关注，影响了我们生活各个方面的应用。LLMs 的出色能力归因于多个因素，例如使用来自 Web 的大规模原始文本作为训练数据，使用具有大量参数的 transformer 架构设计，以及先进的模型训练方案等。

2024-02-26

1620

CMU&ETH实现突破：机器狗点满敏捷值天赋，超高速穿越障碍，速度与安全兼备！

搜索安全机器人测试敏捷

在高速机器人运动领域，实现同时兼顾速度和安全一直是一大挑战。但现在，卡内基梅隆大学（CMU）和苏黎世联邦理工学院（ETH）的研究团队带来了突破性进展。他们开发的新型四足机器人算法，不仅能在复杂环境中高速行进，还能巧妙避开障碍，真正做到了「敏捷而安全」。

2024-02-06

1240

马斯克：Neuralink首次将芯片植入人体，产品已在路上

安全测试产品芯片医疗

根据他在推特上的说法，Neuralink 已在上周日首次将脑机接口设备植入了一个人体，患者「恢复良好」。

2024-02-06

1100

扎克伯格宣战AGI：Llama 3训练中，今年要囤35万块H100，砸近百亿美元

人工智能开源安全 meta 模型

为了通用人工智能（AGI）的宏大目标，扎克伯格正在给 Meta 的 AI 研究部门进行大幅度的改组。

2024-01-23

1240

谷歌DeepMind最先进Imagen 2发布：这些AI图片你能辨别吗？

安全开发模型设计数据

先是前几天祭出大杀器 Gemini，发布会上的一系列 Demo 展示让人眼花缭乱。短短一周时间，现在谷歌又宣布了几个好消息：Gemini Pro 的第一个版本现在可以通过 Gemini API 访问；发布 Imagen 2；推出一系列针对医疗行业进行微调的模型 MedLM。

2023-12-14

1780

驶向未来，首个多视图预测+规划自动驾驶世界模型来了

自动驾驶安全模型视频系统

近期，世界模型的概念引发了火热浪潮，而自动驾驶领域岂能隔岸观「火」。来自中科院自动化所的团队，首次提出了一种名为 Drive-WM 的全新多视图世界模型，旨在增强端到端自动驾驶规划的安全性。

2023-12-05

1690

用深度催眠诱导LLM「越狱」，香港浸会大学初探可信大语言模型

安全工作模型设计 LLM

尽管大语言模型 LLM (Large Language Model) 在各种应用中取得了巨大成功，但它也容易受到一些 Prompt 的诱导，从而越过模型内置的安全防护提供一些危险 / 违法内容，即 Jailbreak。深入理解这类 Jailbreak 的原理，加强相关研究，可反向促进人们对大模型安全性防护的重视，完善大模型的防御机制。

2023-11-22

6470

OpenAI安全系统负责人长文梳理：大模型的对抗攻击与防御

安全 openai 模型数据系统

随着 ChatGPT 的发布，大型语言模型应用正在加速大范围铺开。OpenAI 的安全系统团队已经投入了大量资源，研究如何在对齐过程中为模型构建默认的安全行为。但是，对抗攻击或 prompt 越狱依然有可能让模型输出我们不期望看到的内容。

2023-11-22

2110

LeCun、吴恩达等370多人签联名信：严格控制AI是危险的，开放才是解药

人工智能安全管理模型系统

比如图灵奖三巨头 Geoffrey Hinton、Yoshua Bengio、Yann LeCun 就出现了两种观点。Hinton、Bengio 为一队，他们强烈呼吁加强对 AI 的监管，否则可能引发「AI 灭绝人类」的风险。LeCun 与他们的观点并不相同，他认为 AI 强监管必将带来巨头垄断，结果是只有少数公司控制 AI 的研发。

2023-11-07

1550

四万字详解AI对齐：北大联合多高校团队发布对齐全面性综述

网站安全模型数据系统

著名科幻小说家，菲利普・迪克在短篇小说《第二代》当中，描述了一个人类失去对 AI 系统控制的战争故事。

2023-11-02

2680

清华团队攻破GPT-4V、谷歌Bard等模型，商用多模态大模型也脆弱？

安全 gpt 模型数据优化

GPT-4 近日开放了视觉模态（GPT-4V）。以 GPT-4V、谷歌 Bard 为代表的多模态大语言模型 (Multimodal Large Language Models, MLLMs) 将文本和视觉等模态相结合，在图像描述、视觉推理等各种多模态任务中展现出了优异的性能。然而，视觉模型长久以来存在对抗鲁棒性差的问题，而引入视觉模态的 MLLMs 在实际应用中仍然存在这一安全风险。最近一些针对开源 MLLMs 的研究已经证明了该漏洞的存在，但更具挑战性的非开源商用 MLLMs 的对抗鲁棒性还少有人探索。

2023-10-24

3980

AI将玩转3A大作，OpenAI将被调查？2023 AI全景报告给出十大预测

人工智能安全 openai 模型数据

State of Report 至今已是第六个年头，成为了人工智能领域的风向标，它由业界和研究领域的领先人工智能从业者撰写，除了总结过去，也会对未来发展进行很多预测。

2023-10-24

2290

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态