展开

关键词

OpenAI:通过人工智能之间辩论实现安全人工智能系统

AiTechYun 编辑:chux 我们(OpenAI)提出了一种人工智能安全技术,它可以训练智能体相互辩论话题,用人做法官来判断谁赢了。 这种辩论方法可视化为一个游戏树,类似于围棋这样游戏,只是针对对象变成了在叶节点上辩手举措和人类判断之间句子。在辩论和围棋中,真解取决于整个树,但是强大智能体选择单一路径是整体证明。 比如,具有非常大、无法可视化观察空间环境 – 在计算机安全相关环境中运行智能体程序,或者协调大量工业机器人智能体程序。 我们怎样才能增强人类能力,使他们能够有效地监督先进AI系统? 法官目标是猜测图像内容,但它只能看到由辩手挑选出像素。辩手们看到完整图像,并进行比赛,他们轮流向法官展示单个像素。在这里完整图像是超越人类尺度信息替代品。 这些问题大多是我们希望调查实证问题。 如果辩论或类似的方法奏效,它会通过将人工智能与人类目标和价值观保持一致办法,让未来的人工智能系统更安全,即使这个人工智能强大到无法直接进行人类监督。

21320

人工智能安全标准现状与思考

人工智能安全标准现状 人工智能安全标准,是与人工智能安全、伦理、隐私保护等相关标准规范。从广义来说,人工智能安全标准涉及人工智能本身、平台、技术、产品和应用相关安全标准。 人工智能安全支撑标准 由于人工智能通常以大数据为基础,并且会面临大量隐私保护需求,因此大数据安全、隐私保护方面的标准可作为人工智能安全标准重要支撑。 人工智能安全标准化工作建议 当前,人工智能技术和产业正在蓬勃发展,国内在人工智能网络安全应用、智慧城市安全、生物特征识别安全、汽车电子安全等方面已有初步产业实践。 同时,人工智能可能面临国家安全、社会安全、人身安全、网络安全、数据安全风险及法律伦理方面的挑战。因此,需要加强人工智能安全标准化工作,为我国人工智能产业健康发展保驾护航。 建议加强人工智能基础安全标准研究,根据《新一代人工智能发展规划》对人工智能安全提出监测预警、风险评估、安全问责、研发设计人员安全准则等要求,针对人工智能安全参考架构、安全风险、伦理设计、安全评估等方面开展标准研究

97350
  • 广告
    关闭

    腾讯云校园大使火热招募中!

    开学季邀新,赢腾讯内推实习机会

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    机器学习、人工智能与网络安全未来

    机器学习(ML)和人工智能(AI) 与大多数人想象不太一样 既不像《星球大战》中 憨态可掬R2-D2 ? 相较于更加基础自动化前辈 学习能力给了安全AI与ML应用 无与伦比速度和准确性 但它们尚未达到安全万灵丹程度 但AI和ML真不太可能 至少不远将来都不太可能 成为所谓“自愈网络” ? 这样才能更好地制定新策略、程序、过程和应对措施,保证自家企业安全并发挥出AI和ML投资最大效益。 网络安全就业前景 ? 没有企业会真的想要放弃人类对其安全系统控制,事实上,大多数公司需要更多安全专家和数据科学家来操作或“训练”这些软件。 为什么呢? 长远看,用AI和ML对抗网络安全威胁能带来网络安全人员与数据科学家之间更紧密合作。网络安全团队招募数据科学家,或者公司企业开始招聘具备特定数据科学技能网络安全专家,并非难以实现。

    25310

    专家谈人工智能可能带来安全威胁

    英国网络安全公司Darktrace技术总监Dave Palmer在接受“Business Insider”杂志采访时谈到了人工智能可能带来安全威胁,包括: 1 智能病毒可通过工业设备进行勒索 目前一些地方出现了勒索软件 人工智能勒索软件会大大增加这些攻击带来风险——通过自组织使损失最大化并寻求新更有利可图目标。 2 恶意软件将学习如何模仿人行为 人工智能软件已经实现了利用循环神经网络学习模仿人写作风格,未来恶意软件能够查看某人通信内容并学习此人交流风格,然后通过模仿此人去感染其他目标。 4 人工智能革命阴暗面 目前是人工智能技术革命早期阶段,涵盖了无人驾驶汽车、癌症治疗等各个领域,而目前人工智能发展并不深入,随着这些技术变得更加先进、更加容易获取,难免会有人将之用于作恶。 Palmer表示,只需要经过一年左右训练,一项人工智能就可以被用于网络攻击,而参考谷歌DeepMind团队在自然语言方面的进展速度,以上情况在未来几年内将成为现实。

    54460

    机器学习、人工智能与网络安全未来

    机器学习(ML)和人工智能(AI)与大多数人想象不太一样,既不像《星球大战》中憨态可掬R2-D2,也不像蠢萌机器人瓦力,今天机器人、复杂算法和超大型计算可从旧有经验中学习,影响未来输出。 相较于更加基础自动化前辈,学习能力给了安全AI与ML应用无与伦比速度和准确性。但它们尚未达到安全万灵丹程度。但AI和ML真不太可能,至少不远将来都不太可能,成为所谓“自愈网络”。 网络安全就业前景 IT界刚开始谈论AI和ML时,有一种根植于人们思想中顾虑:机器人会夺走属于人类工作。网络安全行业中,这纯粹是杞人忧天。 没有企业会真的想要放弃人类对其安全系统控制,事实上,大多数公司需要更多安全专家和数据科学家来操作或“训练”这些软件。 为什么呢? 长远看,用AI和ML对抗网络安全威胁能带来网络安全人员与数据科学家之间更紧密合作。网络安全团队招募数据科学家,或者公司企业开始招聘具备特定数据科学技能网络安全专家,并非难以实现。

    42210

    人工智能正在变革网络安全

    美国风险投资数据公司CB Insights发布消息,称人工智能技术正在给网络安全带来变革。 2016年,网络安全公司业务量达到了历史最高值。 2017年第一季度是过去五年中私人网络安全公司业务最活跃一个季度。随着投资活动不断增多,已经出现了几个网络安全公司,利用人工智能(AI)技术对传统网络威胁提供新解决方案。 根据CB Insights公司人工智能交易追踪器(AI Deals Tracker)数据,在部署了AI技术公司业务中,网络安全是处于第四位产业。 在网络安全中,人工智能可以用于实时监控系统和网络上活动、从内部和外部数据流中识别出模式和异常、加快检测速度、释放资源、实施更快速补救,并为提高网络恢复能力提供持续帮助。 然而,值得注意是,对网络安全来说,人工智能并不一定是灵丹妙药。例如,不需要下载任何软件非恶意攻击与合法云服务中伪装恶意活动在正在不断增加,而AI还没有能力阻止这些类型网络攻击。

    562140

    人工智能安全标准现状与思考

    人工智能安全标准现状 人工智能安全标准,是与人工智能安全、伦理、隐私保护等相关标准规范。从广义来说,人工智能安全标准涉及人工智能本身、平台、技术、产品和应用相关安全标准。 人工智能安全支撑标准 由于人工智能通常以大数据为基础,并且会面临大量隐私保护需求,因此大数据安全、隐私保护方面的标准可作为人工智能安全标准重要支撑。 人工智能安全标准化工作建议 当前,人工智能技术和产业正在蓬勃发展,国内在人工智能网络安全应用、智慧城市安全、生物特征识别安全、汽车电子安全等方面已有初步产业实践。 同时,人工智能可能面临国家安全、社会安全、人身安全、网络安全、数据安全风险及法律伦理方面的挑战。因此,需要加强人工智能安全标准化工作,为我国人工智能产业健康发展保驾护航。 建议加强人工智能基础安全标准研究,根据《新一代人工智能发展规划》对人工智能安全提出监测预警、风险评估、安全问责、研发设计人员安全准则等要求,针对人工智能安全参考架构、安全风险、伦理设计、安全评估等方面开展标准研究

    1.5K80

    人工智能发展中信息安全与监管

    其次,人工智能设备和系统对数据深度处理和全球化传递,产生了新安全问题。 人工智能发展和应用有赖于数据采集和处理,换言之,大数据处理必然是通过智能设备来完成,数据安全问题与人工智能安全问题是互为表里,要通过人工智能设备制造商、服务商规制来保障。 可见,对人工智能信息安全监管,既需要广泛国际合作,也存在深刻国际竞争。至于如何协调监管,则是一种新安全挑战问题。 再次,人工智能潜在算法歧视和安全问题,需要公共部门监管来克服。 对于信息安全保密相关部门来说,人工智能发展必将挑战传统管理方式和制度。 所以,《新一代人工智能发展规划》要求,“在大力发展人工智能同时,必须高度重视可能带来安全风险挑战,加强前瞻预防与约束引导,最大限度降低风险,确保人工智能安全、可靠、可控发展”,并提出到2025年,“

    49860

    人工智能安全:通过定量镜头场状态(Computers and Society)

    在过去十年里,人工智能性能有了很大提高,并得到了广泛应用。这种大规模采用不可预见影响,让人工智能安全概念进入了公众视野。 人工智能安全是一个相对较新研究领域,研究重点是构建对人类有益的人工智能技术。虽然有人工智能安全领域调查论文,但缺乏对正在进行研究定量研究。 此外,该领域是如此新,大多数技术问题是开放,包括:可解释性与它长期效用,以及价值取向,我们已经确定为最重要长期研究课题。同样,关于人工智能具体政策也严重缺乏研究。 正如我们期待人工智能成为社会变革主要驱动力之一,人工智能安全是我们需要决定人类未来方向领域。 原文作者:Mislav Juric, Agneza Sandic, Mario Brcic 原文链接:https://arxiv.org/abs/2002.05671 人工智能安全通过定量镜头场状态

    26820

    安全人工智能系统社会和环境证书(CS AI)

    在一个越来越多地由AI应用程序主导世界中,需要大量计算并需要大量数据用于训练和预测,耗电大算法碳足迹和社会足迹尚待研究。 这些做法虽然短期内有利可图,但从数据使用和能源使用角度来看,它们都是不可持续,并且在社会上具有启发性。这项工作提出了一个受ESG启发框架,该框架结合了社会技术措施来构建对生态负责AI系统。 该框架具有四个支柱:高效计算机器学习,联合学习,数据主权和LEEDEsque证书。 计算有效机器学习是使用压缩网络体系结构,该体系结构准确性略有下降。 联合学习通过使用在设备空闲容量上分配计算负载技术来增强第一支柱影响。这与数据主权第三个支柱配对,以通过基于使用隐私和差异隐私之类技术确保用户数据隐私。 最后一个支柱将所有这些因素联系在一起,并以标准化方式对产品和服务环境和社会影响进行认证,从而使消费者能够根据其价值来调整他们购买。

    25120

    人工智能在网络安全领域应用与提高

    网络安全领域中加密流量检测是一个老生常谈的话题,随着人工智能发展,给同样问题,带来了不同解决思路。 近年来,越来越多研究着,尝试着将AI应用到已有的网络安全领域中。 从早先一些不靠谱文章人工智能网络安全?请再认真点!,到如今一些是实实在在实验成果。可以看到,科学的确在进步。AI在网络安全领域中应用,也的确越来越多。 当然了,如果直接这么用就是确定模型了,根本不需要人工智能啊!其实也是这样。 自己把最有用信息去掉,然后通过细微特征来进行观察,并对其分类,这有种给自己出难题感觉。 因为在作者所提供那个场景里, 所涉及到80%或90%流量,都是使用这种确定性DPI模型来识别出来。现在又在识别出来结果之上,使用人工智能再去尝试识别一下,有点多此一举。 因为对于加密出来数据,还有可能会出现各种不同图。 而单纯对于文章中这个特定场景,本质上直接用多项式算法是完全可以描述。实际上不应该用人工智能。 2.5 安全领域AI到底要怎么用?

    74420

    人工智能网络安全?请再认真点!

    因为早在09年我就开始从事类似流量监测引擎相关工作,而且在那个时候,市面上就已经有同类产品了,很好奇网络安全产业界十年后做到了什么水准。 打开文章迎面而来是一堆用来浪费读者时间文字,介绍了加密流量趋势和作用。同时还放了一幅红红大图,图上面一把大锁十分醒目,“要加密就买锁,安全可靠还防撬!”。 看在是安全牛专业推荐,耐着心思继续看下去。 ? 图1 文章开篇 接下来请出Gartner大神来捧场,讲述未来加密市场美好故事……。 ? 一直没找到人工智能是怎么跟恶意加密流量对抗。直到看到最后一段。终于看到“人工智能”这四个字了! ? 图5 人工智能与恶意加密流量对抗 看过这段文字之后,终于明白了标题二所要表述内容。 图6 人工智能可以与恶意加密流量对抗 这是一段即没有量化,又没有逻辑废话。“人工智能算法赋予机器以专家智慧”这是要换头吗?

    42610

    Wiztalk | 佘堃 Part 3《人工智能安全问题—AI安全问题及解决方案》

    人工智能安全问题 Part 3 AI安全问题及解决方案 分享专家: 电子科技大学 佘堃教授 内容简介: 人工智能客观上导致了一系列可能存在安全问题,面对这些问题我们又能有什么样解决方案呢? 本期佘堃教授将为我们讲述AI所存在安全问题以及可能解决办法。 内容难度:★★☆(计算机专业或有一定计算机知识储备大学生) ? 点击下方程序小卡片 也可点击“阅读原文”或打开“哔哩哔哩” 搜索关注“Wiztalk”, 一起开启科普知识分享“新视界”~ ---- — 关于Wiztalk — Wiztalk是腾讯高校合作团队打造一个短视频知识分享系列 ,每集10分钟左右,致力于跟随科技发展以及时代步伐,使用更为科普化方式传播最新、最热门、最通用知识。

    19010

    人工智能战略中信息安全——美国、英国人工智能发展战略简析

    如果说今天的人工智能是互联网,乃至整个信息技术领域皇冠,那么安全无疑是皇冠基座。就像任何新技术一样,人工智能安全与否很大程度上影响着其未来发展和应用。符合什么标准的人工智能才算是安全? 或者人工智能安全主要包括哪些方面?本文拟通过对美国和英国人工智能发展战略简要分析,介绍当下人工智能安全问题几个主要维度。 美、英两国人工智能发展战略中信息安全 美、英两国几份人工智能战略对信息安全均有涉及,虽具体表述不同,但大体逻辑基本一致,主要包括以下几个方面。 1. 透明和可信 美、英两国人工智能战略均将透明作为人工智能安全和可控首要指标。人工智能透明性可以理解为人工智能行为可解释性。 安全防护和长期优化 《美国国家人工智能研究和发展战略计划》强调了传统网络安全人工智能环境中可能带来挑战。认为嵌入关键系统中的人工智能系统必须耐用、安全,以应付大范围蓄意网络攻击。

    43490

    Wiztalk | 佘堃 Part 2《人工智能安全问题—AI威胁》

    人工智能安全问题 Part 2 AI威胁 分享专家: 电子科技大学 佘堃教授 内容简介: 人工智能对我们生活帮助有目共睹,但科技往往是把双刃剑,其背后所存在安全问题我们也不容忽视。 本期佘堃教授将为我们讲述生活中AI所可能带来威胁。 内容难度:★★☆(计算机专业或有一定计算机知识储备大学生) ? 点击下方程序小卡片 也可点击“阅读原文”或打开“哔哩哔哩” 搜索关注“Wiztalk”, 一起开启科普知识分享“新视界”~ ---- — 关于Wiztalk — Wiztalk是腾讯高校合作团队打造一个短视频知识分享系列 ,每集10分钟左右,致力于跟随科技发展以及时代步伐,使用更为科普化方式传播最新、最热门、最通用知识。

    17240

    特别企划 | 10大人工智能技术“加持”安全公司

    人工智能逐渐走入各行各业,网络安全领域自然不甘下风,使用人工智能技术,新漏洞可以很轻松地被识别和分析出来,并阻止进一步攻击。 人工智能技术已然在安全领域占据重要位置 SparkCognition,据说是第一家利用人工智能技术来感知病毒公司,他们感知系统称为 DeepArmour。 随着网络安全攻防技术升级,世界范围内越来越多安全公司开始将人工智能,机器学习,自然语言处理运用到安全产品中,加强自己安全防御能力。 Darktrace ? 人工智能解决方案虽然强大但并不完美 ? 解放人力,减少误差 企业每天都会面临成千上万安全威胁,安全研究人员不可能对每一个都进行分析和归类,很明显,这样工作可以通过人工智能技术来高效完成。 尽管将人工智能技术引入安全领域初衷是为了解放人力,加强风险预判和决策能力,但与此同时,人工智能技术最大问题还是其不可预测性。

    35960

    人工智能安全:是营销炒作还是全新机会

    在今天,企业安全和风险负责人需要判断在研发、运维以及应用程序安全测试中使用人工智能或机器学习是否具有实际价值。 他们必须能够意识到应用人工智能和机器学习意味着需要相应大量数据和人才,必须能够预估人工智能安全实施速度、准确性和其他潜在现实问题。 夸张营销使人工智能看起来很像一项伟大新技术。面对复杂数据分析,数据安全性需求不断增长,安全领域被誉为AI技术应用完美领域。 在购买人工智能安全产品前,请使用自己已有的数据和基础设施运行测试,或建立一个POC系统用于“快速试错”,从而确定人工智能安全产品影响范围。 ▌人工智能概念概述 “人工智能”有许多方法,每种技术在应用安全领域都具有一定优势。 “人工智能”是一个被销售滥用误导性标签,不存在一种通用的人工智能可以像人类一样思考或适用于各种各样任务。

    34050

    扫码关注腾讯云开发者

    领取腾讯云代金券