文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

TensorFlow2.0+的API结构梳理

用来存储需要被修改、需要被持久化保存的张量，模型的参数一般都是用变量来存储的。 tf.constant：常量，定义后值和维度不可改变。 tf.sparse.SparseTensor：稀疏张量。...架构 使用tf.data加载数据，高效的数据输入管道也可以极大的减少模型训练时间，管道执行的过程包括：从硬盘中读取数据（Extract）、数据的预处理如数据清洗、格式转换（Transform）、加载到计算设备...： # 完整模型的保存和读取 model.save('my_model') model = tf.keras.models.load_model('my_model') # 模型的权重参数的保存和读取...applications: tf.keras.applications 中包含的是已经进行预训练的神经网络模型，可以直接进行预测或者迁移学习。目前该模块中包含了主流的神经网络结构。...regularizers: tf.keras.regularizers 中提供了常用的正则化方法，包括L1、L2等正则化方法。

81030
您找到你想要的搜索结果了吗？
是的
没有找到

机器学习在web攻击检测中的应用实践

恶意攻击检测系统nile架构介绍 图1： 携程nile 攻击检测系统架构第一版 首先我们简单介绍一下携程攻击检测系统nile的最初架构，如上图1所示，我们在流量进入规则引擎（这里指正则匹配引擎）之前，先用白名单过滤掉大于...图3：新架构下storm处理速度 我们先看一个机器学习的识别结果，如下图4： 图4：机器学习es记录日志 rule_result标签是正则的识别结果，由于当时我们没有添加struts2攻击的正则,但是由...特征清洗大概占我们工作量的60%以上，也是不可避免的持续优化的过程，属于体力活，无法避免。...这里再提一下，如果用第一版正则取特征的方式就必须使用特征归一化，具体原因和归一化介绍请参考http://blog.csdn.net/leiting_imecas/article/details/54986045...后面我们就需要持续的观察输出，不断的自动化补充规则，自动训练新的模型。 参考前面提到的nile框架，目前遇到的最大的问题：我们如何面对遗漏了的攻击流量，是否可接受这部分风险。

71050

干货 | 机器学习在web攻击检测中的应用实践

图1： 携程nile 攻击检测系统架构第一版 首先我们简单介绍一下携程攻击检测系统nile的最初架构，如上图1所示，我们在流量进入规则引擎（这里指正则匹配引擎）之前，先用白名单过滤掉大于97%的正常流量...图4：机器学习es记录日志 rule_result标签是正则的识别结果，由于当时我们没有添加struts2攻击的正则,但是由ES日志结果可知，机器学习引擎依然检测出了攻击。...特征清洗大概占我们工作量的60%以上，也是不可避免的持续优化的过程，属于体力活，无法避免。...这里再提一下，如果用第一版正则取特征的方式就必须使用特征归一化，具体原因和归一化介绍请参考http://blog.csdn.net/leiting_imecas/article/details/54986045...后面我们就需要持续的观察输出，不断的自动化补充规则，自动训练新的模型。 参考前面提到的nile框架，目前遇到的最大的问题：我们如何面对遗漏了的攻击流量，是否可接受这部分风险。

78950

Go 并发编程

Go语言的并发机制运用起来非常简便，在启动并发的方式上直接添加了语言级的关键字就可以实现，和其他编程语言相比更加轻量。...协程/线程 协程：独立的栈空间，共享堆空间，调度由用户自己控制，本质上有点类似于用户级线程，这些用户级线程的调度也是自己实现的。 线程：一个线程上可以跑多个协程，协程是轻量级的线程。...使用Go语言开发服务器程序时，就需要对它的并发机制有深入的了解。...我们的事务处于分布式环境上，相同的工作单元在不同的计算机上处理着被分片的数据，计算机的 CPU 从单内核（core）向多内核发展，而我们的程序都是串行的，计算机硬件的能力没有得到发挥。...我们的程序因为 IO 操作被阻塞，整个程序处于停滞状态，其他 IO 无关的任务无法执行。 从以上几个例子可以看到，串行程序在很多场景下无法满足我们的要求。

41340

机器学习在web攻击检测中的应用实践

二、恶意攻击检测系统nile架构介绍 图1： 携程nile 攻击检测系统架构第一版 首先我们简单介绍一下携程攻击检测系统nile的最初架构，如上图1所示，我们在流量进入规则引擎（这里指正则匹配引擎）...图3：新架构下storm处理速度 我们先看一个机器学习的识别结果，如下图4： 图4：机器学习es记录日志 rule_result标签是正则的识别结果，由于当时我们没有添加struts2攻击的正则,但是由...特征清洗大概占我们工作量的60%以上，也是不可避免的持续优化的过程，属于体力活，无法避免。...这里再提一下，如果用第一版正则取特征的方式就必须使用特征归一化，具体原因和归一化介绍请参考http://blog.csdn.net/leiting_imecas/article/details/54986045...后面我们就需要持续的观察输出，不断的自动化补充规则，自动训练新的模型。 参考前面提到的nile框架，目前遇到的最大的问题：我们如何面对遗漏了的攻击流量，是否可接受这部分风险。

2.1K70

干货 | 机器学习在web攻击检测中的应用实践

图1： 携程nile 攻击检测系统架构第一版 首先我们简单介绍一下携程攻击检测系统nile的最初架构，如上图1所示，我们在流量进入规则引擎（这里指正则匹配引擎）之前，先用白名单过滤掉大于97%的正常流量...图4：机器学习es记录日志 rule_result标签是正则的识别结果，由于当时我们没有添加struts2攻击的正则,但是由ES日志结果可知，机器学习引擎依然检测出了攻击。...特征清洗大概占我们工作量的60%以上，也是不可避免的持续优化的过程，属于体力活，无法避免。...这里再提一下，如果用第一版正则取特征的方式就必须使用特征归一化，具体原因和归一化介绍请参考http://blog.csdn.net/leiting_imecas/article/details/54986045...后面我们就需要持续的观察输出，不断的自动化补充规则，自动训练新的模型。 参考前面提到的nile框架，目前遇到的最大的问题：我们如何面对遗漏了的攻击流量，是否可接受这部分风险。

1.1K110

干货 | 机器学习在web攻击检测中的应用实践

图1： 携程nile 攻击检测系统架构第一版 首先我们简单介绍一下携程攻击检测系统nile的最初架构，如上图1所示，我们在流量进入规则引擎（这里指正则匹配引擎）之前，先用白名单过滤掉大于97%的正常流量...图4：机器学习es记录日志 rule_result标签是正则的识别结果，由于当时我们没有添加struts2攻击的正则,但是由ES日志结果可知，机器学习引擎依然检测出了攻击。...特征清洗大概占我们工作量的60%以上，也是不可避免的持续优化的过程，属于体力活，无法避免。...这里再提一下，如果用第一版正则取特征的方式就必须使用特征归一化，具体原因和归一化介绍请参考http://blog.csdn.net/leiting_imecas/article/details/54986045...后面我们就需要持续的观察输出，不断的自动化补充规则，自动训练新的模型。 参考前面提到的nile框架，目前遇到的最大的问题：我们如何面对遗漏了的攻击流量，是否可接受这部分风险。

79490

机器学习 学习笔记（21）深度学习中的正则化

这些策略统称为正则化。 有些策略项机器学习模型添加限制参数值得额外约束。有些策略向目标函数增加额外项来对参数值进行软约束。这些额外的约束和惩罚可以改善模型在测试集上的表现。...估计的正则化以偏差的增加换取方差的减少。 控制模型的复杂度不是找到合适规模的模型（带有正确的参数个数）这样一个简单的事情。最好的拟合模型（从最小泛化误差的意义上）是一个适当正则化的大型模型。...L2参数正则化 最简单而又最常见的参数范数惩罚是被称为权重衰减（weight decay）的 ? 参数惩罚。这个正则化策略通过向目标函数添加一个正则项 ? ，使权重更加接近远点。 ?...噪声鲁棒性 对某些模型而言，向输入添加方差极小的噪声等价于对权重施加范数惩罚。 在一般情况下，注入噪声远比简单地收缩参数强大，特别是噪声被添加到隐藏单元时会更加强大。...表示的范数惩罚正则化是通过向损失函数J添加对表示的范数惩罚来实现的。将惩罚记作 ? 。正则化后的损失函数记作： ? ? ， ? 权衡范数惩罚项的相对贡献，越大的 ? 对应越多的正则化。 对参数的 ?

1.9K20

Python进阶——如何正确使用yield？

生成器除了能保存状态之外，我们还可以通过其他方式，改变其内部的状态，这就是下面要讲的 send 和 throw 方法。...如果我们想提高程序的执行效率，通常会使用多进程、多线程的方式编写程序代码，最常用的编程模型就是「生产者-消费者」模型，即一个进程 / 线程生产数据，其他进程 / 线程消费数据。...在开发多进程、多线程程序时，为了防止共享资源被篡改，我们通常还需要加锁进行保护，这样就增加了编程的复杂度。 在 Python 中，除了使用进程和线程之外，我们还可以使用「协程」来提高代码的运行效率。...consumer 发送数据 consumer 函数被唤醒，从 j = yield i 处继续开始执行，并且接收到 producer 传来的数据赋值给 j，然后打印输出，直到再次执行到 yield 处，返回...我们使用协程编写生产者、消费者的程序时，它的好处是： 整个程序运行过程中无锁，不用考虑共享变量的保护问题，降低了编程复杂度 程序在函数之间来回切换，这个过程是用户态下进行的，不像进程 / 线程那样，会陷入到内核态

1.9K10

【综述专栏】北科大最新《分布变化下的图学习》综述，详述领域适应、非分布和持续学习进展

图持续学习，旨在使图学习模型能够在图数据分布发生变化时吸收新信息，同时精炼现有知识并应对新出现的和以前未见过的任务[45]、[46]。→ 顺序时间偏移。...我们强调了图学习在解决分布偏移方面的实际用途，涵盖了从科学发现到个性化日常生活推荐的应用。此外，我们确定了几个有希望的未来研究方向，意图激励和推动这一研究领域的进步。...持续图学习的方法可以进一步分为四个类别：架构方法、正则化方法、复习方法和混合方法。 架构方法。这些方法侧重于修改网络的特定架构、激活函数或算法层，以解决新任务并防止忘记之前的任务。 正则化方法。...这些方法通过向损失函数添加正则化项来巩固学到的知识，限制神经权重的更新方向，以免损害先前任务的性能。 复习方法。...这些方法维护一个记忆缓冲区，保存先前任务的信息，并在学习新任务时重播它以减轻灾难性遗忘。 混合方法。这些方法结合了多种持续学习方法，以利用多种方法的优势并提高模型的性能。

20310

破解 Kotlin 协程 番外篇(2) - 协程的几类常见的实现

协程的分类 协程的主流实现虽然细节上差异较大，但总体来讲仍然有章可循。 1.1 按调用栈分类 由于协程需要支持挂起、恢复，因此对于挂起点的状态保存就显得极其关键。...Kotlin 的协程是一种无栈协程的实现，它的控制流转依靠对协程体本身编译生成的状态机的状态流转来实现，变量保存也是通过闭包语法来实现的，不过 Kotlin 的协程可以在任意调用层次挂起，换句话说我们启动一个...在非对称协程的基础上，我们只需要添加一个中立的第三方作为协程调度权的分发中心，所有的协程在挂起时都将控制权转移给分发中心，分发中心根据参数来决定将调度权转移给哪个协程，例如 Lua 的第三方库 coro...实际上这两个 go routine 在切换时，很大概率不会有线程的切换，为了让示例更加能说明问题，我们为输出添加了当前的线程 id，同时将每次向 writeChannel 写入数据之后的 Sleep 操作去掉...协程描述了多个程序之间如何通过相互出让运行调度权来完成执行，基于这一对基本的控制转移操作进而衍生出各种异步模型，并发模型例如 async/await，Channel 等。

1.4K31

解读可信AI的“中国方案”：构造可信系统需要哪些支撑技术？

一方面，各种干扰手段层出不穷、持续演进，而新的攻击方法容易让旧的防御方法失效；另一方面，干扰的形式正在逐步从数字世界向物理世界蔓延，例如通过打印对抗样本等手段能够直接对自动驾驶和人脸识别系统造成物理层面的干扰...基于该思想，可以通过对数据进行下采样、顺序置换、添加噪声等方式，来防御攻击者进行隐私窃取。...处理中方法通过在人工智能模型训练过程中加入与公平性量化有关的正则项，提高训练得到的模型的公平性，例如，有工作采用Rényi相关性作为正则项，并利用最小最大优化算法来减少模型预测与敏感属性之间的任意潜在相关性...陶大程：每一种技术背后都有其优点和缺点，我们不能完全否定中心化技术，也不能完全否定去中心化技术。 这两种技术还是需要一些有效的方式进行结合，在未来使用过程中，关键是提升这些技术在实际应用中的效果。...传统模型，无论初始化如何设置，只要“操作”一致，模型会输出相同结果。而神经网络不是这样，导致我们无法理解它的学习过程和行为。

81050

深度学习与神经网络:mnist数据集实现手写数字识别

大家好,在这一篇文章中,我们将做以下的三件事: 1:介绍mnist数据集的使用 2:创建模型,并且保存模型 3:在测试集中使用保存的模型进行检测 一:介绍mnist数据集的使用 对于mnist数据集,...如图下所示: 二:创建模型,并且保存模型 在这个例子中,我们也是有三个过程,一个是前向传播,另外一个是反向传播,在反向传播中我们要用到正则化,指数衰减学习,滑动平均方法的设置,最后一个就是测试模块....接着实例化 saver 对象，其中利用 tf.initialize _all_variables().run()函数实例化所有参数模型，利用 sess.run( )函数实现模型的训练优化过程，并每间隔一定轮数保存一次模型...现在我们创建mnist_backward的py文件: 参照上述的代码文件,我们来说说如何在TensorFlow中使用正则化,指数衰减率和滑动平均. ①:正则化 在上文中提到过,我们在forward.py...中设置了正则化,这表明在反向传播中我们\优化模型参数是,需要在损失函数中加入正则化: 结构如下: 首先在forward.py中提前声明: if regularizer !

1.4K110

深度学习与神经网络:mnist数据集实现手写数字识别

大家好,在这一篇文章中,我们将做以下的三件事: 1:介绍mnist数据集的使用 2:创建模型,并且保存模型 3:在测试集中使用保存的模型进行检测 一:介绍mnist数据集的使用 对于mnist数据集,具体的一些介绍我这里就不搬运过来了...二:创建模型,并且保存模型 在这个例子中,我们也是有三个过程,一个是前向传播,另外一个是反向传播,在反向传播中我们要用到正则化,指数衰减学习,滑动平均方法的设置,最后一个就是测试模块. ①:前向传播 关于前向传播的理论知识...forward；loss 表示定义的损失函数，一般为预测值与样 本标签的交叉熵（或均方误差）与正则化损失之和；train_step 表示利用优化算 法对模型参数进行优化 常 用 优 化 算 法 GradientDescentOptimizer...接着实例化 saver 对象，其中利用 tf.initialize _all_variables().run()函数实例化所有参数模型，利用 sess.run( )函数实现模型的训练优化过程，并每间隔一定轮数保存一次模型...参照上述的代码文件,我们来说说如何在TensorFlow中使用正则化,指数衰减率和滑动平均. ①:正则化 在上文中提到过,我们在forward.py中设置了正则化,这表明在反向传播中我们\优化模型参数是

1.6K40

【Unity面试篇】Unity 面试题总结甄选 ｜Unity进阶篇 | ❤️持续更新❤️

写出 Animation 的五个方法 AddClip 将 clip 添加到名称为 newName 的动画中。...从程序的角度讲，协程的核心就是迭代器。 想要定义一个协程方法有两个因素，第一：方法的返回值为 IEnumerator 。第二，方法中有 yield关键字。...stopAllCoroutine() ：作用是停止所有该脚本中启动的协程。 作用：一个协同程序在执行过程中,可以在任意位置使 用yield语句。yield的返回值控制何时恢复协同程序向 下执行。...更多协程内容：Unity零基础到入门 ☀️| 小万字教程 对 Unity 中的 协程 ❤️全面解析+实战演练❤️ ---- 数据持久化 & 资源管理 1. unity常用资源路径有哪些 //获取的目录路径最后不包含...PlayerPrefs类是一个本地持久化保存与读取数据的类 PlayerPrefs类支持3中数据类型的保存和读取，浮点型，整形，和字符串型。

1.5K21

干货 | DevSecOps在携程的最佳实践

而在CI／CD模型下，每天都有几千次的发布，持续集成、持续部署，如何避免持续引入漏洞，仅仅靠人力是无法解决的。 另一个很重要的问题是如何培养安全意识——避免两次踩进同一个坑。...安全BP作为安全部门与业务研发部门之间沟通的桥梁，也向安全部反馈了项目落地中遇到的问题以及BU的诉求。...威胁建模里的标签和场景都是可以复用的模型，以这样的方式，我们可以建立几十种常见业务场景的威胁模型，从而实现威胁建模的自动化。...在携程，SAST有两套不同的代码扫描引擎，一个是基于文本扫描的正则规则扫描，一个是基于构建的数据流、控制流扫描。...2.6 漏洞管理 作为DevSecOps流程中重要的一环，漏洞管理平台是不可或缺的一部分，携程内部使用的自研漏洞平台实现了从漏洞发现、修复，到复盘的整个流程跟踪。

2.4K2219

干货 | 携程个性化推荐算法实践

工业界的推荐方法经历从线性模型＋大量人工特征工程[11] -> 复杂非线性模型-> 深度学习的发展。...携程个性化团队在深度学习与推荐系统结合的领域进行了相关的研究与应用，通过改进现有的深度模型，提出了一种深度模型aSDAE。...在构建携程个性化推荐系统的实践过程中，对于推荐排序这个特定问题有一些自己的思考和总结，并将从特征和模型这两方面展开。...在实践中选用以LR为主的模型，通过对数据离散化、分布转换等非线性处理后使用LR。一般的，采用L1正则保证模型权重的稀疏性。...离散特征经过OHE后，每个分类型变量的各个值在模型中都可以看作独立变量，增强拟合能力。一般的，当模型加正则化的情况下约束模型自由度，我们认为OHE更好。

2.2K50

从0到1：神经网络实现图像识别（中）

过拟合与正则化 在训练数据集上，训练迭代次数不足，模型没有学到训练样本的一般特征，称为欠拟合(under-fitting)； 反之，有大量参数的复杂模型，经过多轮训练，会将训练数据中，不具一般性的噪声，...你可以进一步了解正则化处理，也可以跳到”隐藏层“部分继续阅读，不影响正则化方法的使用。...L2正则化后的模型，倾向于均衡评估输入样本点上全部各个维度的特征，而不是少数大分量值特征对分类结果的影响，来提高模型在测试数据集上的泛化（generalization）能力，缓解过拟合风险。...所以实践中通常只对权值参数 w 做正则化处理。 隐藏层（Hidden Layer） 感知机线性模型能很好的处理上述线性可分样本点的类别划分，却无法处理如下异或类场景的分类问题： ： ?...实现-加入隐藏层 上述算法的python实现，不借助计算框架，在上一次全连接神经网络的基本结构上，增加了正则化处理，缓解过拟合问题，并添加了一个隐藏层和非线性激活函数，使模型能处理异或场景和非线性可分特征

88640

AI Pioneer | 一知智能李一夫：完美的智能语音客服有多难？

如果运用正则表达式，所需时间是很短的，仅仅需要10ms左右。如果运用深度学习模型，则需要100-300ms之间。...解码器实际上是⼯程化的内容，将声学模型和语⾔模型组合成WFST⽹络去搜索最优路径，得到答案。 5.jpg 这张图是语⾳识别的发展史。...而针对呼⼊场景，或者复杂类的外呼业务，基于关键词的NLP模式已无法有效支持。⼀⽅⾯关键词、正则表达式容易打架，另⼀⽅⾯结构本身有缺陷，上下⽂全靠穷举配置。...其实在复杂客服场景下，保证NLP的易⽤性和可控性还是核⼼原则，在NLP优化上也有三个⽅向，⼀是提升准确率，⼆是提⾼泛化度，降低数据标注成本，三是纠偏ASR错误。...在客服场景下，未来TTS的发展主要有三个⽅向： 图12-客服场景的TTS发展方向 第⼀，依托端到端的⼯程化解决，实现提速，在商业领域有更大的落地空间。

2.1K01
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券