首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

ML Mastery 博客文章翻译(二)20220116 更新

中将 YOLOv3 用于对象检测 如何使用 Keras 训练对象检测模型 如何使用测试时间扩充做出更好的预测 在 Keras 中将计算机视觉模型用于迁移学习 如何在卷积神经网络可视化过滤器和特征图...如何对数值输入数据执行特征选择 如何选择机器学习的特征选择方法 机器学习数据准备技术的框架 如何网格搜索数据准备技术 如何爬坡机器学习测试集 如何在 Sklearn 中保存和重用数据准备对象 如何在...Python 中转换回归的目标变量 机器学习缺失值的迭代插补 机器学习缺失值的 KNN 插补 Python 中用于降维的线性判别分析 Python 的 4 种自动异常值检测算法 类别数据的顺序编码和单热编码...如何选择性缩放机器学习的数值输入变量 Python 中用于降维的奇异值分解 如何在 Python 中使用标准缩放器和最小最大缩放器变换 机器学习缺失值的统计插补 使用 Sklearn 的表格数据测试时间增强...从零开始的简单遗传算法 Python 从零开始的模拟退火 Python 从零开始的随机爬山 随机优化算法的简单介绍 如何选择优化算法 Python 的单变量函数优化 Python 函数优化的可视化

4.4K30

Python和R中使用交叉验证方法提高模型性能

在给定的建模样本,拿出大部分样本进行建模型,留小部分样本用刚建立的模型进行预测,并求这小部分样本的预测误差,记录它们的平方和。...以下是交叉验证涉及的步骤: 保留 样本数据集 使用数据集的其余部分训练模型 使用测试(验证)集的备用样本。帮助您评估模型性能的有效性。 交叉验证的几种常用方法 有多种方法可用于执行交叉验证。...让我们看看它们: 我们利用所有数据点,因此偏差会很低 我们将交叉验证过程重复n次(其中n是数据点数),这会导致执行时间更长 由于我们针对一个数据点进行测试,因此这种方法导致测试模型有效性的较大差异。...这称为LPOCV(留出P交叉验证) k折交叉验证 通过以上两种验证方法,我们了解到: 我们应该在很大一部分数据集上训练模型。否则,我们将无法读取和识别数据的潜在趋势。...我们还研究了不同的交叉验证方法,例如验证集方法,LOOCV,k折交叉验证,分层k折等,然后介绍了每种方法在Python的实现以及在Iris数据集上执行的R实现。

1.6K10
您找到你想要的搜索结果了吗?
是的
没有找到

「数据ETL」从数据民工到数据白领蜕变之旅(七)-将Excel(PowerQuery+VBA)的能力嫁接到SSIS

在数据ETL过程,除了常规的规范工整的关系数据库之外,很大一部分数据来源于用户自行生产的Excel数据源,此部分数据最容易产生脏乱差的数据现象。...再进行数据加载过程,在模板文件实现仅对当次循环文件的数据处理加工,并将其保存后,供下游的SSIS数据流任务调用此模板文件,实现模板文件的内容上传到数据库。...dotNET与VBA在Excel对象模型上的差别 在dotNET脚本,引用Excel对象模型,理论上可以替代VBA的脚本,但本轮测试发现,在dotNET上的Excel对象模型,貌似未能有最全的开放给VBA...测试数据及其他说明 本次的测试数据,和上篇python篇一样,使用课程表数据,将其转换为标准的一维表数据再上传到数据库。...每个人使用工具的熟悉度不同,有人喜欢python的方式清洗,但使用PowerQuery来清洗,也是非常方便,大部分都是界面式操作即可完成。

4.5K20

支持 53 种语言预训练模型,斯坦福发布全新 NLP 工具包 StanfordNLP

论文地址:https://nlp.stanford.edu/pubs/qi2018universal.pdf 依存关系解析是用于语义作用标记的各种自然语言处理系统、关系提取和机器翻译的重要组成部分。...为此,研究者构建了一个 raw-textto-CoNLL-U 管道系统,该系统执行 Shared Task 所需的所有任务。...表 1:测试集上的评估结果(F1),仅适用于所有 treebank 及大型 treebank 测试集。对于所有指标上的每一组结果,研究者将其与来自参照系统的结果进行对比。...表 2:在低资源 treebank 测试集上的评估结果(F1)。 安装和使用 设置 StanfordNLP 支持 Python 3.6 及之后版本。推荐从 PyPI 安装 StanfordNLP。...StanfordNLP 还提供多语言 demo 脚本,展示了如何在非英语语言中使用 StanfordNLP,繁体中文。

88620

Python】教你一步步编写banner获取脚本

程序运行过程难免出现错误,当Python检测到错误时,解释器就无法继续执行下去,于是抛出相应的信息,这些统称为异常信息。...当脚本被其他脚本调用时,放在它后面的代码是不会执行的,只有当单独执行该脚本时,才会执行部分代码。...5、对多IP进行扫描 当前代码仅对192.168.211.168进行判断,我们可以添加for循环,对多IP进行扫描: ? 其他代码不变,部分输出结果: ?...(1)当我们运行一些软件时,sqlmap,可以向脚本传递一些参数,接下来利用optparse模块,为我们的脚本也添加此功能。 添加-f 选项,让脚本扫描指定的模块。...9、功能测试 接下来对我们的脚本进行测试: (1)不传入任何参数,运行结果: ? (2)传入错误的文件名 ? (3)-f 传入正确的文件,进行扫描 ?

1.6K30

【16】进大厂必须掌握的面试题-100个python面试

Python没有访问说明(C ++的public,private)。 在Python,函数是一流的对象。这意味着可以将它们分配给变量,从其他函数返回并传递给函数。...如何在Windows上安装Python并设置路径变量?...由于为每个被调用的对象制作了某些副本,因此深层复制会使程序的执行速度变慢。 Q50。如何在Python实现多线程?...考虑以下示例: # m.py class MyClass: def f(self): print "f()" 然后我们可以像这样运行猴子补丁测试: import m def monkey_f(self)...try-except-else的else部分何时执行? a)总是 b)发生异常时 c)没有异常发生时 d)except块中发生异常时 答案: c)没有异常发生时 else部分在没有异常发生时执行

16.2K30

如何使用Python基线预测进行时间序列预测

性能基准让您了解所有其他模型何在您的问题上实际执行。 在本教程,您将了解如何开发持久性预测,以便用Python计算时间序列数据集的性能基准级别。...如何在Python从头开发一个持久化模型。 如何评估来自持久性模型的预测,并用它来建立性能基准。 让我们开始吧。...这包括: 您打算用来训练和评估模型的数据集。 您打算用来估计技术性能的重采样技术(,训练/测试分离)。 您打算用于评估预测的性能指标(例如均方误差)。...我们将这个部分分成4个步骤: 将单变量数据集转换为监督学习问题。 建立测试设备的训练和测试数据集。 定义持久性模型。 进行预测并建立基准性能。 查看完整的示例并绘制输出。...这是非常有用的,因为这些想法可以成为特征工程工作的输入特征,或者可以在后来的合成工作组合成简单的模型。 结论 在本教程,您了解到了如何建立Python时间序列预测问题的基准性能。

8.3K100

Python模型评估与选择:面试必备知识点

本篇博客将深入浅出地梳理Python模型评估与选择面试中常见的问题、易错点及应对策略,配以代码示例,助您在面试脱颖而出。...网格搜索与超参数调优:阐述网格搜索、随机搜索等超参数优化方法,演示如何在scikit-learn实现。...规避:根据任务特点选择合适的评估指标,面对类别不平衡问题时,优先考虑精确率、召回率、F1分数或AUC-ROC曲线。...、灵活运用评估方法、有效规避常见误区,并结合代码示例展现实践能力,您将在Python模型评估与选择面试展现出专业且严谨的数据科学素养。...上述代码示例仅为部分操作,实际面试可能涉及更复杂的场景和方法,请持续丰富自己的知识库和实践经验。我正在参与2024腾讯技术创作特训营最新征文,快来和我瓜分大奖!

14010

2024年3月份最新大厂运维面试题集锦(运维15-20k)

它们允许延迟操作的执行,适用于处理大数据集或复杂计算,因为它们不需要一次性加载所有数据到内存。 48. 如何在Python实现多态?...类型注解是Python 3.5及以后版本引入的特性,允许开发者为变量、函数参数和返回值指定类型。这有助于代码的可读性和静态类型检查,但不强制执行类型。 58. 什么是Python的字典推导式?...它告诉操作系统使用哪个解释器来执行脚本。这对于确保脚本按预期方式运行很重要,即使在不同环境也能保持一致性。 62. 如何在Shell脚本声明和使用变量?...答案: 子Shell是当前Shell的一个独立副本,它继承了父Shell的环境(变量等),但任何在子Shell做出的更改(变量赋值)不会影响父Shell。...答案: Shell脚本,单引号' '用于保留字符串的所有字符的字面值,双引号" "允许引用变量,而反引号` 或$()用于执行命令并获取其输出。 81. 什么是OSI模型?它的七层分别是什么?

83610

机器学习 - 决策树:技术全解与案例实战

它们通过递归分裂训练数据集,构建一个树状的模型。 决策树模型概述 在决策树,每个内部节点代表一个特征上的测试,每个分支代表测试的结果,而每个叶节点代表最终的决策结果。...多目标决策树优化 在某些复杂的机器学习任务,我们不仅仅想要优化单一的性能指标,准确度,我们还可能关心模型的可解释性、速 度或是占用的内存大小。...应用实例:财务风险评估 在财务风险评估,我们需要一个既准确又快速的模型来实时分析交易的风险。通过多目标优化,我们可以设计出既能快速执行又有着较高准确度的决策树模型,以适应高频交易环境的需求。...) print(f'模型准确率: {accuracy:.2f}') 结果分析 这段代码会输出模型的准确率,作为评估其性能的指标。...在现实应用,我们还会关注模型的召回率、精确率和F1分数,以及通过混淆矩阵来进一步分析模型的性能。 在这个案例,决策树模型可以帮助银行预测客户是否会订阅定期存款。

1K60

Python进行多输出(多因变量)回归:集成学习梯度提升决策树GRADIENT BOOSTING,GBR回归训练和预测可视化|附代码数据

p=25939 最近我们被客户要求撰写关于多输出(多因变量)回归的研究报告,包括一些图形和统计输出。 在之前的文章,我们研究了许多使用 多输出回归分析的方法。...f = plt.figure() f.add_subplot(1,2,1) plt.title("Xs 输入数据") plt.plot(X) 接下来,我们将数据集拆分为训练和测试部分并检查数据形状。...fit(xtrain, ytrain) score(xtrain, ytrain) 预测和可视化结果  我们将使用经过训练的模型预测测试数据,并检查 y1 和 y2 输出的 MSE 率。...xax = range(len) plt.plot plt.legend 在本教程,我们简要学习了如何在 Python 训练了多输出数据集和预测的测试数据。...---- 本文摘选 《 Python进行多输出(多因变量)回归:集成学习梯度提升决策树GRADIENT BOOSTING REGRESSOR回归训练和预测可视化 》 ,点击“阅读原文”获取全文完整资料。

43000

RobotFramework接口测试方案

---主要是关键字 测试套件的公共变量 *** Variables *** ${变量名} 变量值 用例主体 *** Test Case *** 用例名 [Documentation...Python来学的话,会事半功倍 变量的种类 变量名包含变量种类标识符($, @, &, %),大括号({,})和变量名。...标量Scalar 标量是指${},这个有点像shell变量引用 赋值:${a} Set variable 5 引用就简单的${a}就可以引用 :Log ${a} DemoSuite.txt...image 对于如何进行接口测试,可以参考上面的资料,本文的下面部分开始讨论如何使用robotframework,来完成接口的功能测试,也就是图中标红色的部分 某一个接口的用例编写如下 ?...至此已经可以在pycharm编辑脚本了,但是还不能进行脚本的执行,接下来配置如何执行测试用例 点击File>点击setting>点击Tools>点击External tools,配置执行测试套件,可以执行一个测试套件内的所有

3.4K20

如何使用RTA框架测试安全团队的威胁行为检测能力

RTA提供了一套脚本框架,旨在让蓝队针对恶意行为测试其检测能力,该框架是基于MITRE ATT&CK模型设计的。...在可能的情况下,RTA 将尝试执行策略所描述的实际恶意活动。在其他情况下,RTA 将模拟所有或部分活动。例如,某些横向移动操作默认会针对本地主机(尽管参数通常允许进行多主机测试)。...在其他情况下,可执行文件( cmd.exe 或 python.exe)将被重命名,使其看起来像是 Windows 二进制文件正在执行非标准活动。...在根据测试目标运行RTA之前,请考虑如何在测试主机上配置安全产品。 自定义配置 广大研究人员可以通过修改common.py来自定义RTA脚本在我们环境的工作方式。...: python run_rta.py 除此之外,我们也可以使用循环来执行RTA: for %f in (*.py) do python %f 或 for i in (*.py); do python

22410

边缘计算笔记(二): 从tensorflow生成tensorRT引擎的方法

何在Jetson TX2上执行TensorRT图像分类模型 由于这是一个大约1个小时的视频,篇幅有限,所以我们将利用三天的时间重现整个笔记内容。 今天是第二部分 還有最後一部分,大家堅持住 ? ?...这个脚本可能不适用于所有张量流模型,但适用于那些记录的 在github项目中的模型。接下来,我们将讨论如何在jetson上使用tensorRT优化和执行tensorflow模型。...但在深入了解Forzen grah的细节以及如何创建它之前,我们将首先讨论如何在Tensorflow序列化gragh。 ?...GraphDef类完整的定义了一个神经网络的结构,但是它不包含网络变量的值。 ?...具体的某个GraphDef所定义的网络变量的值,是保存在运行的TensorFlow任务的内存的,或者保存在磁盘上的checkpoint文件里。

4K40

2个技巧,学会Pyinstaller打包的高级用法

打包初体验 我们简单试下打包python代码为exe可执行文件,测试代码如下: # 测试.py import os path = os.getcwd() print(f'当前文件路径:{path}')...) F:\PythonCool\pyinstaller>pyinstaller -F 测试.py     403 INFO: PyInstaller: 4.3 403 INFO: Python: 3.8.10...成功后会在同级目录下生成一个dist文件,里面就是一个和代码文件名同名的可执行文件: ? 双击该可执行文件,我们可以看到直接在python解释器里运行测试.py文件时一样的结果: ?...py文件的绝对路径 (base) C:\Users\Gdc>pyinstaller -F F:\PythonCool\pyinstaller\测试.py 关于成功打包的测试.exe可执行文件,我们发现其图标是默认的...如果没有指定,则默认使用当前目录来生成 spec 文件 -p 设置 Python 导入模块的路径(和设置 PYTHONPATH 环境变量的作用相似)。

5.8K30

何在机器学习竞赛更胜一筹?

我重复此过程多次,并始终检查我的模型测试集上对于我要优化的度量执行的方式。...FTRL、libfm、libffm、liblinear是python的优秀的工具矩阵(像csr矩阵)。 考虑在数据的较小部分集成(结合)模型的训练。...商业问题:如何在线推荐产品以增加购买。 将其翻译成ml问题。 在客户可能会点击/购买时尝试预测顾客会买什么并给定一些可用的数据,给定一些历史风险的建议 建立一个测试/验证框架。...数据科学家可能会专注于随着时间的推移,将业务问题翻译成ml问题,并且通常成为流程的指导者——建模过程的经理/主管一样。 23.如何在R和Python中使用整体建模来提高预测的准确性。...这可能需要一段时间,所以运行一些回归以及你正在做的任何其他建模可能会很好,并且通常会尝试提供说明图和总结信息,以便为您的模型为什么执行此操作。 29.如何在Kaggle建立合作团队?

1.8K70

60道硬核 Python 面试题,论面霸是如何炼成的

何在Python随机化列表的项目?...考虑以下示例: # m.py class MyClass: def f(self): print "f()" 然后我们可以像这样运行monkey-patch测试: import m def...解释一下Python的//,%和 ** 运算符 //运算符执行地板除法(向下取整除),它会返回整除结果的整数部分。 >>> 7//2 3 这里整除后会返回3.5。 同样地,执行取幂运算。...现在我们将这些值解封装到变量 x,y,z : >>> x,y,z=mytuple >>> x+y+z 得到结果12. 34. 解释如何在Django设置数据库。...a)它们用于表示类的私有变量 b)他们混淆了口译员 c)它们用于表示全局变量 d)他们放慢执行速度 回答:a)它们用于表示类的私有变量;由于Python没有私有变量的概念,因此前导下划线用于表示不能从类外部访问的变量

1.8K70

机器学习 - 混淆矩阵:技术与实战全方位解析

本文深入探讨了机器学习的混淆矩阵概念,包括其数学原理、Python实现,以及在实际应用的重要性。我们通过一个肺癌诊断的实例来演示如何使用混淆矩阵进行模型评估,并提出了多个独特的技术洞见。...通过本文,你将深入了解混淆矩阵的各个方面,包括其基础概念、数学解析,以及如何在Python和PyTorch环境下进行实战应用。...下一部分,我们将进入代码实战,展示如何在Python和PyTorch环境中使用混淆矩阵进行模型评估。 四、Python实现 混淆矩阵的实现并不复杂,但是用代码来实现它会让理论知识更加具体和实用。...在这一部分,我们将使用Python和PyTorch库来实现混淆矩阵,并计算一些基础的评价指标。...在下一部分,我们将通过实例来展示如何在实际项目中应用这些概念。 ---- 五、实例分析 理论和代码是用于理解混淆矩阵的重要工具,但将它们应用于实际问题是最终目标。

1.6K31

【promptulate专栏】ChatGPT框架——两行代码构建一个强大的论文总结助手

LLM 详细文档请跳转LLM promptulate的架构设计可以轻松兼容不同的大语言模型扩展,在promptulate,llm负责最基本的内容生成部分,因此为最基础的组件。...REPL: 可以执行python脚本 FileManager: 可以进行文件读写 ......在WMT 2014年英法翻译任务,我们的模型在8个GPU上训练3.5天后,实现了新的单模型最优BLEU得分41.8,训练成本仅为文献中最佳模型的一小部分。...- 尝试将Transformer应用于其他自然语言处理任务,文本分类、命名实体识别等。 - 研究如何在Transformer引入外部知识,如知识图谱等,以提高其对语义的理解和表达能力。...- 研究如何在Transformer引入对抗训练等方法,以提高其对抗攻击的鲁棒性。

28810
领券