问题分解为小问题后容易解决 问题可以分解为小问题，即最优子结构 分解后的小问题解可以合并为原问题的解 小问题之间互相独立
1.概念： 将一个难以直接解决的大问题，分割成一些规模较小的相同问题，以便各个击破，分而治之。
最近在刷算法题目，突然重新思考一下大二时学习的算法分析与设计课程，发现当时没有学习明白，只是记住了几个特定的几个题型；现在重新回归的时候，上升到了方法学上了；感觉到了温故知新的感觉；以下总结自童咏昕老师的算法设计与分析课程和韩军老师的算法分析与设计课程；当我们遇到一个问题的时候，我们先想出一个简单的方法，可以之后再在这个方法的基础上进行优化；
1.把一个复杂的问题分成两个或更多的相同或相似的子问题，再把子问题分成更小的子问题……直到最后子问题可以简单的直接求解，原问题的解即子问题的解的合并。
分治法的基本思想： 将一个规模为 n 的问题分解为 k 各规模较小的子问题， 这些子问题互相独立且与原问题是同类型问题。 递归地解这些子问题， 然后把各个子问题的解合并得到原问题的解。 分治法所能解决的问题一般具有的几个特征是： 该问题规模缩小到一定程度就可以容易地解决； 该问题可以分解为若干个规模较小的同类型问题； 利用该问题分解出的子问题的解可以合并为该问题的解； 原问题分解出的各个子问题是相互独立的， 即子问题之间不包含公共的子问题。 分治法可以解决的具体问题：矩阵连乘、大数乘法、二分法搜索、快速排序
上面是该系列（数据结构与算法基础）的目录结构，包含了常见的数据结构和算法，下面介绍三大算法（分治算法，动态规划，贪心算法）的核心思想及使用场景。
排序算法是一类用于对一组数据元素进行排序的算法。根据不同的排序方式和时间复杂度，有多种排序算法。常见的排序算法包括冒泡排序、选择排序、插入排序、快速排序、归并排序等。
Chapter 2.8 Hybrid Algorithm: Neuroevolution
基本思想： 根据提出的问题枚举所有可能状态，并用问题给定的条件检验哪些是需要的，哪些是不需要的，能使命题成立即为其解。
为了证明这个结论，我们可以使用霍夫曼编码（Huffman Coding）作为示例，它是一种广泛使用的最优前缀编码方法。霍夫曼编码满足题目中的要求：如果我们将字母表中字符按频率单调递减排序，那么其码字长度是单调递增的。
Google搜索的结果，新浪微博向你展示的话题，淘票票向你推荐的电影，都说明了算法无处不在。而编程从本质上来说就是算法加数据结构 ，算法是编程思想的核心部分，对于一名基础软件工程师而言，常见的一些算法也是必须重点掌握的内容。而常见的算法以及其应用场景有哪些呢？
上文中我们了解了一下XGBoost的原理，本文再来了解一下GBDT的另一个进化算法LightGBM，从原理上来说它和GBDT及XGBoost类似，都采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。
动态规划（DP）是指可以用于在给定完整的环境模型作为马尔可夫决策过程（MDP）的情况下计算最优策略的算法集合。DP的核心思想就是使用value function作为依据，指导policies的搜索过程。上一次我们讨论到，一旦找到满足Bellman最优方程的最优值函数v*或q* 我们就可以获得最优策略，而DP算法做的事情就是把这些bellman functions转变成优化value functions近似值的更新规则。
最近一段时间，「大模型」在 AI 领域的各种应用场景都大放异彩，其中基于 Transformer 的大规模预训练模型是最典型的大模型之一，已经成为了当前基础模型（Foundation Model）的核心架构。例如 NLP 领域的 BERT、GPT 系列，CV 领域的 ViT、Swin Transformer 系列，以及最近非常火热的多专家混合模型 MoE 以及多模态模型 CLIP 等等，都是以 Transformer 作为核心的基础架构。与之相应的，这类稠密大模型拥有着动辄数十亿、百亿甚至万亿规模的参数量，面临高昂的计算、存储、以及通信开销，也为 AI 基础设施带来了巨大的挑战。
贪心类问题无疑是基础算法中难度最大的，难点在于思维的跳跃性，没有固定的解题模式，往往是一类题一种解法或结论
说到优化，大家在收到“优化指标”任务的时候。通常会做两件事情——分析“优化指标”对应的痛点、寻找解决痛点的技术方案并施行。那这样是否就足够了呢？我的答案是否定的。在我的认知里这只是第一层的优化，虽然在结果上往往我们使用更优的技术后确实可以达到更好的优化效果，但却又不那么完美，优化效果还可以做得更好。那究竟缺了什么呢？下面，我会逐步阐述我的优化思路。首先，普遍的优化思路是基础，我们先来看看在普遍的优化思路下，基本的前端高并发策略是怎么样的？
作者：心叶 本文对应github地址：https://github.com/yelloxing/...
本文主要介绍基于 Boosting 框架的主流集成算法，包括 XGBoost 和 LightGBM。
本文是主要介绍基于 Boosting 框架的主流集成算法，包括 XGBoost 和 LightGBM。
本文是决策树的第三篇，主要介绍基于 Boosting 框架的主流集成算法，包括 XGBoost 和 LightGBM。
感兴趣的话可以参考 算法竞赛、小白学DP(动态规划) 学习相关代码的具体实现(Java版)
XGBoost 是大规模并行 boosting tree 的工具，它是目前最快最好的开源 boosting tree 工具包，比常见的工具包快 10 倍以上。Xgboost 和 GBDT 两者都是 boosting 方法，除了工程实现、解决问题上的一些差异外，最大的不同就是目标函数的定义。故本文将从数学原理和工程实现上进行介绍，并在最后介绍下 Xgboost 的优点。
来源：数据科学与人工智能本文约4500字，建议阅读8分钟本文介绍了LightGBM的模型详解。 https://www.showmeai.tech/article-detail/195 之前 ShowMeAI 对强大的 boosting 模型工具 XGBoost 做了介绍 『XGBoost模型』详解，本篇我们来学习 GBDT模型 模型的另一个进化版本：LightGBM。 LightGBM 是微软开发的 boosting 集成模型，和 XGBoost 一样是对 GBDT 的优化和高效实现，原理有一些相似之处，
1）聚类的核心概念是相似度（similarity）或距离（distance），有多种相似度或距离的定义。因为相似度直接影响聚类的结果，所以其选择是聚类的根本问题。
分治算法思想很大程度上是基于递归的，也比较适合用递归来实现。顾名思义，分而治之。一般分为以下三个过程：
Python算法设计篇(7) Chapter 7: Greed is good? Prove it! It’s not a question of enough, pal. ——Gordon
贪心的意思在于在作出选择时，每次都要选择对自身最为有利的结果，保证自身利益的最大化。贪心算法就是利用这种贪心思想而得出一种算法。
在上一章中我们介绍了马尔可夫决策过程，其中最优贝尔曼公式给出了最优值函数的求解方法：
作 者 Gary，腾讯web前端开发 高级工程师 商业转载请联系腾讯WeTest获得授权，非商业转载请注明出处。 WeTest 导读 一项指标的变好，总少不了相应优化策略的实施。优化并不是简单的一蹴而就，而是个不断迭代与推翻的过程。更深层的优化方案，往往是在某种思维策略之下，对问题场景和基本策略优缺的深刻理解后做出的当下最优的权衡结果。本文笔者从前端高并发优化这一具体点出发，逐步向大家阐述笔者在优化的“术”之上思维层面的一些思考。希望能给各位带来共鸣和感悟。 背景：之所以会以前端高并发这一主题入手，
生成树的定义：对于一个图G，获取G的边使得所有的顶点都连接到。最小生成树(MST Minimun spanning tree):给定图G(V,E),以及对应的边的权重，获取一颗总权重最小的生成树。
在多个计算设备上部署深度学习模型是训练大规模复杂模型的一种方式，随着对训练速度和训练频率的要求越来越高，该方法的重要性不断增长。数据并行化（Data parallelism，DP）是应用最为广泛的并行策略，但随着数据并行训练设备数量的增加，设备之间的通信开销也在增长。
LightGBM是一个梯度Boosting框架，使用基于决策树的学习算法。它可以说是分布式的，高效的，有以下优势：
LightGBM 是微软开发的 boosting 集成模型，和 XGBoost 一样是对 GBDT 的优化和高效实现，原理有一些相似之处，但它很多方面比 XGBoost 有着更为优秀的表现。官方给出的这个工具库模型的优势如下：
在作出区分后，通常下一个问题就是：是否采用这种预测模型。这个问题已经困扰这个领域一段时间了，也不太可能在短时间内得到解决。但就设计基于模型的算法方面，我们已经习得了足够的知识，这让我们得以总结出最佳实践及常见陷阱的一些通用性结论。本文就基于模型的强化学习方法的各种实现进行了调查，再针对使用训练过的预测模型时所需要权衡的一些问题，以及这些考量在激励基于模型的强化学习时所采用的简单但有效的策略进行描述。本文后半部分是根据我们近期基于模型的策略优化论文所撰写的。
在学习数据结构的时候，我们已经见过了贪心思想在Prim和Kruskal中的完美应用，贪心思想因为其的简洁在算法中经常会被用到，有的时候在生活中，我们也会无意中使用到l贪心算法。比如在去shopping时，经常需要进行找零钱的过程，我们总是不自觉的先把大的找出来。
递归算法是一个过程或函数在其定义或说明中有直接或间接调用自身的一种方法。它通常把一个大型复杂的问题转化为一个与原问题类似的规模较小的问题来求解。
图片 第一部分:算法概述 算法定义:一系列解决问题的清晰易行的步骤和规则。以编程实现,输入为问题实例,输出为问题解。 算法特征:输入、输出、有穷性、确定性、可行性。算法必须有清晰的输入与输出,步骤必须能在有限时间内结束,为任意输入都可以给出解,并且解得出的结果是正确的。 算法类族:递归算法、迭代算法、确定算法、非确定算法、Exact算法、Heuristic算法等。递归算法通过递归解决子问题,迭代通过循环;确定算法对每组输入都给出同样的输出,非确定算法输出随输入变化。Exact算法可以给出最优解,Heuri
1 LightGBM原理 1.1 GBDT和 LightGBM对比 1.2 LightGBM 的动机 1.3 Xgboost 原理 1.4 LightGBM 优化 1.4.1 Histogram 算法 1.4.2 带深度限制的 Leaf-wise 的叶子生长策略 1.4.3 直方图加速 1.4.4 直接支持类别特征 1.4.5 LightGBM并行优化 1.5 其他注意 2 lightGBM代码 2.1 基础代码 2.2 模板代码 2.2.1 二分类 2.2.2 多分类 2.3 lightGBM 和 xgboost 的代码比较 2.3.1 划分训练集测试集 2.3.2 设置参数 2.3.3 模型训练 2.3.4 模型执行时间 2.3.5 模型测试 2.3.6 分类转换 2.3.7 准确率计算 2.3.8 roc_auc_score计算 3 lightGBM调参 3.1 参数 3.1 控制参数 3.2 核心参数 3.3 IO参数 3.2 调参 4 lightGBM案例 4.1 回归案例 4.1.1 代码 4.1.2 运行结果 4.2 [ICC竞赛] 精品旅行服务成单预测 4.2.1 业务需求 4.2.2 数据表格 4.2.3 lightGBM模型 5 lightGBM的坑 5.1 设置提前停止 5.2 自动处理类别特征 5.3 自动处理缺失值
但如果你看过《事实》这本书，你就不会被大脑中的惯性思维所影响。只要我们理解算法思想的关键点，多做题练习并加深理解记忆。其实算法思想就像切菜一样简单。
选自arXiv 机器之心编译 参与：刘晓坤、黄小天 人机交互可以用机器的优势弥补人类决策的非理性缺陷。近日，IBM Watson 研究中心联合多家研究机构提出了人机推理网络 HuMaINs 架构，论文集中讨论了三个主要问题，即架构设计、包含安全性/隐私挑战的推理算法，以及应用领域/用例。 在传统的经济学、认知心理学和人工智能领域的文献中，问题求解或推理过程通常按搜索问题空间的方式描述，该空间由问题的多个不同的状态构成，从一个初始状态开始，最终达到所需的目标状态 [1]。以初始状态为起点的每一个路径代表一个可
GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。而LightGBM（Light Gradient Boosting Machine）是一个实现GBDT算法的框架，支持高效率的并行训练，并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。
时隔好几天，终于更新了，最近看了很多大厂面试题和相关要求，其中关于常用算法的考察几乎是必须的，但是对于常见算法的学习，只单单的记住某几个程序肯定是不可以的，这就需要深入的对算法的定义、思想、原理及解题上下功夫。
直接或间接地调用自身的算法称为递归算法。 递归是算法设计与分析中经常使用的一种技术，描写叙述简单且易于理解。
贪心算法是一种解决优化问题的算法设计方法，其核心思想是在每一步选择当前状态下的最优解，从而希望最终达到全局最优解。下面将介绍贪心算法的原理、实现步骤，并提供C#和Java的实现示例。
贪心算法（Greedy Algorithm）的基本思想是，在每一步中都选择局部最优的解，最终得到全局最优解。也就是说，贪心算法是在一定的约束条件下，逐步地构建问题的解，通过每一步选择局部最优的策略来达到全局最优的解。贪心算法的求解过程非常高效，但有时可能会得到次优解或者无解。因此，在应用贪心算法时，需要注意问题的约束条件和性质，以及选取合适的贪心策略。
教程地址：http://www.showmeai.tech/tutorials/34
机器之心报道 机器之心编辑部 近年来，伴随着广告主的需求变化和相关技术发展，计算经济学理论、博弈论和人工智能技术被越来越多地应用到广告拍卖机制、投放策略中。 决策智能在商业场景中的意义逐渐凸显。用户看到的每一次商品展现、商家的每一次广告出价、平台的每一次流量分配，背后都有庞大且复杂的决策智能做支撑。 这些动作的目标在于优化用户购物体验，让广告投放的决策过程更加智能，同时让广告主、媒体在平台实现长期繁荣。广告主希望在有限的资源投入下最大化营销效果，平台希望能够建立更好的生态。然而流量环境、其他参竞广告形成的竞
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
