此部分学习内容适合工业工程，管理科学与工程，信息管理，物流管理，系统工程等相关专业的2021级（大一）本科生。只需要有C++，Java编程基础即可，不需要任何数学基础，也不需要运筹学基础，推文由简到难递进，适合自学！大一可以把这些文章掌握，你就真正入门决策优化算法这个领域了。 在朋友圈转发此推文，并且集齐20个赞，可被邀请加入数据魔术师2021级本科学习交流群，会有高年级本科生，硕士生、博士生和老师在群里提供指导和讨论。入群方式见文末！ 干货 | 用模拟退火(SA, Simulated
论文研读-多目标自适应memetic算法 Adaptive Memetic Computing for Evolutionary Multiobjective Optimization 此篇文章为 V. A. Shim, K. C. Tan and H. Tang, "Adaptive Memetic Computing for Evolutionary Multiobjective Optimization," in IEEE Transactions on Cybernetics, vol. 45
神经网络的成功通常取决于在多种任务上的泛化性能。然而，设计此类神经网络很有难度，因为研究社区对神经网络如何泛化仍没有充分的了解：对于给定问题，什么样的神经网络是适合的？深度如何？应该使用哪种层？LSTM 层就可以了，还是使用 Transformer 更好一些？抑或将二者结合？集成或蒸馏会提升模型性能吗？
优化问题是指在满足一定条件下，在众多方案或参数值中寻找最优方案或参数值，以使得某个或多个功能指标达到最优，或使系统的某些性能指标达到最大值或最小值。优化问题广泛地存在于信号处理、图像处理、生产调度、任务分配、模式识别、自动控制和机械设计等众多领域。优化方法是一种以数学为基础，用于求解各种优化问题的应用技术。各种优化方法在上述领域得到了广泛应用，并且已经产生了巨大的经济效益和社会效益。实践证明，通过优化方法，能够提高系统效率，降低能耗，合理地利用资源，并且随着处理对象规模的增加，这种效果也会更加明显。 在电子、通信、计算机、自动化、机器人、经济学和管理学等众多学科中，不断地出现了许多复杂的组合优化问题。面对这些大型的优化问题，传统的优化方法（如牛顿法、单纯形法等）需要遍历整个搜索空间，无法在短时间内完成搜索，且容易产生搜索的“组合爆炸”。例如，许多工程优化问题，往往需要在复杂而庞大的搜索空间中寻找最优解或者准最优解。鉴于实际工程问题的复杂性、非线性、约束性以及建模困难等诸多特点，寻求高效的优化算法已成为相关学科的主要研究内容之一。 受到人类智能、生物群体社会性或自然现象规律的启发，人们发明了很多智能优化算法来解决上述复杂优化问题，主要包括：模仿自然界生物进化机制的遗传算法；通过群体内个体间的合作与竞争来优化搜索的差分进化算法；模拟生物免疫系统学习和认知功能的免疫算法；模拟蚂蚁集体寻径行为的蚁群算法；模拟鸟群和鱼群群体行为的粒子群算法；源于固体物质退火过程的模拟退火算法；模拟人类智力记忆过程的禁忌搜索算法；模拟动物神经网络行为特征的神经网络算法；等等。这些算法有个共同点，即都是通过模拟或揭示某些自然界的现象和过程或生物群体的智能行为而得到发展；在优化领域称它们为智能优化算法，它们具有简单、通用、便于并行处理等特点。 **
转载自 https://www.researchgate.net/publication/323942977_jinhuasuanfaqiujieyueshuyouhuawentiyanjiujinzhan
ARMA提出了一种新颖的图神经网络（GNN）模型，旨在解决动态图预测中的问题。动态图是指随着时间推移，图中的节点和边关系会发生变化的情况。这种动态性带来了挑战，因为传统的静态图模型无法捕捉到图的演变过程。ARMA采用自适应递归矩阵完成技术，通过递归地预测动态图的演化过程，从而实现对动态图的预测。
公众号的老观众们应该会记得，在去年这个时候我们公众号发布了有关自适应大领域搜索算法（adaptive large neighborhood search）的相关系列教程，有关传送门如下：
有关ALNS概念的介绍，公众号内已经有相关内容了，这里稍提一下，有疑惑的同学可以参考往期内容：
粒子群优化算法是通过模拟鸟群觅食过程中的迁徙和群聚行为而提出的一种基于群体智能的全局随机搜索算法。
搜索，作为人工智能（AI）的核心组成部分，始终贯穿着这个领域的发展历程。从早期的简单规则引擎到如今的复杂深度学习模型，搜索技术在人工智能的历史长河中扮演了至关重要的角色。在许多AI应用中，搜索不仅是一种算法工具，更是一种问题解决的思维方式。
近年来GNN (Graph Neural Network)受到了很大的关注，越来越多GNN方法应用在节点分类(node classification)[1]，推荐系统(recommendation)[2]，欺诈检测(fraud dection)[3]等。不同的GNN方法最大的差别，在于邻居聚合函数 (neighbor aggregation, 又叫message passing)。但是面对多样的数据集和任务，没有任何一个方法能够取得SOTA方法。最近，斯坦福大学Jure教授团队在NeurIPS 2020的工作上也指出了这一点[4]。
交通标志检测对于无人驾驶系统来说是一项具有挑战性的任务，尤其是多尺度目标检测和检测的实时性问题。在交通标志检测过程中，目标的规模变化很大，会对检测精度产生一定的影响。特征金字塔是解决这一问题的常用方法，但它可能会破坏交通标志在不同尺度上的特征一致性。而且，在实际应用中，普通方法难以在保证实时检测的同时提高多尺度交通标志的检测精度。 本文提出了一种改进的特征金字塔模型AF-FPN，该模型利用自适应注意模块(adaptive attention module, AAM)和特征增强模块(feature enhancement module, FEM)来减少特征图生成过程中的信息丢失，进而提高特征金字塔的表示能力。将YOLOv5中原有的特征金字塔网络替换为AF-FPN，在保证实时检测的前提下，提高了YOLOv5网络对多尺度目标的检测性能。 此外，提出了一种新的自动学习数据增强方法，以丰富数据集，提高模型的鲁棒性，使其更适合于实际场景。在100K (TT100K)数据集上的大量实验结果表明，与几种先进方法相比，本文方法的有效性和优越性得到了验证。
不知道大家在使用启发式算法求解车辆路径规划问题时有没有这样的困惑：设计邻域搜索算子实在是太太太太难了，邻域搜索算子必须在算子搜索范围以及算子复杂度之间达到平衡，高效的邻域搜索算子又是邻域搜索算法的核心。那么有没有这样一种算法，它既不依赖特定的问题结构，也有很好的效果呢？
知识图谱嵌入（Knowledge Graph Embedding）目前在学习知识图谱（KG）中的知识表达上具有很强的能力。在以往的研究中，很多工作主要针对单个三元组（triplet）建模，然而对 KG 而言，三元组间的长链依赖信息在一些任务上也很重要。
来源：PaperWeekly本文约2000字，建议阅读5分钟本文提出了一种新颖的顺序推荐系统 AutoMLP，旨在根据用户的历史交互更好地建模用户的长期/短期兴趣。 这是一篇 WWW 2023 多机构合作的文章，看这个题目 AutoMLP，就想起了 IJCAI 22 的一篇文章：MLP4Rec: A Pure MLP Architecture for Sequential Recommendations，果然是同一批人，属于是新瓶装旧酒，属于是“MLP is all you need”在长短期兴趣建模上的应
这篇笔记，仅仅是对选择性算法介绍一下原理性知识，不对公式进行推倒. 前言： 这篇论文介绍的是，如果快速的找到的可能是物体目标的区域，不像使用传统的滑动窗口来暴力进行区域识别.这里是使用算法从多个维度
这篇论文介绍的是，如果快速的找到的可能是物体目标的区域，不像使用传统的滑动窗口来暴力进行区域识别。这里是使用算法从多个维度对找到图片中，可能的区域目标，减少目标碎片，提升物体检测效率。
AI科技评论报道 编辑 | 陈大鑫 AI 科技评论 今天给大家介绍一篇想法简单但是很有意思的文章，是研究 fine-tuning 在 few-shot 任务上的工作机制，论文发表于AAAI 2021，作者来自于CMU，HKUST和 IIAI： 文章的动机非常明确： 如下图，在 few-shot 任务上，我们通常会有一个 base set（有大量数据）和一个 novel set（只有少量数据），base set 里面的数据类别跟 novel set 是没有重叠的。我们通常需要在base set上训练我们
他们发明的一种叫做AutoRobotics-Zero (ARZ)的搜索算法，既不靠大模型，也不用神经网络，可以让机器人一旦遇到剧烈的环境变化，就立刻自动更改行动策略。
一、前言 模拟退火、遗传算法、禁忌搜索、神经网络等在解决全局最优解的问题上有着独到的优点，其中共同特点就是模拟了自然过程。模拟退火思路源于物理学中固体物质的退火过程，遗传算法借鉴了自然界优胜劣汰的进化思想，禁忌搜索模拟了人类有记忆过程的智力过程，神经网络更是直接模拟了人脑。它们之间的联系也非常紧密，比如模拟退火和遗传算法为神经网络提供更优良的学习算法提供了思路。把它们有机地综合在一起，取长补短，性能将更加优良。 这几种智能算法有别于一般的按照图灵机进行精确计算的程序，尤其是人工神经网络，是对计算机模
谷歌等团队发布了遗传编程最新成果——AutoRobotics-Zero（ARZ）。最新论文已被IROS 2023接收。
神经网络（NN）的成功通常取决于它对各种任务的泛化能力。然而，设计一个泛化性较好的神经网络是非常具有挑战性的，因为研究界对神经网络如何泛化的理解目前还是有限的，例如：
AI 研习社按：今天为大家带来硅谷深度学习网红 Siraj 在人工智能在线大会 AI WITH THE BEST（AIWTB）上的演讲，雷锋字幕组独家译制。本次演讲的主题为 Learning to Learn，主要讲解了深度神经网络中超参数优化的相关内容。视频后面我们还附带了对应的 Github 文档汉化版供读者参考，原地址见文末“阅读原文”。 如今神经网络非常流行，许多问题都可以用神经网络解决，但是，找出最有效和最合适的神经网络却没那么容易。人们习惯于依靠自己的经验，尝试出最佳参数。这个过程需要付出高额的
本文介绍的是ICDE 2020入选论文《AutoSF: Searching Scoring Functions for Knowledge Graph Embedding》，作者来自香港科技大学和第四范式。
自适应大邻域搜索算法（Adaptive Large Neighborhood Search），简称（ALNS），是由Ropke与Pisinger在2006年提出的一种启发式方法，其在邻域搜索的基础上增加了对算子的作用效果的衡量，使算法能够自动选择好的算子对解进行破坏与修复，从而有一定几率得到更好的解。
这个名为“模型搜索”（Model Search）的平台，不仅可以用多个AutoML算法自动写出你想要的AI模型，还能帮你选出写得最好的那个。
对于想进入语音识别领域的学习者来说，了解语音识别系统的一些基本概念，会有助于更快的进入这个行业的交流平台，本文对语音识别系统的一些常见概念做了整理，希望能对刚开始接触语音学习的人有所帮助。
神经网络的训练过程实质是得到最优化目标函数的过程，常见的目标函数MSE Loss、Cross Entropy Loss、NLL Loss等，网络训练过程就是最小化Loss的过程。Loss可以理解为模型预测值与真实值之间的差距。一般这些Loss函数是凸函数，可以使用最优化的相关算法最小化Loss，具体包括随机梯度下降、共轭梯度下降、牛顿法、拟牛顿法等。归功于神经网络的backward过程，使得梯度相关的搜索算法得以应用。下面简单介绍神经网络训练过程的几种优化方法。 一．基本算法 一阶优化算法 1.梯度下降 假
随着硬件的发展，不管是手机还是专业摄像设备拍出的图片随便可能就有几M，甚至几十M，并且现在我们处于随处可及的信息海洋里，海量的图片带来了存储问题、带宽问题、加载时延问题等等。对图片信息进行有效的压缩处理无疑会极大的降低存储成本、流量压力，并且还能显著提升页面加载速度。
前言 随着硬件的发展，不管是手机还是专业摄像设备拍出的图片随便可能就有几M，甚至几十M，并且现在我们处于随处可及的信息海洋里，海量的图片带来了存储问题、带宽问题、加载时延问题等等。对图片信息进行有效的压缩处理无疑会极大的降低存储成本、流量压力，并且还能显著提升页面加载速度。 图片压缩指在图片质量保持不变的情况，尽可能的减小图片大小，以达到节省图片存储空间、减少图片访问流量、提升图片访问速度的效果。数据万象（Cloud Infinite，CI） 产品推出了 AVIF 压缩功能，可将图片转换为 avif 格式，
---- 新智元报道 编辑：David Joey 【新智元导读】研究人员提出了一种多路径神经架构搜索（MPNAS）方法，为多领域建立一个具有异质网络架构的统一模型。 面向视觉任务（如图像分类）的深度学习模型，通常用来自单一视觉域（如自然图像或计算机生成的图像）的数据进行端到端的训练。 一般情况下，一个为多个领域完成视觉任务的应用程序需要为每个单独的领域建立多个模型，分别独立训练，不同领域之间不共享数据，在推理时，每个模型将处理特定领域的输入数据。 即使是面向不同领域，这些模型之间的早期层的有些特
作者 Bunmi Akinremi 我清楚地记得两年前参加的一次机器学习黑客马拉松，当时我正处于数据科学职业生涯的初期。这是由尼日利亚数据科学组织的训练营的资格预审黑客马拉松。 该数据集包含有关某些员工的信息。我必须预测员工是否应该升职。在尝试改进和设计功能几天后，该模型的准确率似乎在 80% 左右波动。 我需要做点什么来提高我在排行榜上的分数。我开始手动调整模型——得到了更好的结果。通过更改参数，移动的准确度提高到 82%（这一移动非常重要，任何参加过黑客马拉松的人都会证明这一点！）。很兴奋，我开始调整其
本文介绍被AAAI 2020录用的论文 Learning Graph Convolutional Network for Skeleton-based Human Action Recognition by Neural Searching，第一个使用神经架构搜索（NAS）设计图卷积网络（GCN）的工作，用于基于skeleton的人体动作识别中，在当前最大的两个数据集中达到目前最高的精度。代码将开源。
自2012年至今，计算机视觉领域蓬勃发展，各种模型不断涌现，短短 8 年时间，计算机视觉领域便发生了天翻地覆的变化。那么如何看待过往变化，当下研究又如何？
摘要 现有的启发式搜索算法不能在找到完整的解决方案之前采取行动，所以它们不适用于实时应用。因此我们提出了一种极大极小前向搜索（minimax lookahead search）的特殊情况来处理这一问题，还提出了一种能显著提升该算法的效率的类似于 α-β 剪枝的算法。此外，我们还提出了一种名为 Real-Time-A* 的新算法，该算法能用在动作必须被确实执行而不仅仅是模拟时来进行搜索。最后，我们检查了计算和执行成本之间的权衡的性质。 1.简介 启发式搜索是人工智能领域一个基础的问题解决方法。对于大多数AI问
计算智能(ComputationalIntelligence ,CI)是以生物进化的观点认识和模拟智能。按照这一观点，智能是在生物的遗传、变异、生长以及外部环境的自然选择中产生的。在用进废退、优胜劣汰的过程中，适应度高的结构被保存下来，智能水平也随之提高。因此计算智能就是基于结构演化的智能。计算智能的主要方法有人工神经网络、遗传算法、遗传程序、演化程序、局部搜索、模拟退火等等。这些方法具有以下共同的要素：自适应的结构、随机产生的或指定的初始状态、适应度的评测函数、修改结构的操作、系统状态存储器、终止计算的条
论文地址：http://arxiv.org/pdf/2007.12147v1.pdf
【玩转 GPU】AI绘画、AI文本、AI翻译、GPU点亮AI想象空间-腾讯云开发者社区-腾讯云 (tencent.com)
大数据文摘授权转载自数据派THU 作者：Leonie Monigatti 翻译：欧阳锦 校对：王可汗 你如何在英语词典中查到一个词？我知道你不会按照这种方法做：从第一页开始，翻阅每一个词，直到找到你要找的那个词——当然，除非你的词是 "土豚"（aardvark）。但如果你要找的词是 "动物园"(zoo)，这种方法会花很长时间。 你会如何在英语词典中查找一个词呢？ 一个更快的方法是在中间打开，然后决定是在字典的前半部分还是后半部分继续搜索。 这种方法是对二分搜索算法的一种宽泛描述，这种算法在一个排序的元素列表
在算法和数据结构中，搜索是一种常见的操作，用于查找特定元素在数据集合中的位置。线性搜索算法是最简单的搜索算法之一，在一组数据中逐一比较查找目标元素。本篇博客将介绍线性搜索算法的两种实现方式：顺序搜索和二分搜索，并通过实例代码演示它们的应用。
你如何在英语词典中查到一个词？我知道你不会按照这种方法做：从第一页开始，翻阅每一个词，直到找到你要找的那个词——当然，除非你的词是 "土豚"（aardvark）。但如果你要找的词是 "动物园"(zoo)，这种方法会花很长时间。
对于数据库（尤其是向量数据库）而言，“性能”是一个十分关键的指标，其用于衡量数据库是否能够在有限资源内，高效处理大量用户请求。对于向量数据库用户而言，尽管可能在某些情况下对延时的要求不高，但对性能指标的高要求却一如既往，从未改变。
以机器自动设计网络结构为目标的神经网络搜索（NAS，Neural Architecture Search）有望为机器学习带来一场新的革命。
飞机蒙皮、船舶舱体、高铁车身等大型复杂部件高效高品质制造是航空航天、海洋舰船、轨道交通等领域重大装备发展的根基，是国家加快培育及发展的战略性新兴产业，在引领国民经济发展、服务国家重大需求等过程中发挥着至关重要的作用[1]。
之前对一篇和本文类似的生物进化优化算法——遗传算法做了一些解释，本文所述的差分进化算法和遗传算法本身有相通的地方当然也有较多的差异。差分进化算法也是基于群体智能理论的优化算法，它是通过群体内个体间的合作与竞争而产生的智能优化算法，字面意思即可看出它有别于遗传算法的自由组合自然选择，它更侧重的是个体与个体和个体与自身间的关系，包括合作与竞争。
计算机视觉研究院专栏 作者：Edison_G 来自 Facebook AI 的严志程团队发表一种新的神经架构的快速搜索算法。该算法采用自适应架构概率分布熵的架构采样，能够减少采样样本达 60%，加速搜索快 1.8 倍。此外，该算法还包括一种新的基于分解概率分布的由粗到细的搜索策略，进一步加速搜索快达 1.2 倍。该算法搜索性能优于 BigNAS、EfficientNet 和 FBNetV2 等算法。 长按扫描二维码关注我们 本篇文章转自于“机器之心” 就职于 Facebook AI 的严志程博士和他的同
深度优先搜索（DFS）是一种用于图或树的遍历算法，它沿着路径直到无法继续前进，然后回退到前一个节点，继续探索其他路径。
广度优先搜索（BFS）是一种用于图或树的遍历算法，它从起始节点开始逐层地探索，先访问距离起始节点最近的节点，然后再逐渐扩展到距离更远的节点。
就职于 Facebook AI 的严志程博士和他的同事最近在 CVPR 2021 发表了关于加速概率性神经架构搜索的最新工作。该工作提出了一种新的自适应架构分布熵的架构采样方法来显著加速搜索。同时，为了进一步加速在多变量空间中的搜索，他们通过在搜索初期使用分解的概率分布来极大减少架构搜索参数。结合上述两种技巧，严志程团队提出的搜索方法 FP-NAS 比 PARSEC [1] 快 2.1 倍，比 FBNetV2 [2] 快 1.9-3.5 倍，比 EfficientNet [3] 快 132 倍以上。FP-NAS 可以被用于直接搜索更大的模型。搜索得到 FP-NAS-L2 模型复杂度达到 1.0G FLOPS，在只采用简单知识蒸馏的情况下，FP-NAS-L2 能够比采用更复杂的就地蒸馏的 BigNAS-XL [4]模型，提高 0.7% 分类精度。
机器之心发布 作者：严志程 来自 Facebook AI 的严志程团队发表一种新的神经架构的快速搜索算法。该算法采用自适应架构概率分布熵的架构采样，能够减少采样样本达 60%，加速搜索快 1.8 倍。此外，该算法还包括一种新的基于分解概率分布的由粗到细的搜索策略，进一步加速搜索快达 1.2 倍。该算法搜索性能优于 BigNAS、EfficientNet 和 FBNetV2 等算法。 就职于 Facebook AI 的严志程博士和他的同事最近在 CVPR 2021 发表了关于加速概率性神经架构搜索的最新工作。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
