本文结构： 凸优化有什么用？ 什么是凸优化？ ---- 凸优化有什么用？ 鉴于本文中公式比较多，先把凸优化的意义写出来吧，就会对它更有兴趣。 我们知道在机器学习中，要做的核心工作之一就是根据实际问题定义一个目标函数，然后找到它的最优解。 不过求解这种优化的问题其实是很难的，但是有一类问题叫做凸优化问题，我们就可以比较有效的找到全局最优解。 例如，SVM 本身就是把一个分类问题抽象为凸优化问题，利用凸优化的各种工具（如Lagrange对偶）进行求解和解释。深度学习中关键的算法反向传播（Back Propaga
volatile是C语言中的一个关键字。将变量定义为volatile就表示告诉编译器这个变量可能会被竟想不到地改变，在这种情况下，编译器就不会去假设这个变量的值了，及优化器在用到这个变量是必须每次重新读取他的值。
\[ \begin{align} &minimize \, f_0(x) \\ &subject \, to \, f_i(x)≤b_i, \, i=1,...,m \tag{1.1} \end{align} \]
本文由加拿大魁北克人工智能研究所唐建、Minkai Xu、Yoshua Bengio 以及 MIT 的 Wujie Wang、北京大学的Shitong Luo 等人合作完成，发表在2021年 ICLR（人工智能领域顶级会议）。
对靶向特定靶点的类药性药物的设计以及优化是早期药物发现的一个重要阶段。在本文中，作者描述了一个新的lead-like 的设计策略，基于 Dengue 的 RDRP 靶点。在启始阶段，一个较大的（数亿级别的），基于片段的化合物库被设计出，化合物库的设计是基于从靶标结合位点的提取出的药效团。将此分子从头合成（从片段开始）过程转化为一个 QUBO 问题（此问题可以使用quantum-inspired Digital Annealer解决）。此 DA 限制了类药性分子的空间，也优化了其合成可及性。与以前的策略相比，具有明显的优势。
【GiantPandaCV导语】本文记录了笔者最近的一些优化gemm的思路和实现，这些思路大多是公开的方案，例如来自how-to-optimize-gemm工程的一些优化手段，来自ncnn的一些优化手段等。最终，笔者目前实现的版本在armv7a上可以达到50%左右的硬件利用率（这个利用率的确还不高，笔者也是一步步学习和尝试，大佬轻喷），本文记录了这些思路以及核心实现方法。改好的行主序代码（x86+armv7a版本）可以直接访问https://github.com/BBuf/how-to-optimize-gemm获取。
本文不涉及复杂的底层数据结构，通过explain解释SQL，并根据可能出现的情况，来做具体的优化，使百万级、千万级数据表关联查询第一页结果能在2秒内完成(真实业务告警系统优化结果)。希望读者能够理解SQL的执行过程，并根据过程优化，走上自己的"成金之路"
WACKER SILTRONIC: mySAP供应链管理中的有效后勤管理 Wacker SiItronic，世界著名的制造商之一，半导体工业中高纯度硅的供应商，在新加坡使用mySAP供应链管理解决方案。 Wacker Siltronic在新加坡的工厂是第一个从mySAP供应链管理(mySAP SCM)中的SAP高级计划优化器(SAP APO)中获益，完善了其在后勤物流中的协调、计划及执行过程。在接下来的两年中，公司计划在其全球的所有工厂中实施mySAP供应链管理解决方案。SAP高级计划优化器与SAP R/3
前几天发了一篇一步步优化RGB转灰度图算法，但实验做的并不完善，在上次的基础上我又补充了一些优化技巧，相对于传统实现将RGB转灰度图算法可以加速到近5倍左右。所以，这篇文章再次将所有涉及到的优化方法进行汇总，SSE优化相关的原理上一节已经讲得很清楚了，这里就不会再展开了，感兴趣可以查看上篇文章。【AI PC端算法优化】一，一步步优化RGB转灰度图算法 这一节的速度测试环境为：
前段时间笔者开发某个项目遇到了MySQL性能问题，每张表的数据量都在五千万以上，个别表数据量甚至在一个亿以上，在开发的过程中遇到了非常多的数据库性能优化难点，笔者在开发过程中查询了很多资料，很多查询语句也在优化过程中取得了比较好的效果。笔者也将开发过程中遇到的sql优化问题总结为文章，以便日后回顾。这篇文章主要讲解mysql执行联结运算的原理。为了避免泄露公司业务及数据，在文章中涉及的sql语句都和公司业务无关。
随着深度学习的应用场景不断拓展，应用规模的不断扩大，模型推理服务的性能也受到越来越多重视。同样一个模型在同样的硬件上，专业的模型优化在同样的推理精度下可能会带来几倍甚至几十倍的性能提升。一般来说，使用专用推理框架比如TensorRT、OpenVINO等，推理性能会好于Tensorflow，Pytorch等深度学习框架，对模型的定制优化推理性能会好于直接使用专用推理框架。
机器学习和数据科学融合了计算机科学与统计学，以解决推理问题。它们的规模和复杂性都要求现代计算基础设施的支持。它们的算法基础基于两种通用的计算策略，这两种策略都源于数学——优化和马尔科夫链蒙特卡洛方法（MCMC）采样。针对这些策略的研究大多是单独进行的：优化研究侧重于评估和预测问题，而采样研究侧重于需要评估不确定性的任务，如形成置信区间和进行假设测试。然而，在两个研究领域中使用共同的方法要素开始成为一种趋势。特别是这两个领域都侧重于使用梯度和随机梯度——而不是函数值或高阶导数——来作为单个算法步骤的计算复杂性和总体收敛速率之间的有益折衷。实验证明，这种妥协的效果相当惊人。但是，将优化和采样联系起来的理论研究相对较少，因此限制了这种思路的发展。尤其是，优化理论最近的快速发展 [34] 并没有带来采样理论的此类发展。因此，机器学习的推理范围仍然有限，很少能够考虑不确定性的估计。
如果你正在构建一个语音识别系统。系统通过输入一个音频剪辑A，并对每个可能的输出语句S计算某个Score_A(S)来工作。例如，给定输入音频A，你可能尝试去估计Score_A(S) = P(S|A)，即正确输出转录语句是S的概率。
全局优化与局部优化的理念完全不同（全局优化求解器通常被称为随机求解器，试图避免局部最优点）。
Machine Learning Mastery 计算机视觉教程 通道在前和通道在后图像格式的温和介绍 深度学习在计算机视觉中的 9 个应用 为 CNN 准备和扩充图像数据的最佳实践 8 本计算机视觉入门书籍 卷积层在深度学习神经网络中是如何工作的？ DeepLearningAI 卷积神经网络课程（复习） 如何在 Keras 中配置图像数据扩充 如何从零开始为 CIFAR-10 照片分类开发 CNN 用于 Fashion-MNIST 服装分类的深度学习 CNN 如何为 MNIST 手写数字分类开发 CNN
大模型训练通常会遇到内存资源的限制。目前常用的内存减少方法低秩适应（LoRA），通过引入低秩（low-rank）适配器来更新模型的权重，而不是直接更新整个权重矩阵。然而，这种方法在预训练和微调阶段通常表现不佳，为此，本文作者提出了梯度低秩映射（Gradient Low-Rank Projection ，「GaLore」），这是一种允许「全参数」学习的训练策略，并且比 LoRA 等常见的低秩适应方法更节省内存，相比BF16内存减少了63.3% 。
学习或使用一门新的编程语言时，了解这门语言所提供的功能，以及了解这些功能是否有相关联的开销，都是十分重要的环节。
9.9.4 快速排序优化 刚才讲的快速排序还是有不少可以改进的地方，我们来看一些优化的方案。
目前的高级处理器，为了提高内部逻辑元件的利用率以提高运行速度，通常会采用多指令发射、乱序执行等各种措施。现在普遍使用的一些超标量处理器通常能够在一个指令周期内并发执行多条指令。处理器从L1 I-Cache预取了一批指令后，就会分析找出那些互相没有关联可以并发执行的指令，然后送到几个独立的执行单元进行并发执行。比如下面这样的代码（假定编译器不做优化）：
背景：今天对一个20w的表做关联查询，创建各种索引，没有提高执行的效率，使用EXPLAIN检查，总是提示“Using temporary”全表扫描，这不是我想的。通过度娘，各种百度，是因为DISTINCT使用了全表扫描，现在特别记录下来。以背查验。
今天给大家分享的这篇文章是关于LoRA微调大模型实操技巧，讨论了从实验中得出的主要经验和教训；此外，本文将解答一些与LoRA技术相关的常见问题。如果你对于微调定制化的大语言模型感兴趣，希望这些见解能够帮助你快速起步。
在 2017 我在社区问了一个问题，如何让 .NET Framework 的 WPF 等程序使用 .NET Native 构建以提升速度。在 2019.06 的时候，强大的微软提供了一个好用的库，支持将 .NET Framework 的桌面应用构建时添加 native images 本机映像支持
公众号输入 「高性能计算」 关键词获取刘文志大佬的《并行编程方法与优化实践》电子书以及我整理的SSE指令集PDF。
冒泡排序是比较基础的排序算法之一，其思想是相邻的元素两两比较，较大的数下沉，较小的数冒起来，这样一趟比较下来，最大(小)值就会排列在一端。整个过程如同气泡冒起，因此被称作冒泡排序。 冒泡排序的步骤是比较固定的：
开发过程中我们多少都会关注服务的性能，然而性能优化是相对比较困难，往往需要多轮优化、测试，属于费时费力，有时候还未必有好的效果。但是如果有较好的性能优化方法指导、工具辅助分析可以帮助我们快速发现性能瓶颈所在，针对性地进行优化，可以事半功倍。
在这期文章中，我们将要深入介绍一下逃逸分析（escape analysis）技术，这是JVM最有意思的优化手段之一。逃逸分析是JVM的一项自动分析变量作用域的技术，它可以用来实现某些特殊的优化，后续我们也会分析下这些优化。在开始之前，你只需要掌握一些HotSpot JVM的基本工作原理就可以了。
素材来源：https://blog.csdn.net/qq_34430371/article/details/125820927
实现过程也很简单，只需要递归遍历 object 中的数据，然后拼接字符串即可，核心代码如下：
发现没有用到索引，type 全是 ALL ，那么首先想到的就是建立一个索引，建立索引的字段当然是在 where 条件的字段了。
在Go生态已经有很多WEB框架，但感觉没有一个符合我们的想法，我们想要一个简洁高效的核心框架，提供路由，context，中间件和依赖注入，而且拒绝使用正则和反射，于是我们开始构建Baa框架。一开始使用最简单的通俗写法实现了第一版的功能，基本可用，但是性能烂到爆，优化之路漫漫开启。 最好的文章应该是每一步都加上优化前后的benchmark对比结果，给读者以最直观的感受。我先BS一下自己，因为我懒了，没有再回头一步步去对比这个结果图。 拒绝正则和反射 这是我们做这个框架时的一个基本原则，整个实现中没有使用过re
Prepack 是 Facebook 最近开源的一个 JavaScript 代码优化工具，它跟 Babel、谷歌的 Closure Compiler 类似，运行在 “编译” 阶段，生成优化后的代码。（实际上 Prepack 的源代码生成使用的就是 Babel）
今天要介绍的自然饱和度算法是一个开源图像处理软件PhotoDemon（地址：https://github.com/tannerhelland/PhotoDemon）上的，原版是C#的，代码如下：
上一篇文章《使用压缩文件优化io (一)》中记录了日志备份 io 优化方案，使用文件流数据压缩方案优化 io 性能，效果十分显著。这篇文章记录数据分析前置清洗、格式化数据的 io 优化方案，我们有一台专用的日志前置处理服务器，所有业务日志通过这台机器从 OSS 拉取回来清洗、格式化，最后进入到数据仓储中便于后续的分析。
集成电路板等电子产品生产中，控制回焊炉各部分保持工艺要求的温度对产品质量至关重要（点击文末“阅读原文”了解更多）。
矩阵乘法加速器，一般至少包括计算单元，缓存（SRAM等构成）和内存（譬如DDR等）。其中缓存的读写速率较高，可以和计算单元的运算速度相匹配，但容量较小；内存的容量相对缓存较大，但读写速率较低。
动态规划中的路径问题，题目来自于 LeetCode，子标题为 题号 名称 的格式。
论文题目：HybridPose: 6D Object Pose Estimation under Hybrid Representations
随着项目的不断迭代，代码量跟资源文件不断增多。那么就会出现打包后的 APK 文件越来越大，如果突然有一天你们老板或领导叫你优化 APK 大小，你还不知道怎么优化那就有点说不过去了，这篇文章咱们就来一起分析并优化 APK 体积大小吧。
在鸽了将近4年之后，我终于良心发现，决定重新恢复【裸机思维】公众号的更新。谢谢大家的长久守候和等待——非常非常抱歉。这段期间，发生了很多事情，我也憋了很多内容想跟更多的朋友分享。作为一个开端，我准备踏踏实实的从一些小的话题开始，慢慢恢复写作状态。《编译器的玄学研究报告》就是这样一个系列，我会为大家分析一些常见的、同时也是最新的、嵌入式编译器使用中可能会遇到的问题——尤其是那些看似是玄学的现象——为大家庖丁解牛、由浅入深，不仅给个痛快，也给大家个明明白白——我最终的目的是希望大家不惧怕优化，不要把编译器的行为看作是玄学，最终人人都拥有屈驾最高优化等级的知识和信心。
基于核的单分类异常检测方法难以处理高维样本特征而且计算效率低，因此论文中对此类方法进行优化提出了深度 Deep SVDD 模型。主要想法是利用神经网络训练来最小化计算样本特征空间的划分超球面，然后根据球心和测试样本点间的距离来判定样本点是否是异常。
之前对于C++的原子变量操作总是感到困惑，在读到关于Go 1.19更新内存模型背景的系列文章后有了一些新领悟。本文将从硬件出发进行介绍，然后看看一些「现代」编程语言规范中定义的内存模型，最后简单聊聊Go 1.19内存模型的更新。
并发编程无疑是编程领域中的上甘岭，他的“难”主要体现在两个方面，从宏观上来讲，主要是如何确定最优化的模型，例如Redis是单线程模型，Nginx是多进程单线程模型，而Netty是主从Reactor多线程模型；从微观上来讲，主要是原子性、可见性、有序性等问题的纠缠，这些问题有一个共同点，就是直觉失效。我们大部分情况下都是靠直觉来写程序的，如果直觉失效，会意味着什么呢？意味着直觉在引导我们写bug，引导我们误入歧途。今天我们就重点来聊聊直觉失效的问题之一：有序性问题。相信你看完这篇文章，肯定会大吃一惊：“原来一不小心写了这么多bug！”好在解决方案还是很简单的，只要了解了原理就可能轻松搞定。
作者 / Google 软件工程师 SørenGjesse 和 Christoffer Adamsen
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
