Hi，我是Johngo~ 聊一个强化学习的案例。 强化学习是一种机器学习范式，其中智能体学习通过与环境互动来选择行动以最大化累积奖励。...案例概述：Q-learning解决迷宫问题 使用Q-learning算法来训练一个智能体，让它在一个迷宫中找到出口。迷宫是一个2D网格，其中包含障碍物、起始点和目标点。...智能体将学习如何在迷宫中移动，以找到最短路径到达目标。 算法原理 Q-learning是一个值迭代算法。 通过学习Q值来选择在每个状态下采取的最佳动作。...使用Q-learning算法进行训练，迭代多个周期，每个周期中智能体在迷宫中选择动作，并根据奖励和下一个状态来更新Q值。 最后，我们打印训练后的Q表格和最优策略。...通常，Q-learning可以应用于许多强化学习问题，如机器人导航、游戏策略等。
加速光线追踪 均匀网格 Uniform grids 先用一个大的包围盒将物体包起来，然后生成网格，记录下每个物体覆盖的网格 然后沿着光线的方向去看和光线相加的格子里面有没有物体，如果有的话就计算和物体的交点...这个均匀网格适用于场景分布比较均匀的，对于物体差异比较大的场景效果不好 空间划分 Spatial partitions 均匀网格的缺点就是均匀对吧，那不均匀的划分是不是会好一点，这里就讲了三种空间划分...首先是这个八叉树，它在二维里面就相当于四叉树，怎么做呢，就是我每次把场景分成四份，然后递归的继续分下去，那什么时候停下了呢，就是当这次的划分使得一个格子里面三角形数量比较少的时候我就停下来 然后是这个后面要详细讲解的...KD-Tree 怎么建立这个KD树呢，其实思路也很清晰，就是每次将这个场景沿着一个轴平面分成两部分，这就产生两个子节点，然后继续递归下去划分，然后直到这个节点内的物体数量比较少，并且所有的物体都挂在这个叶子节点上...，如果是和叶子节点框有交点就计算里面所有物体和光线的交点，返回最近的，不然就继续递归计算和两个子节点框
Color 那些年我们使用过的颜料桶Tiling 网格法 Displacement 错位法 Repetition 重复法 Recursion 递归法 Algorithm 算法 本篇文章的写作来源自 youtube...来吧，一起开启我们的战斗之旅吧。 Color ?颜料桶 线条与色彩就是我的武器，我正试图用我的方式去表现出我认为是最正确、最美好、自然也就是像所有伟大艺术家所熟悉的最美的一切。...theme=light 在这篇学习笔记中，小菜提到了 ColorScheme 库以及如何在代码中使用 https://coolors.co/generate 网站生成的推荐色。...Tiling 网格法 在艺术创作中，网格创作法是常常用到的一种方法，简单有效。 之前小菜不谦虚，自称老鸟（无知者无畏，井底之蛙），写了一篇使用网格法创作的一个思路，文章可以戳 ?...Recursion 递归法 三角形中套三角形，一直递归绘制下去，直到一个终止条件，如三角形的高度小于某个值。 在上面的基础上，运用重复法，加上一些变化。
引言 《像程序员一样思考》是一本训练程序员编程思想的指导书。本书以向个经典难题开篇，提出一些编程中常用的思想方法，如重述、类比、划分、消减等。...同时也提供一些具体的技巧，如利用数组、指针动态内存、类解决问题。着重提出了大递归的思想，以及善假于外物的思路。...重述问题：用不同的方式或术语阐述，重新审视问题，发现新思路。 划分问题（分治法）：找到一种方式把一个问题的解决方案划分为几个步骤或几个阶段，可以使问题更容易解决。...用递归解决问题 大递归思路：如果在编写代码时采用某种约定，可以假装并没有发生递归。最好应用于难以用迭代解决方案的场合，如回溯。...递归应用于动态数据结构 递归常常应用于像链表、树和图这样的动态数据结构。数据结构越复杂，递归解决方案在简化代码方面所发挥的的作用也就越大。处理复杂的数据结构常常类似于在迷宫中寻找一条正确的出路。
你好，我是zhenguo(郭震) 今天总结强化学习第五篇：马尔科夫决策过程 基础 马尔科夫决策过程（MDP）是强化学习的基础之一。下面统一称为：MDP MDP提供了描述序贯决策问题的数学框架。...奖励（Reward）：在每个状态执行某个动作后获得的即时奖励。 策略（Policy）：根据当前状态选择动作的策略。 再看迷宫游戏 之前文章，我已经拿着迷宫例子详细阐述过一遍上面的这些概念。...迷宫可以表示为一个二维网格，每个格子可以是墙壁（不可通过）或空地（可通过）。智能体可以采取四个动作：向上、向下、向左和向右移动。目标是找到宝藏，同时避免碰到墙壁。 现在，逐一解释下MDP的这些要素。...状态（State） 在这个例子中，状态是智能体所处的位置坐标，即迷宫中的某个格子。 例如，可以使用(x, y)坐标来表示状态，其中x和y是迷宫中某个格子的行和列索引。...1 这篇文章我想重点阐述清楚MDP的这些核心要素，它们是强化学习的根基，这些你一定要理解。
问：我是一个Python迷，并且对迷宫的生成和迷宫解决的办法非常感兴趣。我很羡慕别人能够做出生成迷宫的动画。我如何能够用Python自己做一个迷宫动画，然后把我的成果展示给其他人呢？...（我知道tkinter, pyglet 和 pyqt，但是它们很难发布给别人看） 答：现在，你可以使用库gifmaz来做这件事了，它有一些很好的特性： 1、它是纯Python编写的，没有第三方依赖，只使用内置模块...这个库的一个教程 首先我们需要构建一个GIFSurface对象（类似cairo的ImageSurface类），我们的动画将会画在这个对象上。同时，我们需要指定图片的大小和可用的颜色数量。...我们有了绘制动画的“桌面”，和绘制动画需要的参数，接下来就是实际地画一个迷宫了。 这个语句在图片中央绘制了一个迷宫，然后在四边留了8像素的空白，迷宫中每一格在图片中占据5像素*5像素的大小。...然后让我们运行Prim的迷宫算法。 其中我加了两个延迟帧，以便我们能够看清楚动画的过程。 完成了！让我们把这个动画保存到GIF文件。 下面是运行结果，大小小于300K，很赞吧！
大家好，又见面了，我是你们的朋友全栈君。...ICEM CFD 中合并多个网格 对于结构十分复杂的几何模型，若能够将几何体分割成多个部分由多人分别进行网格划分，生 成网格后能够对网格进行组装，这恐怕是很多人梦寐以求的功能了。...今天要说的是如何在 ICEM CFD 中实现此功能。 为了简单起见，这里用一个非常简单的模型进行演示。当然复杂的模型的处理方式也是相同的。 我们要处理的几何模型如图 1 所示。...图 1 原始几何 图 2 几何 1 生成的网格 图 3 保存网格 1 、将几何 1.x_t 导入到 ICEM CFD 中进行网格划分。注意千万保证单位的一致，切记。...这里是一个长方体，网格划分方法就不多说了。预览网格如图 2 所示。选择菜单 File > Mesh > Load From Blocking 生成网格。 2 、保存网格。
然而，和一般的数据相比，有效地查询地理空间数据是相当大的挑战，因为数据是二维的（有时候甚至更高），不能用如传统的B+树这样标准的索引技术来加速查询位置相关的数据。...网格索引 网格索引的基本思想是将研究区域用横竖线划分大小相等和不等的网格，每个网格可视为一个桶(bucket)，构建时记录落入每一个网格区域内的空间实体编号。...如要获得较好的网格划分，可以根据用户的多次试验来获得经验最佳值， 也可以通过建立地理要素的大小和空间分布等特征值来定量确定网格大小。 网格索引的实现这里暂时没有涉及。...H值的相互转换： 基于linear-quadtrees递归填充思想，实现二维坐标(coor)到H值(value)的相互转换。...capacity，递归分裂子节点。
问：我是一个Python迷，并且对迷宫的生成和迷宫解决的办法非常感兴趣。我很羡慕别人能够做出生成迷宫的动画。我如何能够用Python自己做一个迷宫动画，然后把我的成果展示给其他人呢？...（我知道tkinter, pyglet 和 pyqt，但是它们很难发布给别人看） 答：现在，你可以使用库gifmaz来做这件事了，它有一些很好的特性： 1、它是纯Python编写的，没有第三方依赖，只使用内置模块...4、代码都有很好的注释，文档有很好的范例，而且文档很完整。 这个库的一个教程 首先我们需要构建一个GIFSurface对象（类似cairo的ImageSurface类），我们的动画将会画在这个对象上。...我们有了绘制动画的“桌面”，和绘制动画需要的参数，接下来就是实际地画一个迷宫了。 这个语句在图片中央绘制了一个迷宫，然后在四边留了8像素的空白，迷宫中每一格在图片中占据5像素*5像素的大小。...然后让我们运行Prim的迷宫算法。 其中我加了两个延迟帧，以便我们能够看清楚动画的过程。 完成了！让我们把这个动画保存到GIF文件。 下面是运行结果，大小小于300K，很赞吧！
引言 大家好，我是小❤，一个流浪江湖多年的 985 非科班程序员，曾混迹于国企、互联网大厂和创业公司的后台开发攻城狮。...点 个 关 注，不 再 迷 路 1.1 寻找电影般的浪漫 “嘀嗒嘀嗒”，“嘀嗒嘀嗒”，当夜幕降临，你还在代码的海洋中与 BUG 进行着“持久战”。...在这篇文章中，小❤将分享常见交友软件的系统设计，探索它是如何在短短几年内从 idea 到蓬勃发展再到没落的（不是，瞎说什么大实话！ 2....常见的空间邻近算法： 1）网格（Grid）算法 这种算法是将地理空间简单划分成网格，可以认为网格内的点是邻近的。...GeoHash 将地图划分为网格，每次划分会将网格细分为更小的区域，经纬度坐标每一次细分都相应地在 GeoHash 字符串上增加一个字符。 2.
你好，我是zhenguo(郭震) 今天总结强化学习第四篇：强化学习的应用领域 第一：游戏领域。 强化学习在游戏领域有很多应用，如围棋、象棋、扑克等游戏的AI对战。...AlphaGo在对阵李世石的第二局中做出的传奇落子动作。这手落子震惊了许多职业棋手。...如下图所示，这是我转换一个训练机器人行走的图，gif格式： 参考视频：https://www.youtube.com/watch?...这也是这个强化学习系列课程想要给大家解决的一个问题：如何在迷宫中训练智能机器人，寻找最佳路径。 第四：资源管理 强化学习可以用于资源管理的优化，例如电力系统调度、网络流量管理等。...通过学习最优的资源分配策略，可以提高资源利用效率。 比如车间的资源调度，可以使用强化学习。 第五：金融交易 强化学习可以用于金融领域的交易决策，例如股票交易、期权交易等。
然而，就像人类的认知一样，强化学习智能体的好奇心产生于正确的知识，那么我们如何在不惩罚智能体的情况下激发好奇心呢？...这种方法从神经科学的好奇心理论中得到启发，但已被证明在强化学习模型中相对低效。效率低下的核心原因是，最大化与目标任务无关的好奇心没有直接关系，因此会导致拖延。下面让我来解释这恼人的事实?...让我们以一个环境为例，在这个环境中，强化学习智能体被放入一个三维迷宫中。迷宫中有一个珍贵的目标，它会给予很大的奖励。现在，智能体被给予了电视遥控器，并可以切换频道。...在行动中的情景记忆 Google在一系列视觉环境（如ViZDoom和DMLab）中测试了情景记忆强化学习模型，结果非常出色。...情节记忆方法是我看到的最有创意的方法之一，可以鼓励强化学习智能体的好奇心。 随着强化学习在AI系统中变得越来越普遍，诸如情景记忆的方法应该成为这些体系结构的重要组成部分。
DeepMind 使用人工智能体实现了类似于网格的表示（「网格单元」），它们与觅食哺乳动物的生物网格细胞非常类似。...更重要的是，模拟的老鼠能够使用网格状细胞编码在虚拟迷宫中导航，甚至学会了走捷径。...「我在实验中多次观察到了它们，那种规律性实在是太美了。」 ? 科学家很好奇地发现他们需要调整该系统来添加额外的噪声，使其单元与大脑中的单元更加类似，以使网格状的活动显现。...研究者认为 AI 是测试大脑假设的有效工具，但是它不大可能回答关于大脑如何和为什么使用特定编码方式的问题。「我读到这篇论文时非常兴奋，看起来 AI 或许能够加速我们对大脑导航方面的研究。」...摘要：深度神经网络在目标识别、复杂游戏（如围棋、导航）等领域中取得了很大成果，但是在人工智能体方面仍然面临巨大挑战，使用强化学习方法训练的深度神经网络也无法匹敌哺乳动物的空间行为，这种行为主要是受内嗅皮层中网格单元的支持
09+0A：接着如下 Linux基础入门的内容包括以下几个方面： Linux基础命令：学习如何在Linux终端中使用基础命令，如文件和目录操作、进程管理、文本编辑等。...对于每个网格单元，你可以移动到南边或东边的相邻单元（如果存在）。...通过遍历每个网格单元，并对其进行DFS搜索，找到以当前网格单元为起点的最长递增路径。使用一个缓存数组 cache 来记录每个网格单元对应的最长路径长度，避免重复计算。...其中，partition函数用来确定基准元素的位置，quickSort函数用来递归地对左右子序列进行排序。最终，程序输出排好序的数组。..., high); // 对划分点左边部分进行递归排序 quickSort(arr, low, pi - 1); // 对划分点右边部分进行递归排序 quickSort(arr, pi + 1,
如果当前网格的值不同，将 isLeaf 设为 False， 将 val 设为任意值，然后如下图所示，将当前网格划分为四个子网格。 使用适当的子网格递归每个子节点。...我们将网格划分为四个子网格。 topLeft，bottomLeft 和 bottomRight 均具有相同的值。...topRight 具有不同的值，因此我们将其再分为 4 个子网格，这样每个子网格都具有相同的值。...整体复杂度为 O(n^2 + \log{n} \times n^2) 空间复杂度：忽略递归带来的额外空间开销，复杂度为 O(1) 递归（前缀和优化） 使用前缀和优化「判断全 0 和全 1 」的操作...为了方便各位同学能够电脑上进行调试和提交代码，我建立了相关的仓库：https://github.com/SharingSource/LogicStack-LeetCode 。
DeepMind 使用人工智能体实现了类似于网格的表示（「网格单元」），它们与觅食哺乳动物的生物网格细胞非常类似。...更重要的是，模拟的老鼠能够使用网格状细胞编码在虚拟迷宫中导航，甚至学会了走捷径。...「我在实验中多次观察到了它们，那种规律性实在是太美了。」 科学家很好奇地发现他们需要调整该系统来添加额外的噪声，使其单元与大脑中的单元更加类似，以使网格状的活动显现。...研究者认为 AI 是测试大脑假设的有效工具，但是它不大可能回答关于大脑如何和为什么使用特定编码方式的问题。「我读到这篇论文时非常兴奋，看起来 AI 或许能够加速我们对大脑导航方面的研究。」...摘要：深度神经网络在目标识别、复杂游戏（如围棋、导航）等领域中取得了很大成果，但是在人工智能体方面仍然面临巨大挑战，使用强化学习方法训练的深度神经网络也无法匹敌哺乳动物的空间行为，这种行为主要是受内嗅皮层中网格单元的支持
R-CNN，研究人员们相继提出了其他算法，如 Fast-RCNN，Faster-RCNN 等。...我已在下一节讨论了它的工作原理。您可以看到 VGG-16 架构的以下图像， 它包含全连接层。 ? VGG-16 结构 工作机制 ?...为了训练我们的算法，我们需要一个包含带有对象的图像的训练集，这些对象必须在它们上面有边界框。 通过这种方式学习，算法学习如何在对象上放置矩形框以及放置在何处。...我们将输入图像划分为网格集。 然后我们围绕这些网格制作几个不同宽高比的矩形框。 我们在这些框中应用卷积来研究这些网格中是否存在对象。这里的一匹黑马在图像中更靠近摄像头。...我们讨论的关于划分网格和在这些网格上查找对象的每个操作都适用于从网络的后面到前面的卷积的每个步骤。 分类器也应用在每个步骤中来检测对象。 因此，由于物体在每个步骤中变得更小，它很容易识别。
Tech 前言 现实世界中存在大量的多维空间数据，如加油站位置、河流走向等。...空间填充曲线将高维空间数据映射到一维空间，并利用转换后的索引值存储和查询数据。空间填充曲线通过有限次的递归操作将多维空间划分为众多的网格（如图1所示），再通过一条连续的曲线经过所有的网格。 ?...如线和多边形对象。...如图2所示，Z曲线递归地将空间分成四个子空间，直到达到最大递归次数r，最大分辨率控制着最小网格的大小。每一个空间分裂出的四个子空间分别按照图2（a）所示的方式从0到3编号。...如果没有达到最大分辨率，则继续划分每一个子空间，并依次递归编码，如图2（b）所示。最终，每个最小网格都会有唯一的编码序列。
二面也是问了一道算法题，是寻找迷宫中的最短路径，迷宫中1表示有墙，路不通，0表示可以走。我脑子不知道怎么抽了，直接想用DFS来解，给面试官讲了一下思路。...最后查了一下，这道题我做过，不过做的时候也是直接用的O(mn)的算法，O(n)对我来说，还是不太好想到的。 概率题：考虑五局三胜和三局两胜的情况，哪种更公平之类的。...回答这个问题，主要其实就是考虑复杂度和分布式的知识，以及如何在query中查找专有名词（本身比较简单，考虑复杂度就不简单了）。不过我对分布式了解的不多，就只是自己手动分布式了一下。...❝总结：总体这一面重点感觉在于如何在具体场景中选用合适的机器学习模型，如何构造训练数据。跟具体场景结合的能力还是挺重要的。最后问了一下面试官我的表现如何，面试官说非常满意。感觉稳了，然而没想到。。。...实际问题：在用户搜索场景中，如何在用户搜索的时候根据用户输入的字推荐要搜索的query，以及如何把错别字也正确推荐。主要是考虑输入与候选集合的匹配，用户画像的构建，考虑用户的历史搜索信息。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
