一、前言 在项目开发中，日志系统是系统的一个重要组成模块，通过在程序中记录运行日志、错误日志，可以让我们对于系统的运行情况做到很好的掌控。...而 MongoDB 作为一个文档型的 NoSQL 数据库，相比于传统的关系型数据库，NoSQL 数据库具有更好的扩展性、以及能提供更出色的性能，因此，我最终选择将日志信息记录到 MongoDB 中。...当然，最主要的原因还是目前在工作中有开始尝试用 MongoDB 存储用户上传的文件，在找资料的过程中看到有使用 MongoDB 存储日志的案例，Grapefruit.VuCore 既然作为一个学习项目，...对于这个服务，你同样可以在计算机管理中对这个服务进行管理。 在默认情况下，当我们安装好 MongoDB 后是不允许远程访问以及不存在任何的用户权限的。而这些，在我们正式使用中都是需要考虑的。 ...因为我们是需要将日志信息写入 MongoDB 中的，这里我也添加了一个子节点用来设置写入 MongoDB 数据库中的数据字段。
发布的第一天就有了6万用户，第二天涨到了16万，5天之后涨到了50万。同时在线人数大概1000，已经上传的截图数目接近20万，应用中还包括一个图像检测和缩放工具。...24小时开发出一个高扩展的MVP 我开发GoSnaps从头到尾只花了24个小时，典型MVP。我用了一个以前的NodeJS boilerplate项目和MongoDB作为数据库。...如果不考虑扩展性就是要开发速度的话，把截图存储在MongoDB最方便了，基本什么都不用做。查询截图也可以对所有已上传的图片直接用查询语句，一个数据集，一个查询语句，够简单吧。...我的做法是在图片进行识别和缩放操作之后将它存储到谷歌云存储上面，这样就避免了截图请求对服务器和数据库的直接冲击。数据库方面我则是按照搜索的条件预先对图片进行了分类，比如点赞最多的、最新上传的等等。...架构没变，只换了个语言和数据库瞬间把负载降低到了之前的5%。其实归根结底只有一个原因就是创业艰难缺钱，好在Cloud Games现在经营得很不错。我想当时语言的转换对成功是起到了很大作用的。
本文代码仓库： fundebug-mongodb-backup 引言 今年 8 月，腾讯云竟然把客户前沿数据的数据弄没了，Fundebug在第一时间进行了一些简单的技术分析： 一方面，腾讯云对这件事负有不可推卸的责任...大概是因为我们没有公布备份方案的技术细节，我们受到了质疑： 要么多重备份是假的 对于这种指责，我的原则是必须怼回去。...oplog(operation log)是复制集节点同步数据的关键，Primary 节点将数据库写操作记录到 oplog 中，Secondary 节点从 Primary 节点处复制 oplog 并应用到本地数据库中...关于 MongoDB 复制集的更多技术细节，以后我再单独详述，欢迎关注。 阿里云磁盘快照 快照能够保留某一时间点的磁盘数据状态，因此可以作为一种数据备份方式。很简单，配置一下自动快照策略就好了： ?...例如，Fundebug累计处理了6 亿+的错误事件，存在 event 集合中，因为我们已经聚合过了，所以没有必要备份，而且数据量太大，备份也不现实。
/01/18/why-rethinkdb-failed.html 当我们宣布RethinkDB 将关闭时，我承诺会写一份事后分析。...他们希望产品在需要时实际存在，而不是三年后。 触手可及的速度。人们希望 RethinkDB 能够快速处理他们实际尝试过的工作场景，而不是我们建议的“现实世界”中的场景。...每次 MongoDB 发布一个新版本并且人们祝贺他们做出改进时，我都会感到一阵怨恨。他们会宣布他们修复了 BKL，但实际上他们会将粒度级别从数据库降低到集合。...为什么我们选择了一个糟糕的市场并针对错误的指标优化产品？ 当我还是个小孩的时候，我想建立自己的收音机。我用胶合板做了一个盒子，在里面扔了一些金属垃圾，然后将盒子连接到电源线。...等到我们建立了一个能很好地映射现实的心智模型时，我们发现自己缺乏现金，在一个充满有能力的竞争对手的困难市场中，以一个落后三年的产品，世界上最好的上市团队也救不了我们。
消除对技术栈的长期依赖。开发新服务时，您可以选择新的技术栈。 微服务通常组织得更好，因为每个微服务都有一个非常具体的工作，并且不关心其他组件的工作。...有一个测试这个模块的文件，我稍后会在文章中讨论，但是如果需要使用它，你可以在github repo branch step-1上找到它。...正如你所看到的，我们正在传递一个options对象，它拥有mongo连接所需的所有参数，当我们通过身份验证过程时它将传递event-mediator对象。...注意*这里我使用的是一个event-emit对象，由于某种原因，一旦它通过身份验证时它不会返回数据库对象，那么程序将会出错。...然后，我们将我们的微服务放入Docker容器中，以便能够进行一些集成测试。 我们在NodeJs中学到了许多，但这只是开始而已。我希望这个东西可以在您使用Docker和NodeJS时帮助你。
搞定的部分 迁移学习 我从尝试微调一个模型起步，这是一个在ImageNet图像数据库上用GoogLeNet架构预训练的模型。很快，这就让我得到> 90％的准确性！...但是，当我对每个图像进行四次旋转而得的预测取平均值时，改善出现了！ 92% → 92.6%。 澄清一下：上面提到的“预测取平均值”，我的意思是平均了每个类在4个图像变化中产生的模型的概率。...我重新训练了一个模型，加入“图像旋转”和“低速率附加训练”，并得到了如下提升： 92.6% → 93.5% 在训练数据中重新标签错误 当分析分类器对验证集的错误时，我注意到一些错误的置信度非常高。...即使最终测试集在地面实况中有错误，一个更泛化的模型在所有图像中，更有可能达到更高的精度。 我手动标记了709张图像，当时我的一个模型产生了错误。 这改变了709张图像中337张的地面实况。...在这个过程中我学到了很多很多。以后有机会再跟大家交流更多。
信息收集 拿到手的目标是一个 ip 加端口的站点， 复制链接到浏览器打开，可以看到重定向至一个登录页，在观察登录入口时，发现验证码可复用，之后使用 burp 重发几次请求，得知同一账号，密码可无限错误，...这里简单思考了一下，能利用的端口有 mysql，redis，mongodb，ssh 还有一些 http 服务，这其中 mysql 版本为 8.0.17，在这个版本，漏洞多多少少都修复的差不多了，接下来尝试...mongodb 未授权漏洞，不出所料，漏洞修复了；再尝试弱口令连接，也不存在~~，之后经过其它的信息收集手法，暂时对目标业务信息有了一个比较简单的认知，随后还是回到 http 服务，尝试从 web 端入手...之后客户直接给出了个测试账号，我这边也懒得爆破了，就凑合着用了~~ 一波操作进到后台，随便点点点，发现了个上传的位置，准备好一个马儿，上传截包分析，经过几次实验后，发现 uploadFormat 上传参数可控...注：发布该文章时，所有漏洞均已修复，因为知道各位师傅的厉害，所有打码严重一点~~；文章如有错误，请第一时间指出，让萌新我学习一下，谢谢各位~ 小结 此次渗透最核心的问题还是 redis 弱口令，如果口令稍微复杂一点
大家好，在这篇文章中，我将解释我是如何在 2024 年的第一天在bugbounter中发现 4 个程序错误的。...首先，我创建了一个帖子“123”，但有些字符有块。 只有某些标签有效，例如，当我放置 标签或 <a href 标签时，它被删除了。...后来，在创建帖子时，我意识到我们可以创建带有 SVG 文件扩展名的帖子。 我快速上传了包含 XSS 负载的 SVG 文件并创建了一篇帖子。...:) 然后我意识到其他标签，如 等被阻止，当我尝试以下加载时，xss 成功工作:) "> Bug3 删除另一个用户的帖子...这些是我今年遇到的第一个 bug，我在 VDP 中发现了这些错误。我报告了 4 个错误，其中3个被接受。尝试在目标上花更多的时间并尝试理解每个功能。
学习 NoSQL 数据库，比如 MongoDB。 知道在某些情况下，哪一种更合适。 知道如何使用你的后端语言连接数据库(比如 Node.js + MongoDB)。...Web 应用架构 当我们认为已经掌握了 HTML/CSS、JavaScript、后端编程、数据库 和 HTTP/REST ，就到了难对付的部分了。...这时，如果想创建一个稍微复杂的 web 应用，还需要了解如何组织代码，如何分割文件，往哪里保存大量媒体文件，如何结构化数据库里的数据，何处执行特定的计算任务（客户端还是服务器端），以及更多其他问题。...然而，像谷歌这样的公司在面试中问这些类型的问题是出了名的。...但是，作为一个合格的开发人员，而不是编写低效的代码或使用错误的工具，部分要求是理解一些基本算法和数据结构，能够分析权衡。所以你一定要学会一些东西： 研究哈希表并试着在更深的层次上理解它们。
点更多，我们可以看到有大约有3w多简历 ? 我们先随便点一个人的简历 ? 可以看到当我们是个人用户时已经可以看见这个求职者的很多信息了，但是身份证信息和联系方式作为个人用户是看不见的 ?...然后我们尝试点一下下载简历： ? 果然只有企业用户才能下载。 这时候我想起了在各大平台看见的逻辑漏洞的总结，于是尝试用burp抓包来看看有没有可能越权成为企业用户 我们对下载简历抓包 ?...然后这里必须uid也得改成随便一个企业的uid，因为这里usertype是判断用户账号是个人用户还是企业用户，然后这个uid是判断有没有下载权限。 我们在首页随便找一个企业 ? 然后发包 ?...然后我尝试了用内联注释，编码等都没有成功绕过.....可能姿势太少了吧。 但是这个报错让我知道了完整的sql语句 于是想到了用万能密码。...同样这里只能跑出数据库名....因为select被waf了，我暂时还没姿势绕过。 任意文件上传 在前面万能密码进入oa后台后，我尝试getshell。于是浏览了一遍后台的功能。
Hashnode时，我正在寻找一个导入功能，幸运的是Hashnode有一个markdown导入器，允许批量导入markdown帖子，但需要采用某种特定格式，出于某种原因我在导入帖子时不断出错，由于UI上没有描述性错误...，导致我无法弄清楚原因，然后我查看了我的Burp中的响应，就在那时我注意到了一个Bug 漏洞利用 寻找 LFI Markdown有自己的怪癖和功能，允许在文件中引用图像，要在博客文章或任何MD文件中包含图像可以使用以下语法...[anotherimage.png](/images/blog.jpg) 在Burp Suite中观察时，发现Hashnode触发了一个ENOENT错误，指出它无法找到该文件，如下面的屏幕截图所示 为了从服务器获取内部文件.../etc/passwd) 这一次应用程序尝试使用路径中指定的位置来获取图像，而不是直接使用Markdown正文中显示的图像，应用程序遍历目录并passwd为我们获取文件，但它没有将内容显示在响应中而是将文件上传到...当与其他漏洞链接时，即使是最小的低严重性问题也可能升级，在这里描述性堆栈跟踪中的一个简单信息泄露错误帮助我们找出了markdown解析器的行为，这反过来又允许我们从服务器获取内部文件
突然我想到了我之前写过的一系列私人知识库文章，于是我想到了向量数据库，毕竟这是当前非常热门的技术之一。如果AI离开了向量数据库，就好像失去了灵魂一样。...如果你对任何内容有任何疑问，请点击以下官方文档链接查看更多信息：https://img-bss.csdnimg.cn/1113tusoutuanli.pdf虽然这是官方的文档，里面存在许多错误，我已经积极提供了反馈...向量数据库支持动态模式（Schema），在写入数据时可以写入任意字段，无需提前定义，类似于MongoDB。目前，主键id和向量字段vector是固定且必需的，字段名称也必须一致，否则会报错。...你可以继续添加这些字段，因为它们类似于MongoDB。但请注意，text字段必须与你在配置embedding时指定的字段相同，否则无法将其转换为向量。...今天先跟向量数据库熟悉一下界面操作，感觉就像在使用Kibana查询ES数据一样。不知道你们有没有类似的感觉。好了，今天我们先只关注文本操作，下一期我会尝试处理图像或者视频数据。
在处理非结构化/半结构化的大数据时；在水平方向上进行扩展时；随时应对动态增加的数据项时可以优先考虑使用NoSQL数据库。...通过精简对事务的支持，性能得到了提升，特别是在一个可能会穿过多个服务器的系统里。 16、为什么我的数据文件如此庞大? MongoDB会积极的预分配预留空间来防止文件系统碎片。...25、如果在一个分片(shard)停止或者很慢的时候，我发起一个查询会怎样? 如果一个分片(shard)停止了，除非查询设置了“Partial”选项，否则查询会返回一个错误。...mongodb分片是基于区域的，所以一个集合的所有对象都放置在同一个块中，只有当存在多余一个块的时候，才会有多个分片获取数据的选项 51、 当我试图更新一个正在被迁移的块（chunk）上的文档时会发生什么...要建立更多的集合的话，MongoDB 也是支持的，只需要在启动时加上“--nssize”参数，这样对应数据库的命名空间文件就可以变得更大以便保存更多的命名。
很多时候当我们有一个产品想法的时候，我们往往发现，前端写完了，后端怎么搞？数据库怎么搞？域名怎么搞？域名还要备案？应用部署怎么搞？我得买什么样的服务器啊？静态资源 CDN 怎么搞？...且看下面的表格： 能 力 作 用 说 明 云函数 无需自建服务器 在云端运行的代码，微信私有协议天然鉴权，开发者只需编写自身业务逻辑代码 数据库 无需自建数据库 一个既可在小程序前端操作，也能在云函数中读写的...上面的表格中提到了“云开发”中的一些能力：“云函数”，“数据库”，“存储”，“云调用”，我们可以将这些词带入你曾经开发过的应用，看看它们分别代表了哪些部分。...这里的“数据库”其实就是类似于一个 MongoDB，你可以点进去创建一个个的 collection（即：关系型数据库中的table）;这里的“存储”其实就是“文件夹”，我们可以通过微信提供的 api把图片上传到...一般开发过程中我们在开发者工具中的cloudfunctions目录下创建云函数（比方说是:user-add）开发完成之后在云函数目录点击右键——上传即可。
本文是罗聪在“我和MongoDB的故事”征文比赛的获奖文章，下面我们一起来欣赏下。...机缘巧合，团队中之前负责这块的老同志转互联网公司了，数据库的运维工作就来到了我这边。...B 在随后的排查过程中，验证GUI Shell的remove方法时，虽然执行了setSlaveOk()，但是将"not master"的提示错误解读为不可操作，漏掉了这个主要细节。...架构师的征程 在以前学习MongoDB原理过程中，我借助对书本的阅读和官方文档的理解，彻底改变了对知识获取方式的认识。...比如，NoSQL中BASE和CAP理论已经出来了很长时间，只是在Hbase/MongoDB/Cassandra这种技术普及后才被更多人了解。
突然我想到了我之前写过的一系列私人知识库文章，于是我想到了向量数据库，毕竟这是当前非常热门的技术之一。如果AI离开了向量数据库，就好像失去了灵魂一样。...如果你对任何内容有任何疑问，请点击以下官方文档链接查看更多信息：https://wsdaw.hosthk2.99web.top/虽然这是官方的文档，里面存在许多错误，我已经积极提供了反馈，但可惜没有得到有效处理...向量数据库支持动态模式（Schema），在写入数据时可以写入任意字段，无需提前定义，类似于MongoDB。目前，主键id和向量字段vector是固定且必需的，字段名称也必须一致，否则会报错。...你可以继续添加这些字段，因为它们类似于MongoDB。但请注意，text字段必须与你在配置embedding时指定的字段相同，否则无法将其转换为向量。...今天先跟向量数据库熟悉一下界面操作，感觉就像在使用Kibana查询ES数据一样。不知道你们有没有类似的感觉。好了，今天我们先只关注文本操作，下一期我会尝试处理图像或者视频数据。
优秀的开发人员关心效率和编写干净代码一样多。容器化可以提高工作流程和应用程序的效率，因此在现代开发中变得风靡一时。...在这种情况下，您将创建两个服务：一个用于NodeJS应用程序，另一个用于MongoDB数据库。...如果不这样做，Docker将尝试从Docker Hub中提取图像，当它失败时，它将有完全失败的docker-compose命令。...在这里，您已指定构建上下文是当前目录，因此当Docker无法在本地找到sample:1.0图像时，它将使用当前目录中的Dockerfile构建它。...您的应用程序将从MongoDB数据库获取数据，为此，应用程序将需要一个连接字符串，它将从名为“MONGO_URI”的环境变量中获取。
然后，我回答说，不是，它的基于Windows和Linux的应用程序托管MSSQL和MySQL数据库平台+ NoSQL数据库，如MongoDB和Redis等。 他沉默了一会儿。...然后他接着说， 我们接着提到，Uhuru还是不是在测试阶段？ 我回答他是的，他是对的，我也重复告诉了他提到的，我在这个过程中最初遇见的一些错误。...当我写博客的时候，我告诉他，我会在演讲的时候为你演示。 他期待着。...Cloud Manager设置 - 点击查看菜单 - >云管理器 4）我们现在要创建一个新的服务，使我们的示例应用程序连接到Uhuru PaaS 在我们进入之前，我想在示例应用程序中展示用于创建数据库表的示例代码...我遇到了一些错误，但如果你按照这个博客，你应该能够部署并且没有任何问题！ Uhuru PaaS是为谁和不适用谁？ Uhuru PaaS是为谁？ Uhuru PaaS不适用！
target.com 在寻找我们的目标时，我遇到了 edu.target.com 子域，该程序提供的服务是一个教学平台，因为有不同类型的用户，如学生和教师，旨在帮助学生学习与技术相关的主题，如软件工程机器人等...… 开始我们的故事吧 我遇到了上传功能，试图上传一张图片来分析这个功能是如何工作的 让我们尝试上传 PHP 脚本 我发现服务器没有响应 经过对应用程序行为的一些分析，我发现如果请求没有通过验证，连接将被关闭...： .htaccess 文件是分布式配置文件，提供了一种基于每个目录进行服务器配置更改的方法，我希望开发人员在图像上传目录上使用它来防止 RCE 所以根据这个，我想到了2个场景 重写配置 && 路径遍历...正确，使用数据库 如您所见，开发人员也将我们的文件名参数保存在某处 所以下一步测试 SQLI 的文件名参数，我为此使用了 BurpSuite来fuzz 但一无所获 公共漏洞： 但也许上传功能中的开发人员使用库来处理可能存在漏洞的上传图像...应用级DOS攻击： 该应用程序在客户端验证图像大小并仅允许上传小于 1 MB 的图像 所以我试图通过上传一个大图像来获取 DOS，所以我只使用了一个大小超过 1 MB 的图像来测试服务器端的大小是否有验证
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
