推荐系统主要解决的是信息过载问题，目标是从海量物品筛选出不同用户各自喜欢的物品，从而为每个用户提供个性化的推荐。推荐系统往往架设在大规模的业务系统之上，不仅面临着用户的不断增长，物品的不断变化，而且有着全面的推荐评价指标和严格的性能要求（Netflix 的请求时间在 250 ms 以内，今日头条的请求时间在 200ms 以内），所以推荐系统很难一次性地快速计算出用户所喜好的物品，再者需要同时满足准确度、多样性等评价指标。
随着大数据和人工智能时代的到来，向量检索的应用场景越来越广泛。在信息检索领域，向量检索可以用于检索系统、推荐系统、问答系统等，通过计算文档和查询向量之间的相似度，快速地找到与用户需求相关的信息。此外，在大语言模型和生成式AI场景，向量索引做为向量数据的底层存储，也得到了广泛的应用。
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。
这是渲染系列的第二篇文章，第一篇讲述的是矩阵，这次我们会写我们的第一个Shader并且导入一张纹理。
协作翻译 原文：How to Read Big Files with PHP (Without Killing Your Server) 链接：https://www.sitepoint.com/performant-reading-big-files-php/ 译者：Tocy, Tony, 南宫冰郁, Tot_ziens 作为PHP开发人员，我们并不经常需要担心内存管理。PHP 引擎在我们背后做了很好的清理工作，短期执行上下文的 Web 服务器模型意味着即使是最潦草的代码也不会造成持久的影响。 很少情况下
使用 Kafka，如何成功迁移 SQL 数据库中超过 20 亿条记录？我们的一个客户遇到了一个 MySQL 问题，他们有一张大表，这张表有 20 多亿条记录，而且还在不断增加。如果不更换基础设施，就有磁盘空间被耗尽的风险，最终可能会破坏整个应用程序。而且，这么大的表还存在其他问题：糟糕的查询性能、糟糕的模式设计，因为记录太多而找不到简单的方法来进行数据分析。我们希望有这么一个解决方案，既能解决这些问题，又不需要引入高成本的维护时间窗口，导致应用程序无法运行以及客户无法使用系统。在这篇文章中，我将介绍我们的解决方案，但我还想提醒一下，这并不是一个建议：不同的情况需要不同的解决方案，不过也许有人可以从我们的解决方案中得到一些有价值的见解。
我们的一个客户遇到了一个 MySQL 问题，他们有一张大表，这张表有 20 多亿条记录，而且还在不断增加。如果不更换基础设施，就有磁盘空间被耗尽的风险，最终可能会破坏整个应用程序。而且，这么大的表还存在其他问题：糟糕的查询性能、糟糕的模式设计，因为记录太多而找不到简单的方法来进行数据分析。我们希望有这么一个解决方案，既能解决这些问题，又不需要引入高成本的维护时间窗口，导致应用程序无法运行以及客户无法使用系统。在这篇文章中，我将介绍我们的解决方案，但我还想提醒一下，这并不是一个建议：不同的情况需要不同的解决方案，不过也许有人可以从我们的解决方案中得到一些有价值的见解。
向量搜索引擎是数据库一个重要的新增功能，它面临着扩展性、垃圾回收、并发性、磁盘利用效率和组合能力等多方面的架构挑战。本文将介绍DataStax如何在Astra DB和Apache Cassandra中添加这些功能。
在MySQL数据库中，索引是提高查询性能的关键。为了进一步优化查询性能，MySQL引入了索引下推的概念。索引下推是指在使用索引进行查询时，将过滤条件下推到存储引擎层级进行处理，减少不必要的数据读取和传输，从而提高查询效率。
Numpy 的核心是ndarray对象，这个对象封装了同质数据类型的n维数组。起名 ndarray 的原因就是因为是 n-dimension-array 的简写。
原标题 | Reverse Image Search with Machine Learning
在MySQL 5.6之前，当查询使用到复合索引时，MySQL会先根据索引的最左前缀原则，在索引上查找到满足条件的记录的主键或行指针，然后再根据这些主键或行指针到数据表中查询完整的行记录。之后，MySQL再根据WHERE子句中的其他条件对这些行进行过滤。这种方式可能导致大量的数据行被检索出来，但实际上只有很少的行满足WHERE子句中的所有条件。
向量组合条件查询，报 [vector] malformed query, expected [END_OBJECT] but found [FIELD_NAME] 错误，
这是我们经常被问到的一个问题。如果除了向量数据以外，用户还有其他标量数据信息，那么其业务可能需要在进行语义相似性搜索（https://zilliz.com.cn/glossary/%E8%AF%AD%E4%B9%89%E6%90%9C%E7%B4%A2-%EF%BC%88semantic-search%EF%BC%89）前先根据某种条件过滤数据，例如：
本文将通过一系列的天鹅图片来解释卷积神经网络（CNN）的概念，并使用CNN在常规多层感知器神经网络上处理图像。
Deep Dive 是由 Milvus 社区发起的代码解析系列直播，针对开源数据库 Milvus 整体架构开放式解读，与社区交流与分享 Milvus 最核心的设计理念。通过本期分享，你可以了解到云原生数据库背后的设计理念，理解 Milvus 相关组件与依赖，了解 Milvus 多种应用场景。
今天我们来学习 Python 中的 lambda 函数，并探讨使用它的优点和局限性
卷积神经网络（Convolutional Neural Network，CNN）是前馈人工神经网络的一种。在图像识别领域有着广泛的应用并且非常有效。当人们谈到计算机视觉时，通常都绕不开卷积神经网络。
在简单数组或列表中插入新数据时，插入数据的索引不是从要插入的值确定的。这意味着密钥（索引）和值（数据）之间没有直接关系。因此，如果需要在数组中搜索值，则必须在所有索引中进行搜索。在哈希表中，您可以通过散列值来确定键或索引。这意味着密钥是根据值确定的，每次需要检查列表中是否存在该值时，您只需对值进行散列并搜索该密钥，查找速度非常快，时间复杂度为O(1）。
例如，SQL 数据库有预定义的 Schema，但这些 Schema 通常都不能修改，用户只有在创建时才能定义 Schema。Schema 的作用是告诉数据库使用者所希望的表结构，确保每行数据都符合该表的 Schema。NoSQL 数据库通常都支持动态 Schema 或可以不创建 Schema（即在创建数据库时无需为每个对象定义属性）。
但是，更常见的是，源数据与目标数据结构不匹配。这可能是因为某些源数据需要过滤掉。例如，可能不需要某些事件或事件的字段，因此将其删除。或者某些数据需要混淆，因为其中包含个人身份信息。在交付给目标之前，可能需要添加其他字段。或者，也许出于富集目的，流数据需要与一些参考数据结合在一起。流处理可以对所有收集的数据连续且低延迟地执行所有这些功能。
翻译自博客：IMPLEMENTING A CNN FOR TEXT CLASSIFICATION IN TENSORFLOW 原博文：http://www.wildml.com/2015/12/implementing-a-cnn-for-text-classification-in-tensorflow/ github：https://github.com/dennybritz/cnn-text-classification-tf 在这篇文章中，我们将实现一个类似于Kim Yoon的卷积神经网络语句分类
数组和链表分别代表了连续空间和不连续空间的最基础的存储方式，它们是线性表（Linear List）的典型代表。其他所有的数据结构，比如栈、队列、二叉树、B+ 树等，都不外乎是这两者的结合和变化。以栈为例，它本质就是一个限制了读写位置的数组，特点是只允许后进先出。
（温馨提示：本系列知识是循序渐进的，推荐第一次阅读的同学从第一章看起，链接在文章底部）
近期，关于 ChatGPT 的访问量有所下降的消息引发激烈讨论，不过这并不意味着开发者对于 AIGC 的热情有所减弱，例如素有【2023 最潮大语言模型 Web 开发框架】之称的大网红 LangChain 的热度就只增不减。
键值存储 ( key-value store )，也称为 K/V 存储或键值数据库，这是一种非关系型数据库。每个值都有一个唯一的 key 关联，也就是我们常说的 键值对。
作者：lberto Hojel ; Yutong Bai ; Trevor Darrell ; Amir Globerson ; Amir Bar
WordPress是一个非常强大的内容管理系统（CMS），是免费和开源的。因为任何人都可以发表评论，创建一个帐户，并在WordPress上发帖，许多恶意行为者已经创建了机器人和服务器网络，这些网络通过暴力攻击来破坏和篡改WordPress网站。Fail2ban工具可用于防止未经授权访问腾讯CVM和WordPress站点。它注意到可疑或重复登录失败，并通过修改腾讯CVM的防火墙规则主动禁止这些IP。
总的来说，结合目前搜集到的一些资料，可以看到目前ClickHouse核心架构由下图构成，主要的抽象模块是Column、DataType、Block、Functions、Storage、Parser与Interpreter。
由于使用权重矩阵的方式，会对典型RNN可以学习的模式类型存在一些显着的限制。因此，对于称为长短期存储器网络（Long Short-Term Memory networks）的RNN的变型充满了兴趣。 正如我将在下面描述的，LSTMs比典型的RNN具有更多的控制，这使得LSTMs允许学习更复杂的模式。
大数据文摘作品 编译：晚君、笪洁琼、钱天培 循环神经网络（RNN），长短期记忆（LSTM），这些红得发紫的神经网络——是时候抛弃它们了！ LSTM和RNN被发明于上世纪80、90年代，于2014年死而复生。接下来的几年里，它们成为了解决序列学习、序列转换（seq2seq）的方式，这也使得语音到文本识别和Siri、Cortana、Google语音助理、Alexa的能力得到惊人的提升。 另外，不要忘了机器翻译，包括将文档翻译成不同的语言，或者是神经网络机器翻译还可以将图像翻译为文本，文字到图像和字幕视频等等。
使用递归神经网络（RNN）序列建模业务已有很长时间了。但是RNN很慢因为他们一次处理一个令牌无法并行化处理。此外，循环体系结构增加了完整序列的固定长度编码向量的限制。为了克服这些问题，诸如CNN-LSTM，Transformer，QRNNs之类的架构蓬勃发展。
为了最大限度地减少与电源相关的问题的有害影响，备用电池被应用于插入设备，如计算机。一旦发生浪涌或断电，备用电池几乎会立即启动，为机器供电一小段时间，如果在遇到停电时使用计算机，备用电池将允许保存文件并正确关闭计算机，直到电力稳定恢复，备用电池解决方案为保护您在计算机和其他设备上的投资提供了一个不错的选择，您的设备可以使用的时间取决于电池容量以及停电期间消耗的电量。
我们现在来看看的replication数据复制的问题，也就是在多个节点上维护相同数据的拷贝，每个节点被称为replica 副本。数据复制是许多分布式数据库、文件系统或其他存储系统的标准特性之一。它是我们实现容错的主要机制之一：如果一个副本出现故障，我们可以继续访问其他副本上的数据备份。
很多人想到的是HashMap。 确实可以将值映射到 HashMap 的 Key，然后可以在 O(1) 的时间复杂度内返回结果，效率奇高。但是 HashMap 的实现也有缺点，例如存储容量占比高，考虑到负载因子的存在，通常空间是不能被用满的，而一旦你的值很多例如上亿的时候，那 HashMap 占据的内存大小就变得很可观了。
当 AI 在某一个单点任务上的表现接近或者超越人类的时候，就会给行业带来巨大的商机。在视觉分类、检索、匹配、目标检测等各项任务上，随着相关算法越来越准确，业界也开始在大量商业场景中尝试这些技术
电力价格预测在现代电力系统中扮演着至关重要的角色。多年来，电力价格预测（EPF）的技术已经取得了显著的进展，其中机器学习和人工智能的最新发展发挥了引领作用。但在电力价格预测（EPF）领域，可复现性一直是一个重大挑战。许多研究使用了独特且非公开的数据集，并在过短和有限的市场样本上测试了他们的方法，这使得难以评估新预测算法的有效性。
本文简要介绍了一种简单的状态切换模型，该模型构成了隐马尔可夫模型（HMM）的特例。这些模型适应时间序列数据中的非平稳性。从应用的角度来看，这些模型在评估经济/市场状态时非常有用。这里的讨论主要围绕使用这些模型的科学性。
聊eBPF首先得知道BPF，BPF如果也不熟悉，那大名鼎鼎的 tcpdump 和 wireshark大家很熟悉，他俩是借助BPF实现的。
英文：Christopher Pitt ，译文：oschina www.oschina.net/translate/performant-reading-big-files-php 作为PHP开发人员，我们并不经常需要担心内存管理。PHP 引擎在我们背后做了很好的清理工作，短期执行上下文的 Web 服务器模型意味着即使是最潦草的代码也不会造成持久的影响。 很少情况下我们可能需要走出这个舒适的地方 ——比如当我们试图在一个大型项目上运行 Composer 来创建我们可以创建的最小的 VPS 时，或者当我们需要
MySQL最常用的架构就是主从复制了，其实主从复制有很多选项，特别是在从库端，我们可以设置复制过滤，比如说忽略某张表或某个库。这些过滤选项都是可以在线修改而不用重启的。原来对这块了解不多，最近看了下相关资料，个人觉得这个功能还是很方便的，本篇文章会将这块内容分享给大家。
对于普通的神经网络，首先收到输入数据，然后通过若干的隐藏层的转换得到输出。每个隐藏层是由一组神经元组成的，并且这些神经元与前一层进行全连接。在单层中的每个神经元都是完全独立的，不会与其他神经元共享任何连接。最后一个全连接层又称为输出层，在分类任务中，它代表了每个类别的得分。常规的神经网络不能很好地扩展到整个图像。在CIFAR-10数据集中，图片的大小只有32*32*3 ，所以全连接的神经网络在第一个隐藏层中就需要 个权重，这看起来还是可以接受的一个数据量，但是如果图片更大，常规的神经网络就不能很好地使用了。显然易见的是，全连接这样的形式带来参数量巨大的问题， 会导致性能的浪费和过拟合问题。
允中 发自 凹非寺 量子位 | 公众号 QbitAI ChatGPT爆火，为何大模型却依然没有得到广泛的应用？ 原因无它，受制于性能和成本。 最近，有这样一个项目引发业内关注和讨论——GPTCache（https://github.com/zilliztech/GPTCache）。 它使用向量数据库技术为各种 LLM 应用提供一层语义缓存，能够存储 LLM 响应，从而显著减少检索数据所需的时间、降低 API 调用开销、提升应用可扩展性。 简单来说，有了 GPTCache，受制于性能优化与成本的 LLM 应用
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。
这是关于创建自定义脚本渲染管道的教程系列的第11部分。它增加了对后处理的支持，目前只支持bloom。
假设我们想要创建一个能够识别图像中的天鹅的神经网络模型。天鹅具有某些特征，可用于帮助确定天鹅是否存在，例如长颈，白色等。
AI 研习社按：今天为大家带来硅谷深度学习网红 Siraj 的一则教学视频：如何从零开始构建一个图像分类器来对猫和狗进行分类。（内心OS：终于要开始图像部分了！）具体视频内容如下，Github 链接详见文末“阅读原文”。 为了照顾没有 WiFi 的小伙伴，我们特别提供了以下根据视频内容整理的文字版（hin 贴心有木有！）： 图像分类发展历史 在80年代和90年代初出现了一些不同的尝试，都用了类似的方法——根据图片的构成特征来给每张图片手动编码进行分类，但变量实在太多了——世界上没有相同的两片叶子。所以结
丸音 APP 是一款基于 AI 音乐创作的音乐分享社区。我们希望通过丸音，让更多喜欢音乐的人能轻松地进行音乐创作，在丸音拥有属于你自己的音乐！
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
