首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

推荐系统还有隐私?联邦学习:你可以

例如,某宝上浏览了几件黑色女式羽绒服,系统根据内容过滤算法直接提取 “黑色”、“羽绒服”、“女式” 等 item 特征,在这个应用场景下,item 具体为 “物品”。...通过对物品进行多次关联性分析,发现多次某宝的点击之间的关联性,从而生成推荐结果,将“女式羽绒服” 推荐到我的某宝首页。...平均而言,五个指标任何一个指标的 diff% CF 和 FCF 小于 0.5%。标准差 std 也很小,表明多次运行后能够收敛到稳定和可接受的解决方案。 ? 表 1....2.4 实验结果 本文实验是一个来自挪威新闻网站的公共新闻推荐数据集(Adressa)和另一个从微软新闻收集得到的真实数据集(MSN-News)上进行的。...FL-MV-DSSM 框架 4.1 FL-MV-DSSM 框架分析 DSSM 最初是为 web 搜索而设计的,它通过多层神经网络从用户的查询词和候选文档中提取语义向量,然后利用余弦相似度来度量查询与文档语义空间中的相关性

4.6K41

【DB笔试面试745】Oracle,RAC环境下的Redo文件可以放在节点本地

♣ 题目部分 Oracle,RAC环境下的Redo文件可以放在节点本地? ♣ 答案部分 不能。...同单实例的系统一样,RAC环境,每个节点实例都需要至少两组Redo日志文件,且每个节点实例有自己独立的Redo日志线程(由初始化参数THREAD定义),例如: SQL> SELECT B.THREAD...4 STALE +DATA/lhrdb/onlinelog/group_4.266.660615543 52428800 YES INACTIVE RAC环境的...Redo日志文件必须部署到共享存储,而且需要保证可被集群内的所有节点实例访问到。...当某个节点实例进行实例恢复或介质恢复的时候,该节点上的实例将可以应用集群下所有节点实例上的Redo日志文件,从而保证恢复可以在任意可用节点进行。

2.8K30

python数据分析专用数据库,与pandas结合,10倍提速+极致体验

前言 你有想过 pandas 中直接使用 sql知道许多小伙伴已经知道一些库也可以做到这种体验,不过他们的性能太差劲了(基于sqlite,或其他服务端数据库)。...今天要介绍另一个专用于数据分析的列式数据库,性能是其他同体验的库的1000倍以上。可以无缝接入 pandas ,做到了性能与使用体验同时提升。 这就是今天的主角,duckdb。...首先,导入今天需要用到的库 我们有一大堆销售数据,加载其中一份数据看看: 此时,希望使用 sql 做一些数据查询处理,你认为下面的 sql 简单?...直接使用 dataframe 的变量名作为表名查询 这真的可以做到?...再看几个小小的 sql 体验改进。 别名用在过滤条件: 自动识别分组列名: 它还有许多有意思的特性,如果希望后续做更多的教学,评论区告诉

1.7K71

SQL查询并不总是以SELECT开始

不过,在网上搜索 ‘是否可以对窗口函数返回的结果进行过滤’ 这个问题,或者说可以 WHERE、HAVING 或其他过滤窗口函数的结果?...最终得出的结论是:窗口函数必须在 WHERE 和 GROUP BY 发生之后才能运行,所以答案是我们这样做。于是又引出了另一个问题:SQL 查询的执行顺序是什么样的?...这张图可帮助我们回答以下问题 这张图与 SQL 查询语义相关,让我们可以推理出给定查询返回的内容,并回答如下问题: 可以 GRROUP BY 之后使用 WHERE ?...(不行,WHERE 是 GROUP BY 之后使用!) 可以对窗口函数返回的结果进行过滤?...我们的数据库引擎也会进行一系列的检查,以确保在运行查询之前,我们 SELECT 和 GROUP BY 输入的内容是合法的,因此在生成执行计划之前必须从整体上检查一下查询。 4.

1.1K20

你写的每条SQL都是全表扫描

你写的每条SQL都是全表扫描?如果是,那MySQL可太感谢你了,每一次SQL执行都是在给MySQL上压力、上对抗。MySQL有苦难言:你不知道索引?你写的SQL索引都失效了不知道?慢查询不懂啊?...慢查询 面试官:知道MySQL慢查询? MySQL的慢查询日志可以记录执行时间超过阈值的SQL查询语句,所以我们可以利用该日志查找出哪些SQL语句执行效率差,从而对SQL语句进行优化。...,我们找到该日志的位置,打开文件即可查询查询SQL。...如果使用非索引字段进行排序,MySQL会进行额外的文件排序,将查询结果根据非索引列磁盘再排序一次。当我们使用explain关键字分析SQL时会发现Extra会出现Using filesort。...索引的设计有以下设计原则,大家实际业务开发应该尽量遵循这些原则,可以帮你避开不少坑。 经常进行order by排序、group by分组、join多表联结查询的字段应该建立索引。

11721

优化Power BI的Power 优化Power BI的Power Query合并查询效率,Part 1:通过删除列来实现

合并查询Power Query是很成熟的应用,相当于SQL的各种JOIN(抽时间会写几篇SQL的join,算是SQL的小核心)。...但同时,Power Query合并查询是一个常见的影响刷新效率的因素。的工作,经常会遇到对一些非文件夹性质的数据源进行合并查询操作,所以我一直在想,有没有办法可以对其进行优化。...当我刷新这个查询时,SQL Server 事件探查器可以看到两个过程的持续时间: Progress Report End/25 Execute SQL – 40 秒 Progress Report...接下来又重新运行了一遍上面的查询的想法是,合并查询最终只返回一个单独的值,也就是数据量大小,所以不会成为增加查询时间的因素。...– 0 秒 以上的确能够得出结论:合并查询时,列数的多少的确会影响效率, 以上还揭示了:以上两个查询,读取数据是立刻发生的,几乎不占用时间,相比之下,最开始的两次查询读取数据的时间甚至要比执行SQL

4.5K10

BI数据隐私防火墙的内在情况

数据隐私防火墙的用途很简单:存在以防止Power Query无意中源之间泄露数据。为什么需要这一点? 是说,你当然可以创作一些 M,它将SQL值传递给 OData 源。 但这将是有意的数据泄露。...例如,如果要将小型 CSV 文件联接到大型SQL表,则可能不希望 PQ 读取 CSV 文件、读取整个SQL表,然后将它们联接在本地计算机上。...最基本的级别,分区只是一个或多个查询步骤的集合。 至少在当前实现) 可能 (最精细的分区是一个步骤。 最大分区有时可以包含多个查询。 稍后 (更多内容。)...如果不熟悉步骤,可以“应用步骤”窗格中选择查询后,Power Query 编辑器窗口右侧查看它们。 步骤可跟踪将数据转换为最终形状所做的一切。...假设你有一个名为 Employees 的查询,该查询SQL数据库拉取一些数据。 假设你还有另一个查询 (EmployeesReference) ,它只是引用 Employees。

71410

hadoop生态系统到底谁最强?

如今,复杂系统的美丽为每个技术都留有空间。让尝试用一个例子取解释它: 当你打开linkedin时,你会看到数百种不同的东西。...你能想到一种技术可以在后端做到所有这一切? RDBMS可以做到这一切?不,这么多的用户的总数据集收纳了这么多的信息,甚至不是RDBMS可以接触到的。...即使运行简单的mapreduce作业也需要几秒钟才能开始,甚至它开始处理数据之前。 Hive可以做到这一切?NO,Hive无非是HDFS存的数据和客户的眼睛之间的透镜。...这个透镜使得HDFS的数据看起来像RDBMS表。幕后,它运行mapreduce作业。...Presto:Presto是可以运行对所有存储范围从千兆到PB级的数据源的交互分析查询的一个开源分布式SQL查询引擎。

85040

《深入浅出SQL》问答录(七)

还有,交叉联接有时可用于RDBMS软件及其配置的运行速度。运行交叉联接所需的时间可以轻易的检测与比较出速度慢的查询。 ---- Q:内联接和交叉联接有什么区别?...内联接就是通过查询的条件移除了某些结果的交叉联接。 ---- Q:可以联接多于两张表? A:可以,后续章节再说,有点饿了。...短短一个查询语句,就出现了五次“profession”,这五次profession效果各有不同,我们容易弄晕,但是SQL能够很轻易的分辨。 为了能让我们容易分辨,SQL推出了假名功能。...创建别名真的很简单,查询软件首次使用原始列名的地方后接一个AS并设定要采用的别名,告诉软件现在开始要以另一个名称引用my_contacs表的profession列,这样可以查询更容易被我们理解。...查询首次出现表名的地方后接AS并设定别名。 当然,你甚至可以连AS也省了。

80920

《深入浅出SQL》问答录

如果只有一张白表,为什么还要创建数据库? A:SQL语言要求所有的表都放在数据库,这当然有它的理由。...A:外键为NULL,表示父表没有相符的主键。但我们可以确认外键包含有意义、已经存储父表的值,请通过约束实现。 不能单纯的使用另一张表的键,称之为外键,而不加上约束?...还有,交叉联接有时可用于RDBMS软件及其配置的运行速度。运行交叉联接所需的时间可以轻易的检测与比较出速度慢的查询。 内联接和交叉联接有什么区别? A:交叉联接属于内联接的一种。...创建别名真的很简单,查询软件首次使用原始列名的地方后接一个AS并设定要采用的别名,告诉软件现在开始要以另一个名称引用my_contacs表的profession列,这样可以查询更容易被我们理解。...非关联子查询 如果子查询可以独立运行且不会引用外层查询的任何结果,即称为外层查询。 上面都是 有时候最好创建测试数据库来尝试各种查询方式,比较查询运行时间。 联接比子查询更有效率。

2.9K50

【学习】应该在什么时候使用Hadoop?

有人问我,“你大数据和Hadoop方面有多少经验?”告诉他们,一直使用Hadoop,但是我处理的数据集很少有大于几个TB的。 他们又问我,“你能使用Hadoop做简单的分组和统计?”...说当然可以只是告诉他们需要看一些文件格式的例子。...Pandas构建于Numpy库之上,可以以矢量格式的方式有效地把数百兆的数据载入到内存购买已3年的笔记本上,它可以用Numpy一眨眼的功夫把1亿的浮点数乘在一起。...对于几百兆的数据量,典型的做法是写一个简单的Python脚本按行读取文件行,并处理它,向另一个文件写入。 二、如果的数据是10GB呢 买了个新笔记本,它有16GB的内存和256GB的SSD。...SQL是一个很直接的查询语言,适合做业务分析,SQL查询相当简单,而且还非常快——如果你的数据库使用了正确的索引,二级查询或多级查询另当别论。

1.3K50

数据库还可以这么看 ?

可以浏览器端直接查看,修改,编辑当前应用的数据库文件。...不仅仅是数据库文件,SharedPreference 文件可以进行操作。由于都是私有目录文件,其实都是一样的原理。... Android Studio 4.1 Canary 5 以及更高版本 上,内置了 Database Inspector ,提供了以下功能: 查询和修改表数据 执行查询语句 执行 Dao 文件定义的...你可以的花园添加植物之后,再去刷新 garden_plantings 表,就可以立即看到修改了。...通过下面的动图演示一下: 从上面的 gif 也可以看到,当被执行的方法需要查询参数时,会让我们输入参数。对于 @Insert 、@Delete 等标记的非查询方法,是不支持直接运行的。

69320

Thinkphp模型的正确使用方式,ORM的思想概念

Query查询器则是用来运行sql语句,处理结果,映射到数据集中。 Builder生成器则是用来把我们传递进去的条件、排序等转换成sql语句。...所以的理解,数据库模块的ORM思想并不多,重点还是要了解和运用模型 tp的模型 定义模型文件 namespace app\index\model; use think\Model; //...模型可以完成很多功能 这也是ORM出现的原因:将sql的执行,抽象映射为面向对象编程的对象。...你的代码有出现过这样子的相信还是有些人会这样子用的吧!因为以前也是这样子用的。 那么我们看看正确的使用方法(认为的,如果觉得不对或者有更好的,欢迎评论交流) <?...– 关联查询(TP中非常强大的功能,模型定义好与另一个模型的关系,比如店铺表的u_id 可以用来查询出店铺所属用户的信息 相当于店铺模型和用户模型的关联 自动join数据 合并 返回给我们使用

2.1K20

程序员的30大Mybatis面试问题及答案

9.Mybatis9个动态标签是? 10.xml映射文件,有哪些标签? 11.Mybatis支持注解?优点?缺点? 12.Mybatis动态sql? 13.**Mybatis 是如何进行分页的?...18.当实体属性名和表字段不一致,怎么办? 19.嵌套查询用什么标签? 20.like模糊查询怎么写? 21.Mybatis支持枚举?...**简述 Mybatis 的插件运行原理,以及如何编写一个插件?** 26.二级缓存的回收策略有哪些? 27.Mybatis的Xml文件id可以重复? 28....Mybatis 动态 sql 可以让我们 Xml 映射文件内,以标签的形式编写动态 sql,完成逻辑 判断和动态拼接 sql 的功能 13.Mybatis 是如何进行分页的?...27.Mybatis的Xml文件id可以重复? 同一namespace下,id不可重复。不同namespace下,可以重复。 28. 和Mybatis搭配java框架中比较好用的缓存框架?

24120

SQL 查询语句总是先执行 SELECT?你们都错了

于是又想到了另一个问题:SQL 查询的执行顺序是怎样的? 好像这个问题应该很好回答,毕竟自己已经写了上万个 SQL 查询了,有一些还很复杂。但事实是,仍然很难确切地说出它的顺序是怎样的。...SQL 查询的执行顺序 于是研究了一下,发现顺序大概是这样的。SELECT 并不是最先执行的,而是第五个。 ?...这张图回答了以下这些问题 这张图与 SQL 查询的语义有关,让你知道一个查询会返回什么,并回答了以下这些问题: 可以 GRROUP BY 之后使用 WHERE ?...(不行,WHERE 是 GROUP BY 之后!) 可以对窗口函数返回的结果进行过滤?...(不行,窗口函数是 SELECT 语句里,而 SELECT 是 WHERE 和 GROUP BY 之后) 可以基于 GROUP BY 里的东西进行 ORDER BY

1.3K10
领券