腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

函数式编程语言及工具

专栏作者

283

文章

264448

阅读量

67

订阅数

search（7）- elastic4s-search-filter模式

json es 数据库 sql

现在我们可以开始探讨ES的核心环节：搜索search了。search又分filter,query两种模式。filter模式即筛选模式：将符合筛选条件的记录作为结果找出来。query模式则分两个步骤：先筛选，然后对每条符合条件记录进行相似度计算。就是多了个评分过程。如果我们首先要实现传统数据库的查询功能的话，那么用filter模式就足够了。filter模式同样可以利用搜索引擎的分词功能产生高质量的查询结果，而且filter是可以进缓存的，执行起来效率更高。这些功能数据库管理系统是无法达到的。ES的filter模式是在bool查询框架下实现的，如下：

2020-05-04

3930

search（4）- elastic4s-ElasticDsl

json es api http scala

上次分析了一下elastic4s的运算框架。本来计划接着开始实质的函数调用示范，不过看过了Elastic4s的所有使用说明文档后感觉还是走的快了一点。主要原因是elasticsearch在7.0后有了很多重点调整改变，elastic4s虽然一直在源代码方面紧跟ES的变化，但使用文件却一直未能更新，所以从说明文档中学习elastic4s的使用方法是不可能的，必须从源码中摸索。花了些时间过了一次elastic4s的源码，感觉这个工具库以后还是挺有用的：一是通过编程方式产生json请求比较灵活，而且可以通过compiler来保证json语句的正确性。二是对搜索结果的处理方面：由于返回的搜索结果是一堆又长又乱的复杂json，不敢想象自己要如何正确的解析这些json, 然后才能调用到正确的结果，但elastic4s提供了一套很完善的response类，使用起来可能会很方便。实际上elastic4s的编程模式和scala语言运用还是值得学习的。既然这样，我想可能用elastic4s做一套完整的示范，包括：索引创建、索引维护、搜索、聚合统计等，对了解和掌握elastic4s可能大有帮助。在这之前，我们还是再回顾一下elastic4s的运算原理：elastic4s的功能其实很简单：通过dsl语句组合产生json请求，然后发送给ES-rest终端, 对返回的json结果进行处理，筛选出目标答案。

2020-04-23

5880

search（3）- elastic4s-QueryDSL

elastic4s是elasticsearch一个第三方开发的scala语言终端工具库（Elastic4s is a concise, idiomatic, reactive, type safe Scala client for Elasticsearch.）。scala用户可以用elastic4s提供的DSL用编程代码形式来构建ES服务请求。与字符型json文本直接编写请求不同的是：在编译DSL编写的ES服务请求时可以发现无论是语法上或者语意上的错误。一般来讲：elastic4s的程序流程相对直接、简单，如下：

2020-03-24

4620

CassandraAppender - distributed logging，分布式软件logback-appender

json 日志服务 nosql

农历年最后一场scala-meetup听刘颖分享专业软件开发经验，大受启发。突然意识到一直以来都没有完全按照任何标准的开发规范做事。诚然，在做技术调研和学习的过程中不会对规范操作有什么严格要求，一旦技术落地进入应用阶段，开始进行产品开发时，只有严格按照专业的软件开发规范才能保证软件产品的质量。刘颖在meetup中提到了异常处理(exception handling)和过程跟踪（logging)作为软件开发规范中的重要环节。我们在这篇先讨论logging。logging通过记录软件运行过程帮助开发者跟踪软件运行情况，分析运算结果或者异常产生原因，是一个成功完整的软件不可缺少的环节。 logback应该是java生态链中最流行、最通用的logger了。虽然logback已经提供了STDOUT、FILE、DB等多种跟踪信息输出方式，即ConsoleAppender、FileAppender、DBAppender，但针对分布式应用的appender还是需要定制。因为分布式软件是跨系统运行的，跟踪信息自然也会在不同的系统中产生并存储，所以分布式应用需要分布式存储才能实现跟踪信息的全局管理。logback是一套开发架构，任何定制的appender可以很方便地整合入logback。那么我们就尝试开发一套基于cassandra的logback-appender。

2020-02-23

5530

restapi（8）- restapi-sql：用户自主的服务

jdbc json 编程算法 windows server windows

学习函数式编程初衷是看到自己熟悉的oop编程语言和sql数据库在现代商业社会中前景暗淡，准备完全放弃windows技术栈转到分布式大数据技术领域的。但是在现实中理想总是不如人意，本来想在一个规模较小的公司展展拳脚，以为小公司会少点历史包袱，有利于全面技术改造。但现实是：即使是小公司，一旦有个成熟的产品，那么进行全面的技术更新基本上是不可能的了，因为公司要生存，开发人员很难新旧技术之间随时切换。除非有狂热的热情，员工怠慢甚至抵制情绪不容易解决。只能采取逐步切换方式：保留原有产品的后期维护不动，新产品开发用一些新的技术。在我们这里的情况就是：以前一堆c#、sqlserver的东西必须保留，新的功能比如大数据、ai、识别等必须用新的手段如scala、python、dart、akka、kafka、cassandra、mongodb来开发。好了，新旧两个开发平台之间的软件系统对接又变成了一个问题。

2019-10-30

1.4K0

restapi（2）- generic restful CRUD：通用的restful风格数据库表维护工具

http 数据库 sql json scala

研究关于restapi的初衷是想搞一套通用的平台数据表维护http工具。前面谈过身份验证和使用权限、文件的上传下载，这次来到具体的数据库表维护。我们在这篇示范里设计一套通用的对平台每一个数据表的标准维护方式。http服务端数据表维护CRUD有几个标准的部分组成：Model,Repository,Route。我们先看看这几个类型的基类：

2019-07-25

6990

restapi（1）- 文件上传下载服务

scala 编程算法 http json

上次对restapi开了个头，设计了一个包括了身份验证和使用权限的restful服务开发框架。这是一个通用框架，开发人员只要直接往里面加新功能就行了。虽然这次的restapi是围绕着数据库表的CRUD操作设计的，但文件类数据在服务端与客户端之间的交换其实也很常用，特别是多媒体类如图片等文件类型。那我们就试着设计一个文件交换服务功能然后看看能不能很方便的加入到restapi框架内。

2019-07-19

1.6K0

Akka-CQRS（16）- gRPC用JWT进行权限管理

json rpc scala html http

前面谈过gRPC的SSL/TLS安全机制，发现设置过程比较复杂：比如证书签名：需要服务端、客户端两头都设置等。想想实际上用JWT会更加便捷，而且更安全和功能强大，因为除JWT的加密签名之外还可以把私密的用户信息放在JWT里加密后在服务端和客户端之间传递。当然，最基本的是通过对JWT的验证机制可以控制客户端对某些功能的使用权限。

2019-07-19

1.6K0

Akka-CQRS（15）- Http标准安全解决方案：OAuth2+JWT

json html 编程算法

上期讨论过OAuth2, 是一种身份认证+资源授权使用模式。通过身份认证后发放授权凭证。用户凭授权凭证调用资源。这个凭证就是一种令牌，基本上是一段没什么意义的加密文，或者理解成密钥也可以。服务方通过这个令牌来获取用户身份信息，也就是说服务端必须维护一个已经获得身份验证的用户信息清单。研究了一下JWT，发现它本身可以携带加密后的一些信息包括用户信息，而这些信息又可以通过同样的加密算法解密恢复。也就是说服务端是可以直接对收到的JWT解密恢复用户信息，这样用起来就方便多了。还记着我们的POS例子里客户端必须构

2019-07-10

4260

Akka-CQRS（11）- akka-http for http-web-service: Marshalling-数据序列化

http json scala api

前面几篇讨论了关于gRPC方式的前后端连接集成方式。gRPC也是一个开放的标准，但讲到普及性就远远不及基于http/1.1协议的web-service了。特别是gRPC的前端编程还是有一定的门槛，所以作为一种开放的网络大平台还是必须考虑用web-service方式的集成。平台服务api可以有两样选择：一种是传统web-service方式，新的一种是rest api款式。rest api比较适合数据库表的crud操作。在2017年我曾经写了一系列博客介绍akka-http，这里就不再叙述它的细节了。这篇我们只聚焦在解决当前问题上。在POS控制平台例子里不会涉及到POST操作，应该全部是GET类型的，如：

2019-06-24

6020

Akka（40）： Http：Marshalling reviewed - 传输数据序列化重温

http json scala 编程算法

上篇我们讨论了Akka-http的文件交换。由于文件内容编码和传输线上数据表达型式皆为bytes，所以可以直接把文件内容存进HttpEntity中进行传递。那么对于在内存里自定义的高级数据类型则

2018-01-05

1.2K0

Akka（34）： Http：Unmarshalling，from Json

Unmarshalling是Akka-http内把网上可传输格式的数据转变成程序高级结构话数据的过程，比如把Json数据转换成某个自定义类型的实例。按具体流程来说就是先把Json转换成可传输格式数

2018-01-05

7390

Akka（33）： Http：Marshalling，to Json

Akka-http是一项系统集成工具。这主要依赖系统之间的数据交换功能。因为程序内数据表达形式与网上传输的数据格式是不相同的，所以需要对程序高级结构化的数据进行转换（marshalling or

2018-01-05

1.9K0

Scalaz（24）－泛函数据结构： Tree-数据游览及维护

scala 数据结构 xml json

上节我们讨论了Zipper－串形不可变集合（immutable sequential collection）游标，在串形集合中左右游走及元素维护操作。这篇我们谈谈Tree。在电子商务应用中对于xm

2018-01-05

6800

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态