Elastic 中国开发者大会2018,干货满满。已然成为Elastic技术爱好者的狂欢日。
我的感触如下: 1、Elastic各个产品线新特性大放异彩,Elastic早已不止是检索,已经成为一体化的完整数据处理堆栈,从数据摄入到分析展示、价值获取。功能更完善、更加简单、易用用、更可视化、更安全。
2、Elastic XPack/SQL等付费功能会从大公司到小公司逐渐推广。
3、随着Elastic上市,国内的业务也开展的如火如荼,从BAT等互联网公司、华为、到三大运营商、各大银行各个行业、各个领域都在以ELK作为基础架构,根据自己的业务做定制开发、优化、APM、自动化等; 这个势头也扩展到中小企业,未来几年更会满地开花。
4、Elastic社区在Elastic国内外进程中功不可没,“三人行必有我师”,大神们的实践对我们自己的Elastic学习、实践都有很好的借鉴价值。
AuditBeat FunctionBeat Stack Monitoring Logstash:Pipline Viewer
更小的存储 更快的性能提升 更少的空间存储 可视化
在这里插入图片描述
1)kibana增强的字段检索功能 2)可扩展的跨集群检索功能 3)跨大版本检索功能 支持5.X、6.X、7.X检索
4)Sql支持ODBC
1)去掉缺省的密码:changeme 2)增强的oAuth和kerberos安全认证
3)增强的kibana Spaces 开发者 安全 销售团队 每种Space有不同的权限
1)索引管理UI 2)增强版本升级提升 之前的版本升级要先升级到主版本的大版本。 3)跨集群备份
1)我们更关注Metrics指标而非日志本身。 2)将日志+metric指标+APM集成到一个系统形成Beats。
底层、中间层、前端 Beats 开箱即用的解决方案 用模型和module搜集日志 用面板观看指标和维度信息
1)性能追求不间断追求; 2)增强数据摄取稳定性,更快、不丢数; 3)kibana管理ES集群、用户权限管理、统一的UI入口。
金融、传统制造业、线下设备等都会发力
云端代码的搜索方案,Elasticsearch可以搜索Code了
最好的开发工具,为开发者贡献更好的开发工具。 结合Elastic的影响力,2018.07 codeSearch加入Elastic。
1、帮助开发者理解、搜索、连接生产数据+代码仓库。 2、集成在kibana中。
小的代码库——可以在IDE里面做到。 如果是大的代码库、地域分布也大——Elastic Code是好的方案。
Github上不也可以搜索代码? 痛点是什么? TF-IDF 没有办法区分源代码和非代码; 搜索类的时候,更关注类的定义而不是调用场景;
1)、可以跳转到定义的地方。 2)、告诉方法所有被应用的地方。 3)、列举所有的成员函数、成员变量。 4)、生成环境结合kibana,定位产品问题对应源代码所在。
云搜索服务 = Elasticsearch + kibana+华为云化增强自研
解决问题:1、新词;2、短语搜索、3、多租户问题 解决方案:泊松分词器
问题1:新词无法被搜索 举例:李世石是人名。 解决思路:马尔科夫模型训练
问题2:英文短语搜索 解决方案:泊松分词器 一行一个词
问题3:多租户、多词库设定 解决方案:泊松分词器,对每个索引指定不同的词库。
解决方案: 记录用户的点击流信息 + 数据模型 = 提升搜索质量 点击流:文档+搜索语句+时间等信息 数据模型训练:深度学习、神经网络相关
适用场景:图像版权、AR呈现、商品检索、素材检索。 方案:提取图像特征、量化、支持向量检索。 向量检索是暴力检索,主要要比较,会有性能和精度问题。 支持向量的表达方式: 1)原始向量 2)Hash值 ……
适用场景:音频、音乐版权 解决方案: 音频指纹:每段音频找到高能量的点,形成一个指纹。 指纹搜索——转化为文档搜索。 效果:100W首歌,共230ms时间。
日志接入 CSV文件接入 实时流计算服务FLink
1、优化 TopHtis + Sumbucket的聚合 TopHits优化为LastHits 2、一键部署 3、一键节点扩容、磁盘扩容 4、监控 5、OBS手动、定时备份
Grab Elastic运维实践目的:高可用、帮助开发者 Grab类似:滴滴,扩展外卖、大众点评等扩展应用。 铭毅总结:Grab先后经历:AWS -> Elastic Cloud -> Elastic Cloud 企业版本,在Elastic 云化应用走出自己的实践道路。
AWS加了一层代理 离线压测
1)AWS原生态CloudWatch监控不好 2)DataDog监控 3)Scalyr慢查询、延时监控 https://www.scalyr.com/pricing
早期的监控方案:Guardian 新的数据平台:Telemetry 数据:Event、logs、Metrics 数据流架构
新的数据平台的好处: BEAM自研告警系统
本文分享自 铭毅天下Elasticsearch 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!