前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【金猿技术展】一种数据查询以及分析方法、装置、设备及存储介质——用于提高数据查询的准确率以及提高数据索引的异常分析准确率

【金猿技术展】一种数据查询以及分析方法、装置、设备及存储介质——用于提高数据查询的准确率以及提高数据索引的异常分析准确率

作者头像
数据猿
发布2024-01-04 09:58:13
1410
发布2024-01-04 09:58:13
举报
文章被收录于专栏:数据猿

大数据产业创新服务媒体

——聚焦数据 · 改变商业


根据数据查询路径查询目标任务数据的数据索引信息,对数据索引信息进行特征提取,得到特征信息集合;将特征信息集合输入聚类模型进行特征聚类,得到目标聚类结果;根据目标聚类结果构建距离数据离散分布图,根据距离数据离散分布图判断数据索引信息是否存在异常,得到数据异常判断结果;根据数据异常判断结果确定对应的异常索引节点;根据数据库组织信息,对异常索引节点进行数据库异常根因分析,生成目标任务数据对应的根因分析结果。

技术说明

本次申报的技术涉及一种数据查询与分析方法、装置、设备及存储介质,主要关注大数据技术领域。其解决的关键问题在于提高数据查询的准确率以及数据索引的异常分析准确率,通过对索引特征信息的聚类分析实现了对目标任务数据的根因分析。结合专利描述和实际技术设计,对关键性技术的总结说明如下:

1、背景技术与问题陈述:本发明背景技术指出随着计算机的普及,数据由纸质文件转为电子媒体,形成数据库。然而,现有的数据查询方案存在准确率低的问题,特别是对于复杂的SQL指令,更容易导致异常分析的准确率下降。

2、本技术的核心创新点有以下几个方面:

① 路径解析与数据检索:通过对数据查询路径进行解析,获取目标任务数据,并提取数据索引信息。这一步骤有助于理解查询的上下文,为后续的特征提取提供基础。

② 特征提取与向量编码:在获取目标任务数据的数据索引信息后,进行特征提取,包括索引类型、多个索引节点、索引时长以及索引字段等。这些特征信息被编码成特征信息向量,为后续聚类提供输入。

③ 特征聚类与距离分布图:将特征信息向量输入预置的聚类模型,得到目标聚类结果。根据聚类结果计算目标距离数据集合,构建距离数据离散分布图。这一步骤利用聚类信息和距离数据来判断数据索引信息是否异常。

④ 异常索引节点匹配与数据库根因分析:在判断数据索引信息存在异常后,确定异常索引信息,进而匹配目标任务数据对应的异常索引节点。最后,根据数据库组织信息进行数据库异常根因分析,生成目标任务数据的根因分析结果。

3、实施方式:本技术发明提供了多个实施方式,但都涵盖了路径解析、特征提取与向量编码、聚类分析、距离数据分布图构建、异常判断等几个步骤,具体参考下图1进行实施。

图1 工作流程图

4、创新意义:本技术发明的创新意义主要体现在提高数据查询的准确率和数据索引的异常分析准确率上。通过聚类分析数据索引的特征信息,能够更准确地判断索引信息是否异常,从而实现对目标任务数据的根因分析。这对于大数据环境下的数据管理和异常检测、性能检测等具有重要意义。

5、应用价值:本发明的应用价值在于通过创新设计的数据查询与分析方法,可以实现对数据索引信息的异常分析和目标任务数据的根因分析,提高数据查询的效率和准确性,尤其在大数据环境下,对异常数据的准确分析有助于优化数据管理和决策过程。此技术可以广泛应用于数据库管理系统、数据分析平台等领域,提高数据处理的智能性和精确性,有望在未来的数据科学和数据库管理领域得到广泛应用。

6、未来发展方向:未来可以进一步优化特征设计和聚类模型,提高其对不同数据结构和查询模式的适应性。另外,结合深度学习及LLM大模型技术的方法,可进一步提高对异常数据的识别、分析、解释能力,使系统更具智能化。

★专利申请号/公开号:CN 115905373 A

开发团队

·带队负责人姓名:马云 Humming Ma

马云,毕业于北京邮电大学,拥有15年商业智能产品研发、质量保证等工作经验,曾在知名BI公司担任团队领导人,完成了多个版本的研发任务。主要研发方向包括:云计算框架,图表引擎,数据展现,数据处理,数据输出,系统优化等等。

团队其他重要成员姓名:孙丰、王笑晨

·隶属机构:永洪科技

永洪科技成立于2012年,致力于为全球企业提供大数据BI技术产品及服务,依托自主知识产权的一站式大数据BI平台,具备从数据应用方案咨询、数据治理、数据仓库建设、数据可视化分析、数据深度应用到数据平台实施运维服务的端到端大数据价值服务能力。

管理团队拥有世界500强企业或世界顶级大数据企业10年以上从业经历,曾多次获得国际大奖,包括Java One大奖、软件界的奥斯卡大奖JDJ读者奖等。永洪BI拥有分布式计算、分布式存储、分布式通信、云计算、数据处理、数据展现等多项技术专利。产品足以比肩国际同类产品,并在高性能、易用性、AI深度分析等方面形成独特优势。

拥有1000+家合作伙伴,包括腾讯、华为、用友等战略合作伙伴;10000+家企业客户,包括中国银行、招商银行、华泰证券、国家电网、中国移动、家乐福、美的、格力、北京汽车、科技部、海关总署、中国人民警察大学等,涵盖了金融、制造、零售、能源、政府、教育等近20个产业,并在金融、制造领域的市场占有率第一。

相关评价

拥有数据查询自主专利技术的永洪BI,操作起来十分方便,在数据查询性能上十分高效快捷。同时又支持自助式分析,只需点击拖拽几下分析指标,系统就会自动分析报表,这极大地方便了该行没有那些技术背景的业务人员和运营人员独立自主的完成大数据分析操作,让决策者的任意需求都可以在一天内实现。

——某银行 IT科技部 张新生

永洪BI运用其团队研发的高性能数据查询专利技术,很好地解决了企业大数据应用的效率问题,海量数据可以轻松查询响应,并且开发与实施周期短,效率高,报表灵活,能够满足复杂的大数据应用,能够快速响应业务的需求。

——某制造行业 营销信息化负责人 吴德欣

提示:了解更多相关内容,点击文末左下角“阅读原文”链接可直达该机构官网。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-01-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 数据猿 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档