首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

降本40%,数数科技大数据查询引擎云原生实践

陈云,数数科技资深云原生研发工程师,专注于云原生在大数据场景下的应用探索。负责数数科技TE(新一代数据分析引擎)的云原生方向架构建设、优化和迭代。...背景 ThinkingEngine (简称“TE”)新一代数据分析引擎,由数数科技研发,提供一站式的数据应用服务。...让数据分析能够覆盖全品类分析场景,帮助游戏公司专注在游戏本身的业务上,更好地挖掘数据价值。 我们常常会收到客户的反馈:在业务高峰时容易出现分析查询慢和卡顿的情况。...Kubernetes的HPA支持CPU和内存维度的监控数据作为弹性指标,但是对自定义弹性指标支持不太友好。...后续演进方向 目前的方案基本满足了大数据查询引擎资源弹性的诉求。不过也还面临着一些问题和挑战。

85930
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    “养猪”正成为科技大厂的新战场

    华为绝非是最后一个宣布“养猪”的科技大厂,当国内生猪养殖的市场格局进一步明晰,还将有越来越多的科技玩家涌入。...生猪养殖的重资产模式被深层次验证,或许就是科技大厂们看到的机会。...03 科技大厂抛出橄榄枝 网易、阿里、京东、华为等科技大厂先后推出的“养猪计划”,出发点或许是为了解决牧原们的切肤之痛。 网易的“养猪”充满了小资情怀。...而“智慧养猪”的想象空间在于:通过物联网、大数据、人工智能等技术将人解放出来,不仅减小了疫情等不确定风险,也将加速猪场向标准化、无人化过渡。...可以预见的是,华为绝非是最后一个宣布“养猪”的科技大厂,当国内生猪养殖的市场格局进一步明晰,还将有越来越多的科技玩家涌入。

    23420

    数据脱口秀 | 从小扎到盖茨,哪位科技大佬最可能黑化为大反派?

    本期数据也疯狂为您讲述,哪位科技大佬最可能黑化为超级大反派?不想低头看手机的读者请猛戳下面的音频,或者点击文末阅读原文跳转我们的喜马拉雅专栏收听节目。...大数据文摘“数据也疯狂”播报栏目每周五固定推出炫酷又有趣的数据脱口秀,用声音传递数据的魅力,欢迎点击“阅读原文”在喜马拉雅订阅我们。...音频栏目志愿者也在持续招募中,如果你对数据类新闻或者播音后期感兴趣,请后台回复“播报”了解如何加入。 Have a great data!...戳下方收听【数据也疯狂】,本期主题《哪位科技大佬有望成为最佳超级反派?》...在过去的十年中,我们所有人合力将空前的资本,个人数据的无限制获取权,以及亿万设备的控制权交到了10个左右的人手中。

    73150

    「人物特写」电子科技大学陈建文:没有完美的大数据,现实世界都是小数据

    千人千面,任何的样本,都是小样本,任何的数据,都是小数据。 图 | 陈建文 电子科技大学 视觉智能研究中心主任 在国内AI人的印象里,陈建文是一名创业者,也是一位学者。...但他最在意的,还是学者的身份——电子科技大学人工智能研究中心主任。 不过,显然他这个学者不是严肃型的,而是跳脱型、开放型,那主要是因为他想得深、说得多。...大数据的意义在于,数据的维度要很多。如果这个数据本身就没有什么维度,就是个一维、二维或者三维的东西,那大数据也就没有意义了。...就像人们常说的的小样本、小数据、大数据的学习,就我看到的所有的样本,光靠采样是永远不可能采全的。 千人千面,任何的样本,都是小样本,任何的数据,都是小数据。...我们现在看到的所有互联网上的数据,都是小数据集合成的大数据,小数据的内容聚合成一个大数据的整合。 对单独的样本来说,数据都是小数据,没有所谓的大数据,完整的数据只存在于理论当中。

    92100

    AI科技大发展,生物识别技术盘点

    相关报道显示,随着政府推行用户和数据安全举措的增加、越来越多的移动设备的使用以及全球对健全的欺诈检测和预防系统需求的日益增长,预计2019年人脸识别市场的规模预计为32亿美元,五年后即2024年该市场规模将达到...当前随着各家算力及算法的提升、非结构化数据逐渐向架构化水平转化,人脸识别算法准确率平均达到了99.69%,也就是说,人脸识别技术已经达到了较高水平。且在中国。...●算法挑战:缺乏端到端的模型,人体姿态和动作的多样性、复杂场景、缺乏标注良好的大型数据集、个体差异性(不同人表现统一动作的差异); ●硬件挑战:对高精度、小型化传感器以及高运算、低功耗芯片有一定的要求。...比如数据样本的采集,如何获取数据,又如何构建步态识别的数据库?在获取到数据后如何分割前景和背景,让识别更为精确?在特征表达的阶段,又该如何解决跨视角识别的问题等等。...而所有这些生物识别技术所面临的挑战都源自算法、硬件以及法律法规三个方面:在算法层,需要标注良好的大型数据集,满足深度学习模型的解释性以及实际应用场景的复杂性;在硬件层,需要致力于传感器的设计与制造、芯片的设计与制造以及移动设备的实时计算的研发工作

    1.2K30

    香港科技大学教授新书聚焦隐私计算

    ‍‍ 身处“数据时代”,如何有效挖掘数据中蕴藏的智能而不侵害数据本身的隐私和安全,是我们推动社会进步和生产力发展需要共同思考和实践的一个课题。...、隐私计算在医疗领域的应用:基因研究、隐私计算在医疗领域的应用:医药研究、隐私计算在语音识别领域的应用、隐私计算在政务部门的应用、隐私计算在用户数据统计的应用 陈 凯 香港科技大学计算机科学与工程系副教授...主要研究方向包括数据中心网络、云计算、大数据和人工智能底层系统和基础架构。...杨 强 加拿大工程院及加拿大皇家科学院两院院士,微众银行首席人工智能官,香港科技大学讲席教授,AAAI 2021大会主席,中国人工智能学会(CAAI)荣誉副理事长,香港人工智能与机器人学会(HKSAIR...他曾任华为诺ya方舟实验室主任,第四范式公司联合创始人,香港科技大学计算机与工程系系主任以及国际人工智能联合会(IJCAI)理事会主席。

    51520

    2022 深圳国际金融科技大赛——西丽湖金融科技大学生挑战赛圆满收官

    为推动深圳市金融科技产业繁荣发展,抢占金融科技发展先机,丰富金融科技人才储备以打造深圳市金融科技发展高地,深圳大学微众银行金融科技学院、微众银行、深圳香蜜湖国际金融科技研究院近期联合主办了 2022 深圳国际金融科技大赛...(FinTechathon)—— 西丽湖金融科技大学生挑战赛(下文称“大赛”)。...最终,在经过来自中科院、深圳大学、清华大学、北京大学、武汉大学、中山大学、西安电子科技大学、厦门大学、微众银行等单位的数十位专家组成的评审委员会多轮考核及讨论后,决出前三甲名单。...获奖作品分别聚焦供应链金融、工业回收、生物云、碳排放、数据权限、隐私计算等垂直领域,并提出独具价值的解决方案。...据悉,该数字证书基于微众区块链技术,采用国产安全可控开源平台 FISCO BCOS 为底层链,上链获奖信息防篡改、可追溯、数据来源可信任。

    39830

    写在华中科技大学招聘结束之时

    很容易想象,在研究生阶段,好多学生都在搞那些冠冕堂皇的东西,却忽略了数据结构、算法、网络和操作系统等等这些基础知识。这些基础是很有必要打扎实的,即便到了工作中我们也还是需要经常去查阅它们。...以我个人来说,在第一天里面,主要问学生一些具体的问题,考察数据结构和算法,以及编码情况;但是后两天我放几道有趣的数学、思维问题一起讨论,我觉得反而更有鉴别性。...技术潮流 简历铺天盖地地堆砌着各种热门技术的关键词,“大数据”、“云”,各种研究、专利、论文发表,看得人冷汗都下来了。后来才知道,这些名词是一回事,面试表现出来的情况则完全是另一回事。

    16810

    中国香港科技大学TensorFlow课件分享

    这是一套中国香港科技大学发布的极简 TensorFlow 入门教程,三天全套幻灯片教程已被分享到 Google Drive。...更详细的内容请查看中国香港科技大学三日 TensorFlow 速成课程资料 三日速成课程 Google Drive 资料地址:https://drive.google.com/drive/folders...第二步需要将训练数据或测试数据等馈送到模型中,TensorFlow 在这一步中一般需要打开一个会话(Session)来执行参数初始化和馈送数据等任务。...总的来说,线性回归模型可以用下图概括: 其中「×」为数据点,我们需要找到一条直线以最好地拟合这些数据点。该直线和这些数据点之间的距离即损失函数,所以我们希望找到一条能令损失函数最小的直线。...转载大数据公众号文章,请向原文作者申请授权,否则产生的任何版权纠纷与大数据无关。

    3.1K20

    中国香港科技大学TensorFlow课件分享

    机器之心整理 参与:蒋思源 这是一套中国香港科技大学发布的极简 TensorFlow 入门教程,三天全套幻灯片教程已被分享到 Google Drive。...更详细的内容请查看中国香港科技大学三日 TensorFlow 速成课程资料 三日速成课程 Google Drive 资料地址:https://drive.google.com/drive/folders...第二步需要将训练数据或测试数据等馈送到模型中,TensorFlow 在这一步中一般需要打开一个会话(Session)来执行参数初始化和馈送数据等任务。...总的来说,线性回归模型可以用下图概括: 其中「×」为数据点,我们需要找到一条直线以最好地拟合这些数据点。该直线和这些数据点之间的距离即损失函数,所以我们希望找到一条能令损失函数最小的直线。...构建损失函数 下面我们需要构建整个模型的损失函数,即各数据点到该直线的距离,这里我们构建的损失函数为均方误差函数: 该函数表明根据数据点预测的值和该数据点真实值之间的距离,我们可以使用以下代码实现

    4.6K120
    领券