Galaxy S8，发力移动AI助手；滴滴研究院副院长叶杰平，为我们揭开滴滴AI调度系统的真面目。 | IBM 提出新计算模型 DCS，比 HPC 更高效灵活 数十年来，研究者都在用高效能运算（ HPC ）来提升系统的速度和规模，现在，IBM 的新模型——数据中心计算（DCS ）将提供更快速高效的运算架构 | 滴滴研究院副院长叶杰平：揭开滴滴AI调度系统的真面目 ? 、评分系统等。 详情可见：深度丨滴滴研究院副院长叶杰平：揭开滴滴人工智能调度系统的真面目。
雷锋网 AI 研习社近日联系到饿了么相关团队，了解到他们独特的智能调度系统「方舟」以及调度效果。 饿了么对 AI 研习社表示，智能调度系统「方舟」是饿了么外卖即时配送领域中最核心的环节，该系统替代了调度员大部分的工作，减少了人力介入的程度，实现了自动化、智能化派单。 Part2 「老马识途」：为每位骑手规划最优路径 「方舟」智能调度系统通过分析餐厅历史出餐数据，骑手接单时，系统会优先指向出餐更快的餐厅，让骑手减少在餐厅等餐的时间。 数据显示，在智能调度系统的帮助下，饿了么每单配送时长已缩短至 28.62 分钟，准时率和用户好评率都高达 99%。 饿了么对雷锋网(公众号：雷锋网) AI 研习社表示，加入阿里大家庭以后，他们还将利用高德地图的数据，让「方舟」智能调度系统的精准度进一步提高，饿了么智能调度系统也将为阿里生态拓展全新的本地生活服务领域，
提供包括云服务器，云数据库在内的90+款云计算产品。打造一站式的云产品试用服务，助力开发者和企业零门槛上云。
这种情况下，我们可以打一次力度稍微较大的折扣。 叫车后的人工智能应用 乘客与司机匹配 ? 当用户确认叫车后，滴滴需要做订单匹配，找到最适合接该用户的司机。这一流程也是一系列的机器学习问题。 我们现在建立起一个机器学习系统，该系统包含历史数据和实时数据，只要在有滴滴的地方，我们就知道车辆行驶的速度和路况。然后找特征，建立系统，也可用深度学习做路径规划和时间预估。 滴滴研究院最近建立了一套深度学习系统，然后加上路况和其他信息去进行预测，这应该是目前第一个用深度学习来做路径规划和时间预估的系统。 此外，我们之前也提到人们出行普遍是有规律的，所以能预测某一时刻、某一区域可能缺多少辆车，这样我们就提前 15 分钟或半小时做调度，把过剩的运力从周围调过去，缓解供需问题。 针对这一情况我们建立了一个判责机器学习系统，该模型能够判差评的背后是司机的责任，还是乘客的责任。如果责任不在司机，我们就不会降低它的分数。判责系统上线后滴滴平台司机满意度有了显著提高。
NTP网络时间服务器应用于智能公交调度指挥系统 NTP网络时间服务器应用于智能公交调度指挥系统 随着城市经济社会发展以及人口和机动车快速增长，建设新城市交通体系，改善城市公共交通运输结构，推进“公交城市 某公交集团智能图像信息调度指挥系统的应用实现了公交智能化、可视化的调度指挥。本文是该系统的详细介绍，与读者共享。 ，全面提升公共交通管理与服务水平及提高预防和处置事故灾难、公共安全等突发公共事件的能力，于是市政府决定建设公交集团智能图像信息调度指挥系统以实现公交智能化、可视化的调度指挥。 3、公交调度技术方案 公交集团智能图像信息调度指挥系统分为三级共13个子模块，含集团总中心图像管理平台，完成整个公交集团图像信息管理系统所有图像资源的调度管理和控制；分控中心10个，完成下属各类大中小型场站图像的汇聚和管理功能 ，公交集团智能化的公共交通已被百姓广泛提及，整套公交集团智能图像信息调度指挥系统到目前为止顺畅运营，确保公众出行安全，有效提升了公共交通调度指挥的智能化手段。
这套大规模、高复杂度的多人多点实时智能配送调度系统，能够基于海量数据和人工智能算法，给最合适的配送小哥发送「最优配送指令」，确保平均配送时长不超过 28 分钟。 在垂直业务优化上，我们开发了配送网络优化系统、实时调度系统和定价系统。通过配送网络优化系统，为配送区域划分商家配送范围提供智能化的工具支持，辅助建立合理的底层配送网络结构。 Q：有用户表示，在订餐高峰时期，系统会通过上调配送费限制流量，请问美团智能配送系统如何调节配送价格以保证外卖配送的服务质量？ 以美团智能配送系统的调度算法为例，在学术意义上，属于求解大规模复杂约束优化问题的在线实时决策算法，我们在这个方向的技术突破和研发成果，在打车业务、零售业务供应链优化等场景都有应用潜力。 Q：除了调度系统之外，我们知道美团点评还为骑手专门开发了智能语音助手，这里有哪些核心技术是美团自主研发？它解决了外卖配送业务上的哪些问题？
前言 在上篇博客《人工智能在线特征系统中的数据存取技术》中，我们围绕着在线特征系统存储与读取这两方面话题，针对具体场景介绍了一些通用技术，此外特征系统还有另一个重要话题：特征生产调度。 本文将以美团点评酒旅在线特征系统为原型，介绍特征生产调度的架构演进及核心技术。 特征生产调度演进 从离线到在线 在线特征系统最核心的目标是将离线的特征数据通过在线服务的方式，提供给策略系统使用。 导入平台化的实现，也为通用性优化功能提供了土壤：数据压缩功能使得内存、带宽资源得到了更充分的利用；多引擎存储功能满足了需求方对性能的不同要求；导入调度功能解决了更新流量峰值的问题，提高了系统的整体可用性 特征生产调度技术 在生产调度演进过程中，会不断遇到各种系统问题，如可靠性、一致性、性能等等。在这一章节我们把特征生产调度中一些常见的技术手段，以及常见问题的解决方案汇总起来呈现给大家。
介绍 Go 调度器使你编写的 Go 程序并发性更好，性能更高。这主要是因为 Go 调度器很好的运用了系统调度器的机制原理。 尽管在并发编程中你还有很多其他知识点要了解，但在调度器的机制是其中比较基础的一部分。。 操作系统调度 操作系统调度器是软件开发中很复杂的一块。他们必须考虑硬件设施的布局和设计。 系统调度器负责保证当有线程可以执行时，CPU 是不能处于空闲状态的。它还必须创建一个所有线程同时都在运行的假象。在创造这个假象的过程中，调度器需要优先运行优先级更高的线程。 但是低优先级的线程又不能被饿死（就是一直不被运行）。调度器还需要通过快速、明智的决策尽可能的最小化调度延迟。 这方面有很多种算法，不过幸运的是，这方面有行业里数十年的工作经验可以参考。 但是新线程会立刻开始执行，主线程也能继续完成自己的工作。 用哪种方式呢？这就是系统调度在做调度决策时需要考虑的一个有趣的问题。答案是，如果有空闲的核，那就直接用。
智能、自动化是对系统孜孜不倦的追求，尤其是在资源调度这块。传统的YARN/MESOS有各种资源分配算法，如DRF,capacity scheduler，fair scheduler。 不现实在两个方面： job需要的资源和需要处理的数据量，过程的复杂度强相关。而这两者在实际的生产系统中都不是一成不变的，所以往往预留的资源要么多大，要么过小。 关于智能资源调度方面，我早前写过一篇文章《智能调度 与 蚁群算法》，提的是设想通过蚁群算法来自动分配资源。 Quasar提供一个high-level的接口让用户给调度器描述他性能约束条件。不同类型的workload接口不一样。比如对延迟苛刻的workload，限制条件藐视为QPS(查询次数/秒)。 quasar使用贪心算法结合四个独立的分类结果，选择数量或具体的资源集，来达到（或接近）的性能约束。Quasar同时监视系统性能。
一，简介 Spark调度机制可以理解为两个层面的调度。首先，是Spark Application调度。也就是Spark应用程序在集群运行的调度，应用程序包括Driver调度和Executor调度。 SparkContext内部调度。 之所以会出现这种情况，主要是生产中可能会希望一个SparkContext作为服务，同时执行若干Jobs，此时可以用Spark Application的Fair机制的调度。 ，并为每个池设置不同的调度选项（例如权重）。 公平调度员总是尝试在根据权重重新分配额外的资源之前满足所有活动池的最小份额。因此，minShare属性可以是另一种确保池总是能够快速获得一定数量的资源（例如10个内核）的方法。
，促使了第一代定时调度系统 Watchman 1.0 的诞生。 下面将逐个介绍一下几个主要模块(tsp-web、tsp-fetcher、tsp-worker)在 TSP 整个系统中的职责和作用： tsp-web 整合原有各个产品的管理端能力和系统 API 能力；添加 功能实现 TSP 本身和 ElasticJob 是两种不同类别的任务调度系统，TSP 是集中式调度执行，ElasticJob 是分散式调度执行。 处理完成，TSP 则向 MQ 发一条事件消息，供下游系统确认并进行后续逻辑处理。 任务动态注册 这个功能是在集中式任务调度管理之外，向分散式任务注册的探索。 总结 本文从整体上介绍了有赞调度系统 TSP 产生的背景以及解决的问题，同时重点介绍了涉及的主要模块的细节设计，最后对一些未来计划进行了介绍，展望了部分计划中的特性；TSP 是有赞调度系统的历史沉淀，后续会在此基础上不断迭代和完善
人工智能(AI)和艺术并没有你想象的那么对立。事实上，智能系统已经在与艺术家合作，帮助艺术家创作歌曲，制作油画作品，以及制作彩色标识。 现在，一名软件开发人员利用人工智能的生成能力来操纵图像中的对比度、颜色和其他属性。 Grimm人工智能模型的基础是生成对抗网络(GAN)，这是一个由数据产生器和甄别器组成的两部分神经网络，甄别器试图区分生成器的合成样本和真实样本。 这个系统被她称为“艺术构图属性网络”(Art Composition Attributes Network，简称ACAN)，她学会了在制作照片的同时改变八种不同的构图属性:纹理、形状、大小、颜色、对比度 在一些生成的样本中，重构照片中的对象与源图像中的对象几乎没有相似性——这是对对比度、大小和形状进行调整的结果。
2、资源分配策略智能学习能力，结合收集反馈的信息，可以动态调整资源分配调度策略，具有自主学习决策的能力。 资源管理框架应该要能抽象异构平台，进行统一管理和分配，合理调度任务的运行。 今天我们说下第2点，调度智能化，调度根据收集到的反馈信息动态调整资源，做到智能需要一定的算法支撑，今天讲讲和调度很契合的蚁群算法。 如果系统在获得空间的、时间的或者功能结构的过程中，没有外界的特定干预，我们便说系统是自组织的。在抽象意义上讲，自组织就是在没有外界作用下使得系统熵减小的过程(即是系统从无序到有序的变化过程)。 2、 调度参数学习，比如调优系统资源对任务的分配，系统最大并发数学习。 3、 子系统任务自动分配，等等。 对于智能调度这个课题，大家还想到什么算法比较契合吗？
于是就开始调研有没有合适的调度系统去解决这些问题。 选型 现在的开源调度系统分为两类：以 Quartz 为代表的定时类调度系统和以 DAG 为核心的工作流调度系统。 首先看看定时类调度系统，它们的设计核心是定时运行、数据分片和弹性扩容，但是对依赖关系支持的不太友好，更适用于后端业务开发，其代表为 XXL-JOB 、Elastic-Job 。 而数据团队最常见的操作是的 ETL （抽取、转换和加载数据），更强调的是任务的依赖关系，所以关注点便是以 DAG 为核心的工作流调度系统了。 网上的比较各类工作流调度系统的文章很多，在此不多赘述，仅仅讲述当时选型时对各个调度系统的看法： Oozie：Oozie 是基于 XML 格式进行开发的，后续集成到 Hue 里可以可视化配置，但是缺点也很明显 其它：从 Github 列表里选择了几个工作流系统测试，发现很多系统功能都不完善，例如监控、任务流依赖、日志收集等或多或少有缺失，所以不再考虑了。
调度算法目标 说是调度算法的目标，其实也是衡量调度算法的指标。下面将介绍一些适合于所有系统的通用指标，然后再介绍衡量不同类型系统调度算法的指标。 如果CPU和I/O设备时刻都能运行，那么相对于某些设备空转，前者能完成更多的工作。 批处理系统目标 吞吐量。系统每小时完成任务的数量。 周转时间。一个批处理作业提交到完成的时间。 实时系统目标 满足截止时间 可预测性 调度算法 批处理系统中的调度 先来先服务 最短作业优先 最短剩余时间优先 交互式系统中的调度 轮转调度 优先级调度 多级队列 最短进程优先 保证调度 彩票调度 公平分享调度 实时系统中的调度 实时系统是一种时间起着主导作用的系统。 实时系统调度算法分为静态和动态。静态调度算法在系统开始运行之前做出决策。动态调度算法在运行过程中进行调度决策。
crontab虽然简单，稳定，但是随着任务的增加和依赖关系越来越复杂，已经完全不能满足我们的需求了，这时候就需要建设自己的调度系统了。 02 调度系统 调度系统，关注的首要重点是在正确的时间点启动正确的作业，确保作业按照正确的依赖关系及时准确的执行。资源的利用率通常不是第一关注要点，业务流程的正确性才是最重要的。 03 调度系统分类 调度系统一般分为两类：定时分片类作业调度系统和DAG工作流类作业调度系统 定时分片类作业调度系统 这种功能定位的作业调度系统，其最早的需要来源和出发点往往是做一个分布式的Crontab DGA工作流调度系统 这一类系统的方向，重点定位于任务的调度依赖关系的正确处理，分片执行的逻辑通常不是系统关注的核心，或者不是系统核心流程的关键组成部分。 调度系统作为大数据平台的核心部分之一，牵扯的业务逻辑比较复杂，场景不同，也许需求就会差别很多，所以，有自研能力的公司都会选择市面上开源系统二次开发或者完全自研一套调度系统，已满足自身ETL任务调度需求。
Hi~朋友，关注置顶防止错过消息 摘要 进程调度 调度原则 调度算法 线程调度 进程调度是指在进程之间选择一个进程将其送上CPU执行，通常这个是由操作系统中的调度程序执行。 有的程序执行时间较长，一直占有CPU，系统吞吐量（单位时间内CPU完成的进程数量）降低。所以为了提高系统吞吐量，调度程序需要权衡长任务和短任务的完成数量。 进程的周转时间包含运行时间和阻塞等待时间。 总上所述，调度程序主要从以下几个系统参数来考虑： CPU利用率：调度程序尽可能的让CPU繁忙，提高调度程序的利用率 系统吞吐量：吞吐量是单位时间内CPU完成的进程数，长作业会降低吞吐量，短作业提高吞吐量 周转时间：周转时间是运行时间和阻塞时间的总和，一个进程的调度时间越小越好 等待时间：进程在就绪队列中等待时间尽可能的短 响应时间：在交互式较强的系统，调度算法需要尽可能的降低响应时间 调度算法 如果硬件提供某个频率的时钟中断 FCFS适用于CPU繁忙性作业的系统，不适用于I/O繁忙性。 最短作业优先调度（SJF）算法 优先选择运行时间最短的进程来运行，有利于提高系统的吞吐量。
在这个技术十分发达的时代里，智能的技术可以融入在各个场景当中。尤其是视频智能审核系统，最常应用的是在各个直播平台当中。 视频智能审核系统的功能 第一个识别出是否有涉政的内容。视频智能审核系统可以根据用户上传的视频，从中识别出是否有恶搞政治人物，或者有侮辱国旗国歌的现象。 但是有可能这些产品并没有通过平台的认可，都属于垃圾广告。审核系统会对于垃圾广告进行处理，下架视频或者不让视频发布。 智能审核系统靠谱 当然是靠谱的。 系统能够让平台的内容更加丰富，防止一些不良视频的产生。如果一个平台想要长期生存下去，就一定要保证平台中用户发布的视频是有内涵的视频，而且能够有质量的保障。 智能审核系统就可以帮助平台在审核视频内容方面更加轻松，所以不管是平台还是个体的视频发布者完全可以信任审核系统。 视频智能审核系统帮助人们可以观看到更多有内涵有质量的视频。
仿真云（cloudsim）集成了仿真应用自动部署和配置、智能计算任务调度系统和计算数据管理、云桌面等工具，支持用户即开即用，通过可视化界面快速提交仿真任务和设置策略，由仿真云进行应用部署、资源创建、调度和计算中间结果实时呈现，亦支持用户手动自定义配置。
扫码关注云+社区
领取腾讯云代金券
云服务器
测试服务 WeTest
云数据库 PostgreSQL
文件存储
SSL 证书