智能实时应用是任何行业的游戏规则。机器学习及其子课题,深入学习正在获得势头,因为机器学习允许计算机找到隐藏的见解而不被明确地编程到哪里。这种能力是分析非结构化数据,图像识别,语音识别和智能决策所必需的。与Java,.NET或Python的传统编程是一个重要的区别。

虽然机器学习背后的概念并不新鲜,但大数据集和处理能力的可用性使得每个企业都能够建立强大的分析模型。通过在企业应用程序和微服务中应用分析模型,任何行业都有大量用例来增加收入,降低成本或改善客户体验。最近apache的kafka也是正在热点,那么和机器学习结合在一起又是怎么样的呢?

AcademyCityLv6AcademyCityLv6提问于
水门就职某互联网公司,主要负责技术架构,基础设施建设等。修改于

如果是使用Kafka构建,那么就先看一下运行和监控分析模型的参考架构:

这种架构的本质在于它使用Kafka作为收集特征数据的各种数据源,模型合适的模型构建环境以及服务预测的生产应用程序之间的中介。

功能数据从托管它的各种应用程序和数据库中拉入Kafka。此数据用于构建模型。这个环境将根据团队的技能和首选工具集而有所不同。模型构建可以是数据仓库,像Spark或Hadoop这样的大型数据环境,也可以是运行python脚本的简单服务器。该模型可以发布,其中获得相同模型参数的生产应用程序可以将其应用于传入的示例(可能使用Kafka Streams帮助索引功能数据以便按需使用)。生产应用程序可以从卡夫卡接收数据作为管道,或者甚至是Kafka Streams应用程序本身。参见下图:

图源“大师米”
卡夫卡成为ML架构中的中枢神经系统,用于饲养,建立,应用和监控分析模型。这确实有很大的好处:

• 数据流水线简化

• 构建分析模块与维护模块脱钩

• 根据需要实时或批量使用

• 分析模型可以部署在性能,可扩展性和关键任务环境中

除了利用Kafka作为可扩展的分布式消息传递代理,还可以添加Kafka生态系统的可选开源组件,如Kafka Connect,Kafka Streams,Confluent REST Proxy,Confluent Schema Registry或KSQL,而不是依靠Kafka生产者和消费者蜜蜂。参见下图:

图源“大师米”

回答过的其他问题

AI如何赋能物流?

水门就职某互联网公司,主要负责技术架构,基础设施建设等。
人工智能技术赋能,物流行业迎来科技红利 必须指出的是,智慧物流兴起的最根本原因是人工智能、大数据等新兴技术的推进落地。智慧物流并不仅仅是“自动化”,而是“自动化+信息化+算法”。即在大数据和智能算法的指导下,充分运用物联网、人工智能等先进技术产品,在操作层面,实现全供应链无人化,...... 展开详请

国内制造业现状是什么?以及未来发展趋势如何?

水门就职某互联网公司,主要负责技术架构,基础设施建设等。

机器人制造业的时代!提高的不仅仅是效率,还是各种技术的应用。

哪里加短信签名ID?

水门就职某互联网公司,主要负责技术架构,基础设施建设等。
signID为你的签名 phoneNumbers[0]为发送的手机号 params为参数,如{1},{2},{3}等等 ... 展开详请

现在的搜索算法怎么才能在保护隐私的基础上提高效率?

水门就职某互联网公司,主要负责技术架构,基础设施建设等。

我真的觉得和楼上说的一样,提高效率乃是分内事,那需要泄露隐私啊!那还叫大众搜索吗,干脆大家都订制好了!

大数据时代,用户如何保护自己的隐私?

水门就职某互联网公司,主要负责技术架构,基础设施建设等。
在面对强大的大数据采集与分析能力时,个人信息安全确实变得非常非常脆弱。 比如,最常见的情景,下载一个新的app,比如动态壁纸,或者便捷手电筒等,在安装时都会提示请求一大推权限,像手机通讯录,位置信息等,看得我一脸懵逼:???你们要这些干嘛? 你说点外卖app要我位置权限可以理解,...... 展开详请

什么才是Linux运维自动化?与普通运维的区别?

水门就职某互联网公司,主要负责技术架构,基础设施建设等。

扫码关注云+社区

领取腾讯云代金券