在机器学习项目中工作通常需要大量的实验，例如尝试不同的模型、特征、不同的编码方法等。
LocalStack 是一个云服务仿真器，可以在您的笔记本电脑或 CI 环境中以单个容器运行。它提供了一个易于使用的测试/模拟框架，用于开发云应用程序。主要功能包括：
学术界在推进技术方面发挥了巨大作用，但学术界和工业界往往存在一种分割状态。我们经常会看到这种现象：无数很棒的辅助工具在学术界被忽视，但在工业界很受欢迎。对于很多研究者来说，学习一种新工具可能存在困难，不愿意花费过多的时间去尝试，在当前自己掌握的工具足以应对各种问题时尤其如此。
选自towardsdatascience 作者：Aliaksei Mikhailiuk 机器之心编译 编辑：陈萍 无论你在创业还是在做学术研究，这些工具都将使你的技能更上一层楼。 学术界在推进技术方面发挥了巨大作用，但学术界和工业界往往存在一种分割状态。我们经常会看到这种现象：无数很棒的辅助工具在学术界被忽视，但在工业界很受欢迎。对于很多研究者来说，学习一种新工具可能存在困难，不愿意花费过多的时间去尝试，在当前自己掌握的工具足以应对各种问题时尤其如此。 其实，有些工具一时未见到效果，在后期可能会有十倍的回
本来按照这个MLFlow教程（MLflow系列1：MLflow入门教程（Python）），找台机器跑起来没啥问题； 不过，看到项目的github有Dockerfile那必须上啊！ 然后就被各类报错虐了一下午。。
雷锋网 AI 研习社按：机器学习开发有着远超传统软件开发的复杂性和挑战性，现在，Databricks 开源 MLflow 平台有望解决其中的四大痛点。
我们平时使用scikit-learn做机器学习建模，主要是实验环境是notebook(jupyter)，有些问题就像牛皮癣一样，很难去除，例如：
机器学习(ML)通常需要使用广泛的数据集、数据预处理步骤和算法逻辑进行实验，以构建最优指标的模型。模型构建成功后，还需要将其部署到生产系统，监控其效果和性能，并根据新数据不断对其进行重新训练和迭代模型工作，如下：1
我 docker-compose 将我 SrpingBoot 微服务部署在 docker 容器中，在部署 Euraka 时 总是失败，无法连接到 Euraka服务器，经过各种寻找终于解决，记录成本文。
中午的时候看到了Spark团队新作MLFlow，因为我本身也在做类似的解决方案MLSQL,自然要看看Meitai是怎么做的。所以第一时间把MLFlow相关文档 浏览了一遍，并且将MLFlow源码 clone下来大致也看了一遍。
InfoWorld 是致力于引领 IT 决策者走在科技前沿的国际科技媒体品牌，每年 InfoWorld 都会根据软件对开源界的贡献，以及在业界的影响力评选出当年的 “最佳开源软件”（2019 InfoWorld Bossie Awards，Best of Open Source Software awards），该奖项评选已经延续了十多年。
xFormers 是一个加速 Transformer 研究的工具包，主要功能如下：
机器学习，不过是和数据和软件打交道。那就应该是是运行代码、迭代算法的简单问题呀？一段时间后，我们就能拥有一个完美的训练有素的ML模型。
Docker网络模式分为四种，一般我们不设置时默认为bridge单桥模式，容器使用独立的network Namespace，并连接到docker0虚拟网卡中。通过docker0网桥以及Iptables nat表配置与宿主机通信。 此时在堡垒机上进行测试，利用busybox进行测试：
这些年，随着数据和计算技术的发展，「机器学习」和「深度学习」已经变成了热门研究领域。对公司来说，虽然使用机器学习很时髦，但首先还是需要评估一下自己的业务能否从中受益。如果你的公司已经认定机器学习对公司的下一步发展来说是必需的，那么作为机器学习工程师的你就该思考如何为生产环境构建机器学习过程了。希望本文能帮你明晰你需要考虑的一些东西。
之前的很多研究其实跟工程化是比较脱节的，模型在小环境中工作得很好，并不意味着它在任何地方都可以工作得很好。 各类开源项目其实很大程度上满足了我这样的调包工程师的需求，那么工程化就非常有必要了。 之前《DataOps、MLOps 和 AIOps，你要的是哪个Ops？》文章提到：DataOps、MLOps 和 AIOps的一些异同：
大家好，天我们要聊聊的是 cAdvisor。cAdvisor，全称 Container Advisor，是由 Google 开发并开源的一款用于监控和分析容器性能的工具。它的主要功能包括实时收集、处理和提供容器的资源使用情况和性能特性。它支持 Docker 容器，并且可以在任何 Linux 主机上运行。
通过 redis-cli 命令连接到 Redis 服务器以后，可以通过本节给出的命令来管理该连接对应的客户端，具体包括获取并设置客户端的名字、获取客户端的信息、暂停执行客户端的命令以及关闭该客户端的连接。
直接安装 docker desktop for windows即可，其中还会包含了docker compose。可通过 docker-compose version来验证结果，一般会输出如下信息：
序 容器是用来提供服务的，每个容器都是运行一个进程，或许是一个web程序，或许是一个数据库服务，而在每个容器之间都是需要相互访问的，从而在这里构建一个python的程序，一个容器运行python的应用程序，一个容器用来运行redis服务，在应用程序中访问redis，具体架构如下： 📷 运行redis的容器 运行redis的时候，步骤如下： 📷 首先下载到redis的镜像，然后根据镜像运行一个镜像的实例，也就是redis这个实例，在其中需要注意的是，容器对外暴露的端口就是6379端口，从而在主机上对应监听一个
了解如何在 Azure 机器学习云工作站上使用笔记本开发训练脚本。 本教程涵盖入门所需的基础知识：
作者：Bex T翻译：wwl 校对：张睿毅本文约3200字，建议阅读8分钟计算类数据科学库，已经不再局限在Pandas、NumPy、Scikit-learn之内了！ 动机 2023年的开始，自然需要探索数据科学和机器学习的新趋势。经典的数据科学库Pandas、NumPy、Matplotlib、Scikit-learn虽然很重要，但是已经不够用了。 这个系列的上一篇文章（https://towardsdatascience.com/8-booming-data-science-libraries-you-mu
上一篇文章对整体结构进行了简单记录，这一篇介绍下关于Dockerfile自定义镜像以及各个服务的配置。
在机器学习和模式识别中，特征工程的好坏将会影响整个模型的预测性能。其中特征是在观测现象中的一种独立、可测量的属性。选择信息量大、有差别性、独立的特征是模式识别、分类和回归问题的关键一步，可以帮助开发者最大限度地从原始数据中提取特征以供算法和模型使用。
ReviewBoard是个开源的、可扩展的、友好的基于Web的代码评审工具，是用Python框架Django开发的。
参考: - 无法连接到Jenkins - 灰信网（软件开发博客聚合） - Docker 快速安装Jenkins完美教程 （亲测采坑后详细步骤） - 付宗乐 - 博客园 - docker安装jenkins---完美解决jenkins插件安装失败问题_沉淀技术这十年的博客-CSDN博客_jenkins插件安装失败 - Docker 安装 Jenkins 并解决初始安装插件失败问题_docker_脚本之家 - jenkins 下載外掛失敗 有效的處理辦法（親測）_osc_7z601p6x - MdEditor
Spring Boot Actuator是Spring Boot 2发布后修改最多的项目之一。它经过了主要的改进，旨在简化定制，并包括一些新功能，如支持其他Web技术，例如新的反应模块 - SpringWebFlux。它还为 InfluxDB添加了开箱即用的支持，这是一个开源时间序列数据库，旨在处理大量带时间戳的数据。与 SpringBoot1.5使用的版本相比，它实际上是一个很大的简化。您可以通过阅读我之前的一篇文章使用Grafana和InfluxDB自定义指标可视化来了解自己有多少。我在那里描述了如何使用 @ExportMetricsWriter bean将[Spring Boot Actuator生成的指标导出到InfluxDB。示例Spring Boot应用程序已在分支主文件中的GitHub存储库sample-spring-graphite上提供该文章。对于本文，我创建了分支spring2，它展示了如何实现与使用Spring Boot 2.0版本之前相同的功能。弹簧启动执行器。
今天看到一个比较有意思的架构图（图片来源于文章：https://shopify.engineering/merlin-shopify-machine-learning-platform）
参考博客： https://www.jianshu.com/p/dbe1feb554cc
Registrator监控新建的Docker容器，并且检查判定这些容器提供的服务。从我们的目的出发，任何监听在某个端口的程序都是服务。Registrator发现在容器内发现的任务服务，都将被添加到一个服务注册端，比如Consul或etcd。 在这个教程中，我们将使用Registrator和Consul,运行一个Redis容器并自动添加到Consul。
目前kubernetes 已经发展到1.5的时代，但在这之前学习和使用kubernetes还是走了不少弯路，第一个问题就是安装，也许你会说安装很简单。照着官网或网上抄一篇就可以装上了…… 而我们使用k
环境配置问题可能一直会让我们头疼，包括如下几种情况。 我们在本地写好了一个Scrapy爬虫项目，想要把它放到服务器上运行，但是服务器上没有安装Python环境。 其他人给了我们一个Scrapy爬虫项目，项目使用包的版本和本地环境版本不一致，项目无法直接运行。 我们需要同时管理不同版本的Scrapy项目，如早期的项目依赖于Scrapy 0.25，现在的项目依赖于Scrapy 1.4.0。 在这些情况下，我们需要解决的就是环境的安装配置、环境的版本冲突解决等问题。 对于Python来说，VirtualEnv
又开一个新坑，Docker 系列打算记录一下个人学习 Docker，使用 Docker 应用于项目实践中的一些感悟，可能不会像之前的文章成一个体系，一方面自己对 Docker 的理解程度，不如像 Java 一样熟悉，二是 Docker 的官方文档和 Docker 相关的入门知识点还是挺多的。不过后续会尽量整理成一个系列。 概述 Docker 强大的原因之一在于多个 Docker 容器之间的互相连接。涉及到连接，就引出了网络通信的几种模式。Docker 默认提供了 5 种网络驱动模式。 bridge: 默认的
最近，我面临一个问题：我需要部署一个 Web 应用程序到 Docker 上，并且需要自定义数据源的信息。经过探索和实践，我成功地将利用 SpringBoot 开发的应用程序打包成 Docker 镜像，并且自定义了数据库的链接信息。在这里，我想分享一下我的经验，希望能对大家有所帮助。
注意：如果遇到mall-tiny-docker-compose服务无法连接到mysql，需要在mysql中建立mall数据库，同时导入mall.sql脚本。具体参考使用Dockerfile为SpringBoot应用构建Docker镜像中的运行mysql服务并设置部分。
两个人的交往，最后都会经历这样一个时期：两人的话没有以前多了，双方对彼此失去了新鲜感，从而认为对方没有以前爱自己了，甚至考虑要结束这段感情，并疑惑着别人三年四年甚至十年的感情是如何度过的？请回想一下你和爸爸妈妈之间，现在还会有超多说不完的话吗？是不是只剩下了对父母唠叨的嫌弃？两人从陌生人到类似于亲人，话少很正常，因为彼此之间已经熟悉到不能再熟悉，这难道不应该是感觉到幸福的点吗？珍惜那个从陌生人到现在虽然嫌弃仍然陪在身边的他（她）吧，这已经是天赐的缘分，不要在失去之后才觉得可惜。同样，也不要试图去将对方改造成你理想中恋人的模样。两个独立的个体，只有在彼此理解，彼此包容，彼此欣赏，共同奋斗进步的情况下才会搀扶走到人生的终点。
k8s网络模型设计基础原则:每个Pod都拥有一个独立的 IP地址，而且 假定所有 Pod 都在一个可以直接连通的、扁平的网络空间中 。 所以不管它们是否运行在同 一 个 Node (宿主机)中，都要求它们可以直接通过对方的 IP 进行访问。设计这个原则的原因 是，用户不需要额外考虑如何建立 Pod 之间的连接，也不需要考虑将容器端口映射到主机端口等问题。
Docker使用Linux桥接，在宿主机虚拟一个Docker容器网桥(docker0),Docker启动一个容器时会根据Docker网桥的网段分配给容器一个IP地址，成为Container-IP，同时Docker’网桥是 每个容器的默认网关。 因为同一宿主机内的容器都接入同一个网桥，这样容器之间就能够通过容器的Container-IP直接通信。
了解如何将 Podman 与 Kubernetes 集成以增强容器管理并提高部署效率
当你刚从一个机器学习网站上学习完理论知识，然后满怀信心，信誓旦旦，准备大刀阔斧，按照教程编写一个狂拽酷炫的算法代码，训练一个机器学习模型，然后觉得自己棒棒哒准备给自己晚饭加个鸡腿感动的要哭的时候，你突然发现自己开发环境Python版本不对，或者这个那个依赖包死活安装不成功，导致一段简单的代码死活跑不起来？
Pwn Adventure 3的游戏场景设置在一座美丽的岛屿上，在这个岛上任何情况都有可能发生，例如飞行，无限游戏虚拟币等。
解决问题：docker安装mysql，windows使用navicat远程连接数据库 正常安装 一键拉取镜像 docker pull mysql:5.7 启动Mysql docker run --name mysql5.7 -e MYSQL_ROOT_PASSWORD=123456 -p 3307:3306 -d mysql:5.7 登录容器内 启动后之后，默认的root密码是123456，使用如下命令登录进去 docker exec -it mysql5.7 bash mysql -u root -p 修
所有的docker容器内的卷，没有指定目录的情况下都是在**/var/lib/docker/volumes/自定义的卷名/_data**下， 如果指定了目录，docker volume ls 是查看不到的。
在我的 Kubernetes 集群中运行着一个应用，该应用的容器在启动时会连接到外部的数据库服务进行数据操作。然而，最近我发现该应用的容器无法成功连接到数据库，导致应用无法正常工作。但是我确认数据库服务是正常运行的，于是我需要进一步排查问题的根本原因。
{RmHome} 要替换成你的宿主机想保存 MQ 的日志与数据的地方，通过 docker 的 -v 参数使用 volume 功能，把你本地的目录映射到容器内的目录上。否则所有数据都默认保存在容器运行时的内存中，重启之后就又回到最初的起点。
众所周知，深度学习模型仅仅只是构建 AI 产品的重要步骤，但并不是全部。一个互联网产品（如 APP）想要集成深度学习能力，往往还需要走完很多设计、开发和测试方面的工作。如何部署深度学习往往成为了系统设计中更关键的问题。
Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose，您可以使用 YML 文件来配置应用程序需要的所有服务。然后，使用一个命令，就可以从 YML 文件配置中创建并启动所有服务。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
