机器学习，不过是和数据和软件打交道。那就应该是是运行代码、迭代算法的简单问题呀？一段时间后，我们就能拥有一个完美的训练有素的ML模型。
在深度学习中可视化模型的训练过程有助于我们分析模型的状态。可视化训练过程的库很多，我们将一些常用的库集成到 MMCV 中方便用户使用。在 MMCV 中使用这些库只需简单配置。在本文中将介绍这些库以及它们在 MMCV 中的使用方法。
雷锋网 AI 研习社按：机器学习开发有着远超传统软件开发的复杂性和挑战性，现在，Databricks 开源 MLflow 平台有望解决其中的四大痛点。
机器学习(ML)通常需要使用广泛的数据集、数据预处理步骤和算法逻辑进行实验，以构建最优指标的模型。模型构建成功后，还需要将其部署到生产系统，监控其效果和性能，并根据新数据不断对其进行重新训练和迭代模型工作，如下：1
作者：Bex T翻译：wwl 校对：张睿毅本文约3200字，建议阅读8分钟计算类数据科学库，已经不再局限在Pandas、NumPy、Scikit-learn之内了！ 动机 2023年的开始，自然需要探索数据科学和机器学习的新趋势。经典的数据科学库Pandas、NumPy、Matplotlib、Scikit-learn虽然很重要，但是已经不够用了。 这个系列的上一篇文章（https://towardsdatascience.com/8-booming-data-science-libraries-you-mu
机器学习从业者通常通过实验算法、数据和超参数来开发新的机器学习模型。随着实验和项目规模的不断扩大，特别是在大中型企业中，越来越多的模型需要进行有效管理，上图展示了在谷歌中人工智能相关的存储库正在呈指数级增长。机器学习从业者需要一种高效的方法来存储、检索和利用模型版本、超参数和性能指标等细节。
Git 和其它版本控制系统（包括 Subversion 和近似工具）的主要差别在于 Git 对待数据的方式。 从概念上来说，其它大部分系统以文件变更列表的方式存储信息，而 Git 是把数据看作是对小型文件系统的一系列快照。
和其它版本控制系统一样，Git 能在特定的重要动作发生时触发自定义脚本。 有两组这样的钩子：客户端的和服务器端的。 客户端钩子由诸如提交和合并这样的操作所调用，而服务器端钩子作用于诸如接收被推送的提交这样的联网操作。 你可以随心所欲地运用这些钩子。
客户端钩子分为很多种。 下面把它们分为：提交工作流钩子、电子邮件工作流钩子和其它钩子。
Git是一个易学难精的分布式版本控制系统，被我们码农常用于代码的管理。如果你还不了解Git，建议先通过廖雪峰的Git教程进行了解，再来看本文，因为本文以使用技巧为主，不会在基础名词上做过多解释。
我们平时使用scikit-learn做机器学习建模，主要是实验环境是notebook(jupyter)，有些问题就像牛皮癣一样，很难去除，例如：
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
在机器学习项目中工作通常需要大量的实验，例如尝试不同的模型、特征、不同的编码方法等。
学术界在推进技术方面发挥了巨大作用，但学术界和工业界往往存在一种分割状态。我们经常会看到这种现象：无数很棒的辅助工具在学术界被忽视，但在工业界很受欢迎。对于很多研究者来说，学习一种新工具可能存在困难，不愿意花费过多的时间去尝试，在当前自己掌握的工具足以应对各种问题时尤其如此。
前面我们已经建立了一个简单的LeNet模型，已经训练它了来做手写数字识别，基于mnist数据集上的效果还是不错的。今天接着写一些模型训练相关的内容。
中午的时候看到了Spark团队新作MLFlow，因为我本身也在做类似的解决方案MLSQL,自然要看看Meitai是怎么做的。所以第一时间把MLFlow相关文档 浏览了一遍，并且将MLFlow源码 clone下来大致也看了一遍。
以上操作用于撤销保存在工作区修改，但是不会撤销暂存区中的修改。 由于修改还没记录到 git 中，撤销无法恢复，请慎重！
如果您曾经浏览过git 手册（或 run man git），那么您会注意到 git 的功能比我们大多数人每天使用的要多得多。很多这些命令都非常强大，可以让你的生活更轻松（其他命令有点小众，但仍然很高兴知道）。
前面已经阐述了Git基本的运作机制和使用方式，介绍了许多Git提供的工具来帮助你简单且有效地使用它。本部分将演示如何借助Git的一些重要的配置方法和钩子机制，来满足自定义的需求。
在本节中，你将应用前面学到的知识建立这样一个 Git 工作流程：检查提交信息的格式，并且指定只能由特定用户修改项目中特定的子目录。 你将编写一个客户端脚本来提示开发人员他们的推送是否会被拒绝，以及一个服务器端脚本来实际执行这些策略。
《Redis设计与实现》读书笔记（三十四） ——Redis Lua脚本环境设计与实现 （原创内容，转载请注明来源，谢谢） 一、创建lua环境 为了在redis服务器执行lua脚本，redis服务器内嵌了一个lua环境，redis服务器启动的时候，会自动创建lua环境，步骤如下： 1）创建一个基础lua环境。 调用lua的C API函数lua_open，创建新的lua环境。但是这个是原生的环境，redis会对其进行定制。 2）载入多个lua函数库，以便lua脚本的执行。 包括基础库、表格库、字符串库、数学库
选自towardsdatascience 作者：Aliaksei Mikhailiuk 机器之心编译 编辑：陈萍 无论你在创业还是在做学术研究，这些工具都将使你的技能更上一层楼。 学术界在推进技术方面发挥了巨大作用，但学术界和工业界往往存在一种分割状态。我们经常会看到这种现象：无数很棒的辅助工具在学术界被忽视，但在工业界很受欢迎。对于很多研究者来说，学习一种新工具可能存在困难，不愿意花费过多的时间去尝试，在当前自己掌握的工具足以应对各种问题时尤其如此。 其实，有些工具一时未见到效果，在后期可能会有十倍的回
这个步骤是创建了一个提交对象，提交对象里面就记录了提交的时间、作者、以及提交的原因等信息。
LocalStack 是一个云服务仿真器，可以在您的笔记本电脑或 CI 环境中以单个容器运行。它提供了一个易于使用的测试/模拟框架，用于开发云应用程序。主要功能包括：
之前的很多研究其实跟工程化是比较脱节的，模型在小环境中工作得很好，并不意味着它在任何地方都可以工作得很好。 各类开源项目其实很大程度上满足了我这样的调包工程师的需求，那么工程化就非常有必要了。 之前《DataOps、MLOps 和 AIOps，你要的是哪个Ops？》文章提到：DataOps、MLOps 和 AIOps的一些异同：
和传统的软件开发操作(简称devOps)相比，机器学习操作(简称mlOps)。其中一个原因在于除了代码这种小型简单文件，机器学习实验需要大型数据库和模型组件。
如果要将AI嵌入到企业计算系统中，企业必须重新调整其机器学习（ML）开发流程以使得数据工程师、数据科学家和ML工程师可以在管道中自动化开发，集成，测试和部署。本博客介绍了与机器学习平台进行持续集成（CI），持续交付（CD）和持续培训（CT）的平台和方法，并详细介绍了如何通过特征存储（Feature Store）执行CI / CD机器学习操作（MLOps）。以及特征存储如何将整体的端到端ML管道重构为特征工程和模型训练管道。
了解如何在 Azure 机器学习云工作站上使用笔记本开发训练脚本。 本教程涵盖入门所需的基础知识：
本来按照这个MLFlow教程（MLflow系列1：MLflow入门教程（Python）），找台机器跑起来没啥问题； 不过，看到项目的github有Dockerfile那必须上啊！ 然后就被各类报错虐了一下午。。
如果你曾经浏览过git手册（或运行man git），那么你会注意到git的内容比我们大多数人日常使用的多得多。这些命令中有很多是非常强大的，可以让你的生活变得更轻松（其他的则有点小众，但还是要知道的）。
本文围绕git的目录过大，从git进行版本控制底层存储出发，简要分析Git目录过大的原因，以及如何处理
前段时间在做代码审计，发现很多项目都存在安全隐患，大多数是来自于参数未过滤所造成的；为了解决这个问题，我将Web安全开发规范手册V1.0进行了培训，但是效果并不是太理想，原因是培训后开发者的关注点主要在功能完成度上，安全编码对于他们来说并不是核心指标；
xFormers 是一个加速 Transformer 研究的工具包，主要功能如下：
借助 GitHub 的网络钩子webhook，开发者可以创建很多有用的服务。从触发一个 Jenkins 实例上的 CI（持续集成） 任务到配置云中的机器，几乎有着无限的可能性。这篇教程将展示如何使用 Python 和 Flask 框架来搭建一个简单的持续部署（CD）服务。
在机器学习和模式识别中，特征工程的好坏将会影响整个模型的预测性能。其中特征是在观测现象中的一种独立、可测量的属性。选择信息量大、有差别性、独立的特征是模式识别、分类和回归问题的关键一步，可以帮助开发者最大限度地从原始数据中提取特征以供算法和模型使用。
六七年前，我机缘巧合进入了代码托管行业，做过基于 Git 支持 SVN 客户端接入、Git 代码托管平台分布式、Git 代码托管读写分离、Git 代码托管高可用等工作，所幸学到了一些知识，积累了一些经验，本次分享我的一点经验之谈，希望对即将进入或者已在代码托管行业的朋友有所帮助。
最近“从开源到跑路”的事件逐渐增多，给涉事企业造成了不小的损失。因而相关的防范工作显得愈发重要。
git 是一个内容寻址的文件系统，其核心部分是一个简单的键值对数据库(key-value data store),可以向该数据库插入任意类型的内容，它会返回一个40位长的哈希键值。并在此基础上提供了一个版本控制系统的用户界面。
作者 | 杨夕 来源 | https://zhuanlan.zhihu.com/p/53750883 越了解事物的本质就越接近真相。我发现学习Git内部是如何工作的以及Git的内部数据结构这部分内容，对于理解Git的用途和强大至关重要。若你理解了Git的思想和基本工作原理，用起来就会知其所以然，游刃有余。这是Git系列的第一篇，主要会介绍Git的特点以及内部数据结构设计，和完成一次完整提交流程的时候数据是如何变化的。 Git有什么特点？ fast，scalable，distributed revision
这些年，随着数据和计算技术的发展，「机器学习」和「深度学习」已经变成了热门研究领域。对公司来说，虽然使用机器学习很时髦，但首先还是需要评估一下自己的业务能否从中受益。如果你的公司已经认定机器学习对公司的下一步发展来说是必需的，那么作为机器学习工程师的你就该思考如何为生产环境构建机器学习过程了。希望本文能帮你明晰你需要考虑的一些东西。
本质上，Git是一套内容寻址（content-addressable）文件系统，而和我们直接接触的Git界面，只不过是封装在其之上的一个应用层。这个关系颇有点类似于计算机网络中应用层和下属层的关系。在Git中，那些和应用层相关的命令（也就是我们最常用的命令，如git commit、 git push等），我们称之为porcelain命令（瓷器之意，意为成品、高级命令）；而和底层相关的命令（几乎不会在日常中使用，如git hash-object、git update-index等），则称之为plumbing命令（管道之意，是连接git应用界面和git底层实现的一个管道，类似于shell，底层命令）。要了解Git的底层原理，就需要了解Git是如何利用底层命令来实现高层命令的。在此之前，让我们先来看一下Git的目录结构，和各个文件在Git中的作用。
显式引用和隐式引用用来指代每一次提交。尽管有时两种引用都不方便,但是幸运的是, Git 提供了许多不同的机制来为提交命名，这些机制有各自的优势,需要根据上下文来选择。
通过阅读 awesome-nodejs 库的收录，我抽取其中一些应用场景比较多的分类，通过分类涉及的应用场景跟大家分享工具
优秀的团队必不可缺少源代码的质量管理，比如eslint、sasslint等代码检测工具，借助git hook能力，我们可以将这些工具无缝地整合到git开发工作流中。
作为一个新时代的开发者，想必大家在工作中，有一样东西是和大家「形影不离」的。那就是git。(当然，这里也有个例，如果大家项目还停留在svn阶段，就算我刚才的话唐突了)。
来源 | Analytics Vidhya 整理 | 磐石 【磐创AI导读】：Github是全球最大的开源代码社区。接下来磐创AI将为大家介绍几个六月Github热点项目库。欢迎大家关注我们的公众号：磐创AI。 目录 介绍 Github热点项目库 Facebook's DensePose NLP Progress MLflow Salesforce’s decaNLP Reinforcement Learning Notebooks 总结 介绍 对于数据科学和机器学习而言，GitHub无疑是最受欢迎的平台
在你日常的开发中，会遇到很多Git的操作，但你从来没做过，这篇文章便是一本Git命令速查手册，里面总结了我工作这几年来最最常用的Git用法。相信对日常开发来说是有帮助的。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
