首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

关注数据不是模型:如何赢得吴恩达首届 Data-centric AI 竞赛

这次竞赛共有489个参赛个人和团队提交了2458个独特数据集。仅仅通过改进数据(不是模型架构,这是硬标准),许多参赛者能够将64.4%基准性能提高20%以上。...这场竞赛真正独特之处在于,与传统 AI 竞赛不同,它严格关注如何改进数据不是模型,个人经验来看,这通常是改进人工智能系统最佳方式。...这项技术动机以及如何将它推广到不同应用程序 1 大赛概述 在本次竞赛中,每个参与者手里有大小约为 3K 图像,这些图像是 1 到 10 手写罗马数字,我们任务是优化模型在罗马数字分类方面的性能...这表明,在运行上面的“数据增强”过程之前,可以尝试重新调整训练和验证数据分割。...3 这项技术动机以及如何将它推广到不同应用程序 方法受到以下四件事启发: 在原先作品(见 2019 年一篇博文)里构建了一个电影推荐系统,这个系统通过从关键字标签中提取电影嵌入并使用余弦相似度来查找彼此相似的电影

64940
您找到你想要的搜索结果了吗?
是的
没有找到

如何每次运行程序时,都会将数据添加到对应keys中,不是重新创建一个dict啊?

大家好,是Python进阶者。...一、前言 前几天在Python最强王者交流群【 】问了一个Python项目实战问题,问题如下:请问,如何每次运行程序时,都会将数据添加到对应keys中,不是重新创建一个dict啊。...如果你也有类似这种Python相关小问题,欢迎随时来交流群学习交流哦,有问必答! 三、总结 大家好,是Python进阶者。...这篇文章主要盘点了一个Python项目实战问题,文中针对该问题,给出了具体解析和代码实现,帮助粉丝顺利解决了问题。...最后感谢粉丝【 】提出问题,感谢【东哥】给出思路,感谢【莫生气】等人参与学习交流。

9410

加密 K8s Secrets 几种方案

如何确保集群上 Secrets 和其他敏感信息(如 token)不被泄露?在本篇博文中,我们将讨论在 K8s 上构建、部署和运行应用程序时加密应用程序 Secrets 几种方法。...K8s Secrets 在 Kubernetes 集群上运行应用程序可以使用 Kubernetes Secrets,这样就无需在应用程序代码中存储 token 或密码等敏感数据。...问题来了 作为 DevSecOps 管理员,您显然面临着两个挑战: 1.如何加密和管理集群外敏感数据,即在构建和部署阶段进入集群之前?2.如何在集群内运行应用程序时保护敏感数据安全?...SealedSecret 只能由目标集群中运行控制器解密,其他人(甚至原始作者)无法 SealedSecret 中获得原始 Secret。...3.开发者创建一个 Secret 资源,然后由 kubeseal CLI运行控制器中获取密钥,对该资源进行加密或密封。对于网络受限环境,公钥也可以存储在本地并由 kubeseal 使用。

55620

用 Chezmoi 取回你点文件

在 Linux 中,点文件是隐藏文本文件, Bash、Git 到 i3 或 VSCode 等更复杂许多应用程序,都用它存储配置设置。...编辑这些文件使你可以自定义也许没有提供设置菜单应用程序,并且它们可以跨设备甚至是跨其它 Linux 发行版移植。但是,整个 Linux 发烧友社区讨论焦点是如何管理这些点文件以及如何共享它们。...Chezmoi 是如何 Chezmoi 是一种考虑了以上问题用于管理点文件工具,它不会盲目地存储库复制或符号链接文件。...pass CLI, not found) warning: vault (Vault CLI, not found) [root@a6e273a8d010 ~]# 你可以使用这些客户端,也可以使用通用客户端...,你配置可以公开共享没有任何风险!

78120

在 Kubernetes 上部署 Secret 加密系统 Vault

Vault 提供由身份验证和授权方法控制加密服务。使用 Vault UI、CLI 或 HTTP API,可以安全地存储和管理对机密和其他敏感数据访问、严格控制和可审计。...with=token 使用Token登录,需要使用到上面获得到Initial Root Token: 总结 本文实践了如何在 Kubernetes 中使用 Helm 部署 HashiCorp Vault...下面是一些常用场景: 使用在 Kubernetes 中运行 Vault 服务应用程序可以使用不同 secrets 引擎[1] 和 身份验证方法[2] Vault 访问和存储秘密。...使用在 Kubernetes 中运行 Vault 服务应用程序可以利用Transit 秘密引擎[3] 作为“加密即服务”。这允许应用程序在存储静态数据之前将加密需求发送到 Vault。...Vault 可以直接在 Kubernetes 上运行,因此除了 Vault 本身提供原生集成之外,为 Kubernetes 构建任何其他工具都可以选择利用 Vault

67620

持续测试基础设施

持续测试基础设施必要性 基础设施作为应用程序支柱,为之提供关键运行环境、网络连接和资源调度等支持。...一旦基础设施出现故障,整个应用生态系统都可能面临严重连锁反应,如性能降低、数据丢失乃至系统崩溃。因此,基础设施稳定性和可靠性对于运行在其上应用程序至关重要。...这些代码变化引发测试在代码变化时都应该进行。 其次是覆盖代码变化之外由我们可控因素导致问题,如证书到期、磁盘空间满、token 失效等,保证运行时环境相关组件和功能。...其它 IaC 实现和不依赖外部工具测试都可以参考来实现。 注意这些由代码变化产生测试都应在 Pipeline 流水线中,不是手动触发。任何不拦截在上线必经之路测试,最终都将无人理睬。...我们可以通过各种文档来识别出被测内容,比如 Kubectl、AWS、VaultCLI,或各种服务 API。如果我们无法识别出被测内容时,那就需要通过拆解步骤、手动部署资源等方式分析出来。

17920

使用 AWS、k3s、Rancher、Vault 和 ArgoCD 在 Kubernetes 上集成 GitOps

这篇文章中,将带领大家在 AWS 上设置一个 k3s Kubernetes 集群,然后集成 ArgoCD 和 Vault 创建一个安全 GitOps。...将会使用集成在 vault Banzai Cloud bank-vault,它会允许通过使用一个 Admission Webhook 方式将密钥直接注入到 pod 中。...对而言,我会转到 NameCheap 域名中高级 DNS 页面输入 CNAME 条目从而让 *.demo.atoy.dev 指向 AWS 拷贝 DNS 名称。...注意事项 1: 为了避免来自 LetsEncrypt 速率限制,我们使用临时证书并不是一个有效证书。...运行下面命令来获取你 Vault admin 令牌和 port-forward 命令: $ sh tools/vault-config.sh Your Vault root token is:

2.3K42

适用于Java开发人员微服务:管理安全性和机密

尽管存在许多缺点,但对于大多数应用程序而言,单因素身份验证(通常基于提供密码)仍然是事实上选择。 方面来说,多种因素身份验证不同方法虽然缓慢但肯定会得到越来越广泛采用。...七.确保机密安全(Keeping Secrets Safe) 大多数典型微服务体系结构中(如果不是全部)服务将依赖某种类型配置才能正常运行。...对于Spring Boot应用程序,您可以将Spring Boot CLI与Spring Cloud CLI一起使用来加密和解密属性值。 $ ....更进一步,让我们讨论gVisor,即容器运行时沙箱,它通过在运行时隔离容器来另一个角度看待安全性。 gVisor是一个用Go编写用户空间内核,它实现了Linux系统表面的很大一部分。...如果我们可以将这种重复横切关注点转移到其他地方,不是很好吗?

1.2K30

HashiCorp Vault | 技术雷达

HashiCorp Vault是一款企业级私密信息管理工具。说起Vault,不得不提它创造者HashiCorp公司。...在企业级应用开发过程中,团队每时每刻都需要管理各种各样私密信息,个人登陆密码、到生产环境SSH Key以及数据库登录信息、API认证信息等。...尤其是在微服务如此风靡今天,如何让开发者添加私密信息、应用程序能轻松获取私密信息、采用不同策略更新私密信息、适时回收私密信息等变得越来越关键。...所以企业需要一套统一接口来处理私密信息方方面面,HashiCorp Vault就是这样一款工具。...Barrier:隔离受信区域和非授信区域,保证内部数据安全性。 HTTP API:通过HTTP API向外暴露服务,Vault也提供了CLI,其是基于HTTP API实现

2.2K50

GitOps 和 Kubernetes 中 secret 管理

我们知道基础设施配置和应用程序配置经常都需要访问某种敏感资产,也就是我们通常说 Secrets(比如身份认证 Token、私钥等),才能正确运行、访问数据或以其他方式与第三方系统以安全方式进行通信。...KubeSeal CLI 工具允许开发人员获取普通 Kubernetes Secret 资源并将其转换为 SealedSecret 对象,可以控制器自动获取执行加密所需公钥,否则,公钥必须由用户提供作为输入...但是这个约束是由控制器强制执行不是通过加密方式实现。 随着集群数量增加,SealedSecrets 方法也不能很好地扩展。...HashiCorp Vault、Azure Key Vault 和 GCP Secret Manager,其他后端可以外部开发,并按照插件模式作为"供应商"进行整合。...一方面,它似乎赞同我们不应使用 Kubernetes Secrets 想法,只是将临时内存卷挂载到包含密钥管理系统获取 secret pod 上。

1.4K20

Azure AD(四)知识补充-服务主体

Azure AD资源托管标识内容,其实就包括如何去操作开启系统分配托管标识,以及通过开启托管标识,VM如何去访问Azure 中一些资源,如 “Key Vault” 等。...应用程序对象用作模板,常见属性和默认属性其中派生,以便在创建相应服务主体对象时使用。 因此,应用程序对象与软件应用程序存在 1 对 1 关系,而与其对应服务主体对象存在 1 对多关系。...3 HR 应用程序使用者租户(例如 Contoso 和 Fabrikam)各有自己服务主体对象。 每个对象代表其在运行时使用应用程序实例,该实例受相关管理员同意权限控制。...Azure提供服务主体,不是应用程序以完全特权用户身份登录。Azure服务主体是为与应用程序,托管服务和自动化工具一起使用创建身份,以访问Azure资源。...这种访问受到分配给服务主体角色限制,使您可以控制可以访问哪些资源以及可以访问哪个级别。出于安全原因,始终建议将服务主体与自动化工具一起使用,不是允许他们使用用户身份登录。

1.6K20

普通Kubernetes Secret足矣

我们如何防止这些攻击? 对于攻击#1:内存中窃取Secret是我们不得不容忍风险。 应用程序可以使用自动过期令牌或多重身份验证,但由于这些功能依赖于特定应用程序,因此不在范围内。...Kubernetes 密钥替代方案 让我们看看一些存在替代方案,看看它们测量结果如何。 etcd 静态加密 很震惊这个仍然是 #1 推荐替代方案,考虑到它作用有多荒谬。...曾在一家拥有整个团队运行 HSM 支持企业版 Vault 公司工作过,但那东西仍然经常宕机。 但是,让我们假设您有足够财力维护一个不可能完美的 Vault 实例。...对于攻击#4:如果有人访问物理节点,他们无法磁盘获取Secret,但他们可以获取与普通Secret相关服务帐户保险库凭据,并且如果您在 Kubernetes 内运行 Vault,则可以这样窃取Secret...但是,您仍然必须担心 Vault 运行所在服务器物理访问。 Vault 在“密封”时会对静态数据进行加密,但是如果您使用自动解封,则攻击者可以使用磁盘上云凭据模拟该过程。

5810

NFT教程 - 如何用IPFS在Flow上创建一个NFT交易市场?

用这个命令来运行脚本: flow scripts execute --code scripts/CheckPinnieBalance.cdc 结果应该是这样。...注意,我们将 signer定义为 second-account,确保交易由正确账户执行不是我们原来emulator-account。...项目的根目录下运行: flow project deploy 这将部署 Marketplace 合约,并允许我们从前端应用程序中使用它。所以,让我们开始更新前端应用。...如果通过前端目录并运行npm start来启动前端应用程序,会在控制台中看到 NO NFT FOR SALE。 让我们来解决这个问题!...无论你做什么,都希望你能带着更多知识离开,了解我们如何推动 NFT 空间发展。如果你想访问所有这些教程完整源代码,在这里[9] 获取。

1.5K21

【安全设计】10种保护Spring Boot应用程序绝佳方法

发现,在依赖关系中寻找漏洞可能有助于激励人们进行升级。然而,有大量证据表明,并不是所有的cve都被报道。一般来说,发现理想解决方案(可能不实用)是最新和最好。...要了解如何在Spring引导应用程序中使用OIDC,请参阅Spring Security 5.0和OIDC入门。要总结如何使用它,您需要向项目添加一些依赖项,然后在应用程序中配置一些属性。...如果您对此感兴趣,请务必花一些时间研究Spring Vault,它在HashiCorp Vault上添加了一个抽象,为客户端提供基于Spring注释访问,允许他们访问、存储和撤销机密,不会在基础设施中丢失...下面的代码片段显示了使用注释Spring Vault提取密码是多么容易。 @Value("${password}") String password; 9....使用OWASPZAP测试您应用程序 OWASP ZAP安全工具是一个代理,它在运行时对您活动应用程序执行渗透测试。这是一个流行(超过4k明星)免费开源项目,托管在GitHub上。

3.5K30

使用 Vault 与 Kubernetes 为密码提供强有力保障

这篇实践文章中,我会向你展示如何使用一些 Go 助手工具实现诸如认证更新令牌这些相同工作,并且还会进一步实现- Vault 到 Kubernetes 同步预定义密码子集。...第三个例子将会演示怎样 Vault 到 Kubernetes 同步密码。 所有这三个用例均由我在 PostFinance 同事构建三个 Docker 镜像上运行。...(删除了先前 deployment。)...集成方案看似不简单但是依旧可行。这篇文章中已经向你展示了怎样实现这两者集成,希望会对你有所帮助。...原因如下: Vault 节点需要一个配置文件不是环境变量,这也就意味着你必须去管理其他配置映射。并且当前节点不能同步密码。另外,第三方镜像更轻量。官方 Vault 镜像大概 100 MB。

1.5K31

在NETCORE中实现KEY Vault

在开发过程中,保护隐私密钥是一个很常见场景,我们可以用多环境配置文件来实现保护生产环境密钥,也可以使用k8s或者配置中心方式,Azure全家桶中,提供Azure Key Vault,可以方便我们快速配置...一、什么是Azure Key Vault 在之前文章中,我们也详细说到了KeyVault原理和开启方式,也介绍过如何将 Azure 应用程序配置服务与 Azure Key Vault 配合使用。...应用程序配置可以创建密钥来引用存储在 Key Vault值,以帮助你结合使用这两个服务。 当应用程序配置创建此类密钥时,它会存储 Key Vault URI,不是值本身。...在继续操作之前,请先完成使用应用程序配置创建 ASP.NET Core 应用,相应代码可以点击文章末尾阅读原文。...具体查看之前文章,有更详细介绍: 《在ASP.Net Core和JAVA中,使用Azure配置密钥——Key Vault》 三、在ASP.NETCore中使用Key Vault 1、添加nuget

16320

使用 Docker 和 Traefik 搭建 Vault

本篇文章将会介绍 Vault 如何搭配 Traefik 、Compose 一起使用,如果你有阅读之前文章,或者有一定基础,全部操作时间在五分钟左右。...并支持 CLI、HTTP API 、以及Web UI 三种方式来进行交互。...Vault 除了支持运行在高度信任、有明确界限划分、可能依赖IP白名单私有网络中外,还支持在没有明确界限划分、依赖秘钥等要素验证公有云中,比如:支持各种主流云计算平台。...,以及是否开启 SSL 因为在容器中对外提供服务,需要绑定地址为 0.0.0.0 不开启 SSL 是因为证书挂载这件事,我们交由 Traefik 来处理 接口数据有效期 Vault 所有接口获取数据...所以 Vault 还提供了 名为 KV v2 储存仓库,在这个模式之下,数据储存是有版本控制功能,但是使用起来稍稍麻烦一些,接口文档也不是很清晰,所以这里单独聊一下,如何使用 v2 版本 KV 进行数据储存

49620

这些保护Spring Boot 应用方法,你都用了吗?

安全性问题与代码质量和测试非常相似,已经日渐成为开发人员关心问题。本文目的是介绍如何创建更安全Spring Boot应用程序。 1....在对应用程序进行必要更改以使用较新版本之后,就应用程序整体运行状况而言,升级是最安全。 4....它使用scope来定义授权用户可以执行操作权限。但是,OAuth 2.0不是身份验证协议,并且不提供有关经过身份验证用户信息。...如果您对此感兴趣,请务必花一些时间查看Spring Vault,它为HashiCorp Vault添加抽象,为客户提供基于Spring注释访问,允许他们访问、存储和撤销机密不会迷失在基础架构中。...以下代码段显示了使用注释Spring Vault中提取密码方便程度。 9. 使用OWASPZAP测试您应用程序 OWASP ZAP安全工具是针对在运行活动应用程序进行渗透测试代理。

2.2K00
领券