去年8月,我用 .NET Core 重写了我的博客系统。经过一年多的优化,服务器响应速度从上线时候的 80ms 提高到了现在的 8ms,十倍提速。可惜由于部署在国外,自然不可抗力会导致中国用户晚上访问速度不稳定。本文分享网络正常的前提下,我做了哪些优化和提升,希望能帮到大家。
在之前的文章中,说到了SeaweedFS和MinIO,如果是使用的微软全家桶的话,那肯定就使用Azure Blob了,更直接、更简单和更高效。
https://github.com/dotnet/core/blob/master/release-notes/download-archives/1.1.1-download.md
我的博客使用 Azure Blob Storage 存储文章配图,结果今天玩 Azure CDN 的时候爆了,原因是图片mime type不对。我们来看看如何在 .NET Core 里批量重置 Azure Blob Storage 中文件的mime type吧。
前不久我写了一篇《尝鲜新版 Azure .NET SDK》之后,使用了一段时间发现没爆,于是今天决定把博客的图片存储从旧版 SDK 迁移到新版 SDK,结果小收福报。
近日,微软发布了一个新款 Azure .NET SDK,这并不是一个简单的版本升级,而是一个编程体验上的巨大改变。所以,程序员又双叒叕得学习了!是不是感觉以前的积累又双叒叕被微软玩弄了?虽然适应新版 SDK 可能需要一个996的过程,但新版的 Azure .NET SDK 更强大,更灵活,使用更简单,学会了就能比以前少一些 996,我们来看看吧!
题记:为了庆祝获得微信公众号赞赏功能,忙里抽闲分享一下最近工作的一点心得:如何直接从浏览器中上传文件到Azure Storage的Blob服务中。 为什么 如果你的Web应用程序利用了云存储(比如Az
Azure Blob Stoage 是微软Azure的对象存储服务。国内的云一般叫OSS,是一种用来存储非结构化数据的服务,比如音频,视频,图片,文本等等。用户可以通过http在全球任意地方访问这些资源。这些资源可以公开访问,也可以私有访问。看到这些描述立马就想到这这个服务可以用来做静态文件服务。
Azure提供了两个类似但不同的服务,允许虚拟网络(VNet)资源私下连接到其他Azure服务。Azure VNet服务端点和Azure私有端点(由Azure私有链接提供支持)都通过允许VNet流量不通过internet与服务资源通信来促进网络安全,但它们之间存在一些区别。这个由三部分组成的博客系列详细介绍了这两种服务。
2018年6月,微软正式宣布了Azure Datalake Store Gen2,第二代数据湖文件系统。熟悉微软数据湖的知道,这个东西是Raghu搞出来的,用于商业化微软内部数据处理平台Cosmos的系统。有关背景资料我在一湖数据,几度春秋里面有详细的介绍,有兴趣的可以去读一下。
本文主要讲解一下iceberg数据湖在微软云azure上面的部署方案,采用的方案是通过hadoop的api写入azure,和之前写入hdfs没有太大区别,只需要配置一下hadoop的配置文件即可。iceberg这里不需要做任何改动。目前支持Azure Blob Storage 和 Azure Data Lake Storage Gen2。此外着重说明一下,azure仅支持hadoop 3.2 以上的版本,否则的会报错 java.io.ioexception no filesystem for scheme : abfss.
根据GATK官网有关于Resource bundle的说明https://gatk.broadinstitute.org/hc/en-us/articles/360035890811-Resource-bundle)
在azure中,订阅(subscription)是一个逻辑单位,它用于为使用azure的服务进行计费。你可以在一个订阅下创建、使用和管理azure资源。每个订阅都与一个azure帐户关联,并由azure帐户的所有者或服务管理员进行管理。
生产环境里的Azure Stack,就不能仅仅将其看作是Hyper-V虚拟化平台、或者分布式存储、软件定义网络这样的产品。否则就暴殄天物。
相较传统的重量级OLAP数据仓库,“数据湖”以其数据体量大、综合成本低、支持非结构化数据、查询灵活多变等特点,受到越来越多企业的青睐,逐渐成为了现代数据平台的核心和架构范式。
云安全是公有云厂商最着力宣传的卖点之一,但是对于企业用户而言,过于信任和盲从云服务的默认配置是一件非常危险的事情,企业的安全架构师及云安全审核人员需要对云计算初始环境的安全漏洞和配置错误进行全面评估和调优。以下,我们列举微软Azure云计算环境的TOP20常见账户和配置漏洞(初始默认配置),对企业选择其他类似公有云服务也有一定借鉴意义。微软 Azure TO
推荐一款Csharp写的开源博客,里面包含了众多的功能。当然项目也是 Microsoft MVP 的开源项目,从2008年的vb项目升级为ASP.NET Core的,完完全全的作为博客来使用
在“数据湖”概念与理论逐渐深入人心的今天,面向云存储的交互式查询这个需求场景显得愈发重要。这是因为原生的云存储(主要指S3这样的对象存储)既能够容纳大容量的明细数据,又能在性能和成本间取得一个很好的平衡——如果它同时再支持复杂的即席分析查询,那么云原生存储就将成为数据湖的最佳载体,对于实现数据分析人员的自由探索和应用系统的查询集成都有着非常重要的意义。
平时跑的好好的python脚本,今天一运行出现错误,把解决方法记录,如下: 错误内容: Traceback (most recent call last): File "/home/teld/mysqlDateBackup.py", line 12, in <module> from xxxx import xxxxx File "/usr/lib/python2.7/site-packages/azure/storage/blob/init.py", line 39, in <module> from .blockblobservice import BlockBlobService File "/usr/lib/python2.7/site-packages/azure/storage/blob/blockblobservice.py", line 64, in <module> from .baseblobservice import BaseBlobService File "/usr/lib/python2.7/site-packages/azure/storage/blob/baseblobservice.py", line 95, in <module> from ..storageclient import StorageClient File "/usr/lib/python2.7/site-packages/azure/storage/storageclient.py", line 18, in <module> import requests File "/usr/lib/python2.7/site-packages/requests/init.py", line 58, in <module> from . import utils File "/usr/lib/python2.7/site-packages/requests/utils.py", line 32, in <module> from .exceptions import InvalidURL File "/usr/lib/python2.7/site-packages/requests/exceptions.py", line 10, in <module> from .packages.urllib3.exceptions import HTTPError as BaseHTTPError File "/usr/lib/python2.7/site-packages/requests/packages/init.py", line 95, in load_module raise ImportError("No module named '%s'" % (name,)) ImportError: No module named 'requests.packages.urllib3' 解决方法: pip install --upgrade --force-reinstall 'requests==2.6.0' urllib3
案例分析与架构设计 案例分析:大卫公司电子商务网站案例研究 大卫公司是北京的一家媒体和出版公司,拥有约2000名员工。它有一个成功的直接面向消费者的电子商务网站,使用.NET构建,并使用SQL Server来存储客户资料和订单信息。 •桌面为内部和面向客户的应用程序提供单一数据中心。大多数服务器都是在VMware上虚拟化的。应用程序服务器主要运行Microsoft服务器软件,包括Active Directory(AD)域服务和许多AD集成服务(包括Exchange 2013)以及多层,内部AD集成的基于Mi
在Azure上训练大型机器学习模型通常涉及以下关键步骤,尤其是针对深度学习模型和其他大数据量训练任务。以下是一种通用的流程指导,适用于Azure Machine Learning服务:
ASP.NET Core 引入声明授权机制,该机制接受自定义策略来限制对应用程序或部分应用程序的访问,具体取决于经过身份验证的用户的特定授权属性。在上一篇文章中,即于 2019 年 6 月发行的 MSDN 杂志中的《ASP.NET Core 中支持 AI 的生物识别安全》(msdn.com/magazine/mt833460),我提出了一个基于策略的模型,用于将授权逻辑与基础用户角色分离,并展示了在检测到未经授权的入侵时,如何专门使用此类授权策略限制对建筑的物理访问。在第二篇文章中,我将重点讨论安全摄像头的连接性、将数据流式传输到 Azure IoT 中心、触发授权流,并使用内置在 Azure 机器学习中的异常检测服务评估潜在入侵的严重性。
使用 Sonatype Nexus 作为 maven 私服,有两个无法避免的运维问题。
https://devblogs.microsoft.com/dotnet/announcing-dotnet-7-rc-2/
Azure Stack是我们实现混合云DevOps的重要利器,而要实现DevOps,离不开容器编排平台Kubernetes的支持。本文将介绍如何在Azure Stack ASDK环境里部署Kubernetes,在AKS for Azure Stack Mooncake正式发布之前,可以让我们更方便地进行测试。
我的网站是在.NET Core 平台上使用 C#语言编写的开源博客系统,运行于微软智慧云 Azure 国际版上。
通过前面的文章,相信大家都知道共享访问签名(SAS)是一种限制访问Azure存储的机制。这是提供对我们的存储帐户的访问的更安全的方法之一。无需访问密钥即可访问对应的Azure存储帐户。
Windows Defender for Endpoint(以前称为Windows Defender ATP)是一种“云驱动”的终端安全检测响应系统(EDR),比如说,警报和事件可以被推送到云端,防御人员可以直接在云端做出响应。
SkyArk是一款针对Azure和AWS的安全审计工具,该工具可以帮助广大研究人员发现、评估和保护Azure和AWS中的特权实体。从本质上来说,SkyArk是一个云安全项目,该工具包含两个主要的扫描模块:
一个常见的大数据场景是静态数据的批处理。在此场景中,源数据通过源应用程序本身或编排工作流加载到数据存储中。然后,数据由并行作业就地处理,并行作业也可以由编制工作流发起。在将转换后的结果加载到分析数据存储之前,处理过程可能包括多个迭代步骤,可以通过分析和报告组件查询分析数据存储。
要参加微信课堂以及日常技术交流,请给我们发微信(微信号:markpah),请注明加入以下哪个群:
上篇《博客系统知多少:揭秘那些不为人知的学问(一)》介绍了博客的历史、我的博客故事及博客的受众来源。本篇精彩继续,介绍博客基本功能设计要点。
Azure Stack是我们实现DevOps的重要利器,而要实现DevOps,离不开容器编排平台Kubernetes的支持。本文将介绍如何在Azure Stack ASDK环境里部署Kubernetes,在AKS for Azure Stack Mooncake正式发布之前,可以让我们更方便地进行测试。
这是一个全栈应用程序,能让你将任何文档、资源或内容转换成任何LLM可以在聊天中使用的上下文。此应用程序允许你选择和使用商用的现成LLM或流行的开源LLM和Vector Database,同时支持多用户管理和权限设置。
自从Windows Azure首次发布以来,微软公司的首要重点就一直是开发出一套工具来帮助用户管理其资源。这个云计算平台是出了名地难于管理,但是微软公司也在一直致力于满足客户需求并为供应商和开发人员提供一个应用程序编程接口(API)以扩展其功能。众多第三方厂商和开源企业都加入了为微软公司开发管理Azure不同方面工具的行列中,从而为用户提供一种较好的管理体验。但是,面对着所有执行不同任务的无数选择对象,作为用户的你又应当如何作出正确选择呢?首先,我们可以把这些工具划分为三种类别:微软公司的、开源的以及第三方
构建有用的 LLM 聊天界面并非没有复杂性和挑战。Deepak Jayablalan 向我们展示了如何做到这一点。
机器学习 以下是一些实用的流程图和机器学习算法表。 神经网络架构 来源: http : //www.asimovinstitute.org/neural-network-zoo/ The Neura
本文介绍了Linux内核中的一处提权漏洞(CVE-2024-0193),此漏洞导致权限提升与任意代码执行风险。
来源:机器学习算法与自然语言处理 本文多资源,建议收藏。 本文针对机器学习基本概念及编程和数学基础,为你列出相应的学习资源。 机器学习(Machine Learning)有很多方面,当我开始研究学习它时,我发现了各种各样的“小抄”,它们简明地列出了给定主题的关键知识点。最终,我汇集了超过 20 篇的机器学习相关的小抄,其中一些我经常会翻阅,而另一些我也获益匪浅。这篇文章里面包含了我在网上找到的 27 个小抄,如果你发现我有所遗漏的话,请告诉我。 机器学习领域的变化是日新月异的,我想这些可能很快就会过时,
大多数供应商提供各种不同的云存储服务,并且每种服务的价格可能会受到许多不同因素的影响。例如,数据中心规模、弹性级别、存储数据量、免费资格、数据访问频率、数据传输费用、数据访问费用,以及支持订阅等都可能影响云存储的定价。 对于企业来说,估测云存储的定价可能非常复杂。并且,对行业领先的云计算供应商提供的价格进行比较,以确定价格最低的云存储更为复杂。 大多数供应商提供各种不同的云存储服务,并且每种服务的价格可能会受到许多不同因素的影响。例如,数据中心规模、弹性级别、存储数据量、免费资格、数据访问频率、数据传输费用
Azure中的相对性新特性是能够在Azure存储中托管静态网站。如果您只需要廉价且配置很少地托管一个简单的网站,那么这将非常方便。虽然网站代码需要是静态的,但是您可以使用一些Azure资源来执行后端流程。下面我将向您展示如何使用Azure存储来托管一个简单的静态web页面。
嗨,猫头虎博主在此!🐆🦉 今天我们要聊的是Go Cloud Development Kit的最新更新。如果你在寻找关于Go语言和云开发的最新资讯,那么这篇博文正适合你。我们将深入探讨2019年3月4日Google团队发布的这个令人兴奋的项目。让我们一起探索如何使云开发变得更简单、更高效吧!
机器学习(Machine Learning)有很多方面,当我开始研究学习它时,我发现了各种各样的“小抄”,它们简明地列出了给定主题的关键知识点。最终,我汇集了超过 20 篇的机器学习相关的小抄,其中一些我经常会翻阅,而另一些我也获益匪浅。这篇文章里面包含了我在网上找到的 27 个小抄,如果你发现我有所遗漏的话,请告诉我。
机器学习(Machine Learning)有很多方面,当我开始研究学习它时,我发现了各种各样的“小抄”,它们简明地列出了给定主题的关键知识点。最终,我汇集了超过 20 篇的机器学习相关的小抄,其中一些我经常会翻阅,而另一些我也获益匪浅。这篇文章里面包含了我在网上找到的 27 个小抄,如果你发现我有所遗漏的话,请告诉我。 机器学习领域的变化是日新月异的,我想这些可能很快就会过时,但是至少在目前,它们还是很潮的。 机器学习 这里有一些有用的流程图和机器学习算法表,我只包括了我所发现的最全面的几个。 神经网络架
今天分享一篇机器学习的文章。翻了一半,发现Linux中国已经翻译过了。。。干脆搬过来,还有一个姊妹篇《My Curated List of AI and Machine Learning Resources from Around the Web》,明天准备发这个。 原文地址是:Cheat Sheet of Machine Learning and Python (and Math) Cheat Sheets 译文地址是:https://linux.cn/article-8754-1.html 机器学
机器学习涉及到的方面非常多。当我开始准备复习这些内容的时候,我找到了许多不同的”速查表”, 这些速查表针对某一主题都罗列出了所有我需要知道的知识重点。最终我编译了超过 20 份机器学习相关的速查表,其中一些是我经常用到的而且我相信其他人也会从中受益。本文整理了我在网络上找到的 27 个速查表,我认为比较好。如果我有遗漏,欢迎补充。
昨天坐飞机,就听到微软的朋友说微软的数据湖完蛋了,队伍解散了,那个曾经领导了这个项目的印度人Raghu成了名副其实的光杆司令。在飞机上心情拔凉拔凉的。当然飞机上没法写公众号,只能拖到今天来写了。
领取专属 10元无门槛券
手把手带您无忧上云