作为一款自助式BI的轻量ETL工具，PowerQuery的确可以让我们享受许多数据处理的便利，无需专业的能力，大部分仅需通过界面的操作即可完成，无可否认PowerQuery的使用体验是非常棒的。
在PowerQuery的数据处理中，有相当多的一些功能使用起来非常方便，对应于企业级的SSIS，反而缺少了这些的灵活性，真正要完全使用SSIS来实现，非常繁琐。如PowerQuery里的逆透视功能，行列转置功能，标题行提升功能等。
在数据消费端，就算是数据分析师的角色，对于正规的公司来说，都不会轻易地开发数据库的访问权限给到终端用户，绝大部分的场景只会是给予导出Excel、csv等文件格式的权限，并且通常来说，导出的记录数也是有限制的，导出量太大，应用程序负荷过重，是不允许的。
在笔者过往的文章里已经反复提到过，学习dotNET的性价比是比较高的，不止于可以做任何专业程序员做的领域，更是可以让我们这些业余的人员大有作为，例如可以开发OFFICE插件，可以使用PowerShell来做运维（会dotNET的很快上手，都是广义的dotNET体系），同时在微软的产品系里开放了各产品的对象模型，使我们可以轻松地和各大产品作交互如Windows的WMI模型，Sqlserver的SMO、AMO模型，当然还有我们熟悉的OFFICE对象模型等。
python的确是一门非常优秀的编程语言，特别是在数据领域，网络爬虫、数据处理、分析等方面都是非常强劲。
介绍 改变数据类型是一个看起来很简单的事情，但是如果表非常大或者有最小停机时间的要求，又该如何处理那？这里我提供一个思路来解决这个问题。 背景 在一个常规SQL Server heath检查中，使用sp_blitz，我们最大的生产表之一引发了令人担忧的警报。保存客户订单信息的表的ID列是一个INT datatype，很快就将达到最大值。 这个表大约有500GB，有超过9亿行。根据在该表上每天的平均插入数，我估计未来八个月后，在这张表上的插入将会溢出。这是一个订单输入表，由于客户的活动，需要24小时的插入。一
改变数据类型是一个看起来很简单的事情，但是如果表非常大或者有最小停机时间的要求，又该如何处理那？这里我提供一个思路来解决这个问题。
In this article, I will first give an overview of SSIS data types and data types conversion methods and then I will illustrate the difference between changing the columns data types from the Source Advanced editor and using Data Conversion Transformation.
许多业务专业强的人，通常开口就说工具不是最重要，业务思维才是最重要，才能产生最大的价值。
本人一个IT屌丝男，一直在ITPRO的圈子里面混着，从来不是一个程序猿，水平就是开开关关windows的水平。昏昏然，成了一个油腻的大叔，但我的内心和业务水平还是停留在26岁啊! 周围的同事好友一个个都一日千里的学习进步着，实在看不下去自己了，决定整理整理，给自己，给儿子摆一个努力学习的POSE出来。
SQL Server数据库服务方式是安装在客户提供的服务器内。客户负责硬件、、软件安装、安全性、数据库备份、灾难恢复等相关的运维工作。需要较高的人为运维成本。
◆ 概述 MSDB 数据库是 4 个可见系统数据库之一，另外3个分别是master、model 和 TempDB 。MSDB目的是跟踪一系列常见 DBA 活动历史记录，如备份和恢复。它还包含 SQL Server 代理的所有数据，包括作业、步骤、运算符、警报和执行历史记录。有时 MSDB 用于存储 SSIS 包，尽管它更常见地存储在实例上的 SSIS 目录数据库中。下面探讨一下MSDB一些特性 ◆ MSDB特性 ◆ 1、备份和恢复历史存储在 msdb 中 msdb 包含备份还原历史记录。因此，我们可以通过查
Sqlserver的内容非常广大，笔者也不是这方面的专家，所以整个系列的文章必须是在一个狭隘的小范围内讨论。
ETL 工具已经使用了近五年，使组织能够持续分析、开发和处理数据，数家数据库管理、分析和商业智能领域的资深企业供应商继续保持领先地位，同时，行业解决方案在 2022 年不断演进，以满足云和边缘数据处理需求。
CDA数据分析师 出品 编辑：Mika 在本中，我们将探讨一下如何能成为一名SQL开发人员，以及需要哪些技能和特质。 点击下方视频，先睹为快 http://mpvideo.qpic.cn/0bc3
通常在数据量较少的情况下，我们从一个数据源将全部数据加载到目标数据库的时候可以采取的策略可以是：先将目标数据库的数据全部清空掉，然后全部重新从数据源加载进来。这是一个最简单并且最直观的并且不容易出错的一种解决方案，但是在很多时候会带来性能上的问题。
让EXCEL拥有和数据库交互的能力，通过EXCEL维护T-SQL,然后在EXCEL上向数据库发送T－SQL命令，让数据库去执行相应任务
ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。
SQL Server 导入和导出数据向导只可以处理简单的数据传送，对于复杂的传送数据的需求，还需要使用SSDT来实现。
在使用第三方插件的过程中，可以弥补一些数据处理的刚需，但因每个插件的定位及用途不一，暂没有发现哪个像Excel催化剂这样专注做一些高阶的应用，同时第三方插件的使用体验，略低于原生的功能（需要安装、发布、分享等环节麻烦，同时界面操作没法做到原生那般地紧密相联）
string ConnectionString = “Data Source=数据库名;User Id=用户名;Password=密码;Integrated Security=no;”;
问题 我们经常遇到一种情况，在SSMS中运行很慢的一个查询，当把查询转化成从源到目的数据库的SSIS数据流以后，需要花费几倍的时间！源和数据源都没有任何软硬件瓶颈，并且没有大量的格式转换。之前看了很多关于这种情况的优化方案，例如扩大缓存大小等。虽然也能快一点，但是仍然远远比直接在SSMS中查询的速度满的多。究竟是什么原因导致的呢？ 解决 首先这个数据流性能是有很多因素决定的，例如源数据的速度、目标库的写入速度、数据转换和路径数量的使用等等。但是，如果只是一个很简单的数据流，那么提高缓存的容量
我们经常遇到一种情况，在SSMS中运行很慢的一个查询，当把查询转化成从源到目的数据库的SSIS数据流以后，需要花费几倍的时间！源和数据源都没有任何软硬件瓶颈，并且没有大量的格式转换。之前看了很多关于这种情况的优化方案，例如扩大缓存大小等。虽然也能快一点，但是仍然远远比直接在SSMS中查询的速度满的多。究竟是什么原因导致的呢？
和前一篇提及的，数据在各业务系统里的导出接口十分单一，大部分是一些Excel导出的功能。
本篇模拟导入一份Excel表格数据，第1个坑将出现，使用导入数据源，选择excel表格后，出现这个吓人的界面，亲测貌似使用【模拟服务帐户】通过。
介绍 如果你已经开发完一个不错的SSIS包并且能够在你的本地完美的运行，每个任务都亮起绿色的通过标志。这时为了能够让这个包处理能够在指定时间运行，你需要将其发布到一个服务器上，并做好相关配置。作为开发人员可能我们不能直接在生产环境去做这个事情，这需要我们有一个开发或者测试环境来完成整个部署测试，因为DBA有时候不会允许你去直接访问生产环境。 本篇将介绍几种从本地到服务器的部署包的方法。SQLServer 2012中引入的项目部署模型不再重复记述了，因为SSIS2012的报部署模型也是用来相似
商务智能，即BI（Business Intelligence），是一种将存储于各种信息系统中的数据转换成有用信息的技术，它起源于经理信息系统（EIS），是决策支持系统（DSS）的继承和拔高。它通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。在企业做大做强的过程中，商务智能扮演着至关重要的角色，它使企业能精确地把握不断变化的商业环境，作出快速而准确的管理决策。
在BI领域里，笔者专注于微软的BI，更准确地说是以PowerBI为核心的技术建模技术。数据前期的准备用的是SSIS，当然PowerQuery这样轻量级的也会偶尔使用一下。
ETL是数据仓库和数据集成领域常用的缩写，代表Extract, Transform, Load（提取、转换、加载）三个步骤。它是一种数据处理过程，用于从不同的数据源中提取数据、对数据进行转换和清洗，并将处理后的数据加载到目标系统或数据仓库中。
根据安全专家的最新发现，Microsoft Excel的旧用户正成为恶意软件的攻击目标。这种恶意软件攻击活动使用了一种新的恶意软件混淆技术来禁用Microsoft Office的安全防御机制，然后传播和感染Zloader木马病毒。
在项目中经常会遇到系统完全更换后的历史数据迁移问题，以示对客户历史工作的尊重，何况很多数据仍有保留的必要。
数据的导入导出是数据库管理员常见的工作任务之一，尤其是平面文件的导入导出。BCP 工具则为这些任务提供了强有力的支持，它是基于DB-Library，尤其是在生产环境中，从本地传送数据到服务器或从服务器传送数据到本地，因它无需提供图形界面，减少网络带宽，提高了传输速率。BCP的全称是BULK COPY PROGRAM,它是一个命令行程序，可以完全脱离SQL server进程来实现。
ETL代表提取、转换和加载。它是从任何数据源中提取数据并将其转换为适当格式以供存储和将来参考的过程。
ETL是EXTRACT（抽取）、TRANSFORM（转换）、LOAD（加载）的简称，实现数据从多个异构数据源加载到数据库或其他目标地址，是数据仓库建设和维护中的重要一环也是工作量较大的一块。当前知道的ETL工具有informatica, datastage,kettle,ETL Automation,sqoop,SSIS等等。这里我们聊聊kettle的学习吧（如果你有一定的kettle使用，推荐看看Pentaho Kettle解决方案，这里用kettle实践kimball的数据仓库理论）
入行不久的程序员，最容易对自己和技术产生怀疑。整天担心学不到技术，不能在日活1亿的好项目里锻炼。其实完全没必要。项目一旦成为项目，它的新奇感也就没有了。剩下的就是苦逼的活儿，码字。
最近在项目中再次接触到SAP的BW系统取数问题，需要将BW的数据取出来在PowerBI上重新建模进行数据分析和报表制作。
Integration runtime(IR) 是Azure 数据工厂在不同的网络环境中进行数据集成的组件，用于几个环境中：
SQL Server在安装到服务器上后，由于出于服务器安全的需要，所以需要屏蔽掉所有不使用的端口，只开放必须使用的端口。下面就来介绍下SQL Server 2008中使用的端口有哪些：
首先，Power Query单条件查询检索数据，即按照输入的单一货号从产品资料中找到该货号的所有信息。
2、CSV文件是一种带有固定格式的文本文件。注意：获取字段的时候可以调整自己的字段类型，格式，满足自己的需求哦。
从 2018.4.2 工作以来，不知不觉已经工作两个多月，并在昨天约谈从这个月开始转正。从刚开始的自己学习，到逐渐接触公司的项目，并完成交付的功能模块，学到了很多，也发现了自己存在的不足，所以作此总结，激励自己，并鞭策自己，不骄不躁，不悲不怒，养成良好的心态，并坚持学习，保持热情！
使用Excel VBA向MySQL数据库中添加和导入数据，可以使用ADODB.Connection和ADODB.Recordset对象来执行SQL语句。以下是一个示例，演示如何添加数据和从Excel导入数据到MySQL数据库中。
本文将探讨学习如何在Python中读取和导入Excel文件，将数据写入这些电子表格，并找到最好的软件包来做这些事。
与其花费好几天去做这些繁琐无意义的操作，不如学学python如何批量读写excel文件，几分钟就能搞定一整天的活！
本文展示如何使用Python将Excel文件拆分为多个文件。拆分Excel文件是一项常见的任务，手工操作非常简单。然而，如果文件包含大量数据和许多类别，则此任务将变得重复且繁琐，这意味着我们需要一个自动化解决方案。
在深入到 Power Query 数据转换的广阔世界之前，最好先确保为将来的成功做好准备。从实际来说，往往一开始的项目或案例都很小，但随着时间的推移，最终会变得越来越复杂。本章描述的方法将有助于确保随着问题的规模变大和复杂性增加，也可以应对。
正确分析使用数据可能会挖到宝藏。那么，作为个人或公司，如何选择分析和可视化数据的工具？
作为一名程序员，对于SQL的使用算是基础中的基础，虽然也写了很多年的SQL，但常常还是记不清一些常见的命令，故而通过一篇博文巩固相关的记忆，并把T-SQL本身的一些新特性再进行一次学习。 首先回顾基础的概念，这部分可以跳过哈，比较枯燥。结构化查询语言SQL是基于集合理论和谓词逻辑的，大学课程中数字逻辑和离散数学主要会涉及这部分的内容。 集合理论是数学家Georg Cantor创建，是基于关系模型的数学分支。集合的定义为，任意集合体是我们感知或者想到的，能够确定的、互异对象m的整体。 谓
数据流是在SQL Server 2005中才引入的新概念。数据流是专门处理数据操作的工作流。数据流也称为流水线。可以将数据流认为是装配线，该装配线包含了顺序执行的多个操作。在数据流中的每个节点都称为转换。数据流通常以源转换开始，以目标转换结束。在这两个转换之间，预定义的数据流转换被依序应用到数据上。一些转换是同步的，例如，查找、条件性拆分和数据转换。这些同步的转换可以并行执行。 一旦已经将转换应用到数据行上，则下一个转换可以开始处理该数据行，而无需等到上一级转换处理完整个数据集。一些转换是异步的，例如聚合和
CRM即客户关系管理系统，通常位于企业信息管理系统的最前端，能够使企业完整地认识整个客户生命周期，提供与客户沟通的统一平台，提升员工与客户接触的效率和客户反馈率，是企业管理中不可替代的系统。而在企业所有信息化系统中，ERP也是不可或缺的一环,它通常位于企业信息系统的中后端，将企业所有资源进行整合集成管理，将企业的物流、资金流和信息流进行全面一体化管理。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
