首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

和我从头学SQL Server Integration Services

我曾经写过三篇跟我从头学系列,分别是《跟我从头学vbs》,《跟我从头学wmi》和《跟我从头学Powershell》,这两篇,就暂时定名为《跟我从头学SQL SSIS》和《跟我从头学SQL Reporting...学习笔记1:从最简单的导入导出向导开始 什么是SQL Server Integration Services SQL SSIS目的 ETL (extract, transform, and load)...SSIS常见的向导程序: SSIS最为常见的三个向导程序分别为: SQL ServerImport and Export Wizard:”SQL Serve导入和导出向导”可以将数据复制到.NET Framework...运行Integration Services Package 链接到Integration Services,在链接中选择链接到integration service,即可运行这个由向导确定的的数据导出操作...好了,至此,我们学习了如何用导入导出操作,怎么生成和修改ssis包,怎么运行包,怎么用dtutil来导出dtsx文件到sql ssis 服务。 ? ----

3.2K50
您找到你想要的搜索结果了吗?
是的
没有找到

ADF 第三篇:Integration runtime和 Linked Service

之间复制数据 Activity dispatch:调度(dispatch)和监视在各种计算服务(例如 Azure Databricks、azure HDInsight、Azure 机器学习、Azure SQL...数据库、SQL Server 等)上运行的转换活动。...SSIS package execution:在托管的 Azure 计算环境中本机执行 SQL Server 集成服务 (SSIS) 包 在数据工厂中,活动(Activity)定义要执行的动作,Linked...Azure-SSIS IR: 用于执行SSIS packages,通过把Azure-SSIS IR加入到on-premises的网络中,数据工厂可以用于本地数据访问(on-premises data access...三,Linked Service 连接服务(Linked services )类似于连接字符串,用于定义ADF连接到外部资源时所需要的连接信息,连接服务定义如何连接到外部数据源,而数据集代表外部源数据的结构

1.4K20

「数据ETL」从数据民工到数据白领蜕变之旅(五)-使用dotNET脚本实现SSIS无限扩展

今天来到SSIS中,我们可以有另外一层能力,让dotNET和SSIS集成,在SSIS中,提供了VSTA的开放接口(Visual Studio Tools For Application),相对于VSTO...所以我们可以在SSIS环境下使用dotNET语言,这个极大地增强了我们的数据ETL能力,大凡dotNET能够做的部分,SSIS也可以加上这些能力,并且起点是SSIS给我们做好了模板,自动化写了许多设计代码...第15波-接入AI人工智能NLP自然语言处理 准备工作 获取百度AI的SDK,可以在百度AI后台有跳转链接到github,下载整个项目再编译。...本次的测试恰恰让大家可以见识到企业级ETL的工具之威力,笔者完全不需懂多线程、并发性之类的高深知识,简单几句的业务转换代码,SSIS已经帮我们完成了并发性调用,并且调用的速度实在太快,百度AI都不接受...结语 本篇带领读者们一窥SSIS的能力边界,让我们心中有数,具体使用SSIS有何不能做到的事情。

2.2K10

SQL Azure与SQL Server两者的对比介绍,看完你就懂了!

客户可以在云服务器SQL Azure上拥有多个数据库实例,但一次只能连接到一个数据库实例,客户不能在数据库实例之间切换、也不能进行多数据库的联合查询。...事务复制Transactional Replication 支持 不支持 您可以使用BCP 或 SSIS 来按需获得流入本地 SQL Server的数据。...可以在本地运行SSIS 无法在SQL Azure内运行SSIS 本地运行 SSIS ,并以ADO.NET provider连接至SQL Azure 。...事务复制Transactional Replication 支持 不支持 您可以使用BCP 或 SSIS 来按需获得流入本地 SQL Server的数据。...可以在本地运行SSIS 无法在SQL Azure内运行SSIS 本地运行 SSIS ,并以ADO.NET provider连接至SQL Azure 。

3K20

【翻译】SQL Server 30 年历史

:它附带 OLAP 服务(在线分析处理)该版本的代码不再基于Sybase代码它包括数据转换服务(现在的 SSIS)增量备份支持的版本支持Windows 95、98的桌面版本。...工作组版专为不需要 SSAS、SSIS 或 SSRS 的中小企业而设计。它最多支持两个处理器,数据库大小不受限制。RAM 的限制为 3 GB。Express 版相当于桌面版 (MSDE)。...在 SSIS 中,包含了 Always On 可用性组。另外,对于SSIS,增量包部署。如果我们谈论 SSAS,这个版本支持 R Services 和 DBCC 命令。合并了 新的 DAX 函数。...在 SSIS 中,他们添加了 Scale Out Master功能和故障转移处理。SSIS 支持 Linux。通过 OData,可以连接到 Microsoft Dynamics CRM Online。...这个新版本包括:SQL Server 的 Azure Synapse链接对象存储集成链接到 Azure SQL 托管实例包含的可用性组分布式可用性组与Microsoft 权限集成Azure 活动目录身份验证始终加密的增强功能新服务器角色动态数据脱敏证书和密钥管理的改进联网分类帐版本企业版的缓冲池扩展最大容量为

19800

「数据ETL」从数据民工到数据白领蜕变之旅(七)-将Excel(PowerQuery+VBA)的能力嫁接到SSIS

本篇给大家送上Excel与SSIS结合的精彩解决方案。...使用场景 在PowerQuery的数据处理中,有相当多的一些功能使用起来非常方便,对应于企业级的SSIS,反而缺少了这些的灵活性,真正要完全使用SSIS来实现,非常繁琐。...同时也是对自身的知识存储的综合多方使用,现在已经可以发现,我们日常积累的众多技能,如VBA、Excel功能、PowerQuery、dotNET、Python、java、WebAPI、数据库、SQL等等,...都能在SSIS上得以一展身手,实现强强联合。.../p/8de014b1f957 「数据ETL」从数据民工到数据白领蜕变之旅(六)-将Python的能力嫁接到SSIS中 https://www.jianshu.com/p/033342b02dae

4.5K20

SQL Server到底需要使用哪些端口

SQL Server在安装到服务器上后,由于出于服务器安全的需要,所以需要屏蔽掉所有不使用的端口,只开放必须使用的端口。...这个端口是可以修改的,在“SQL Server配置管理器”中切换到“XXX的协议”里面选择,TCP/IP协议属性中可以设置TCP端口。...如图所示: SSIS要调用DCOM协议,所以在使用SSIS的时候需要打开135端口,而且这个端口是不能更改的。只有打开 TCP 端口 135 才能访问服务控制管理器 (SCM)。...SQL Server Browser再通过2382端口告诉客户端,需要连接的命名实例的实际端口号。...修改SSAS的端口,需要先打开SSAS服务,然后使用SSMS连接到SSAS中,在对象资源管理器中右击实例,选择属性,弹出分析服务属性窗口,设置Port属性为需要的端口,默认值是0,也就是没有设置的意思,

2.8K30

「Azure」数据分析师有理由爱Azure之三-对照Sqlserver学Azure

数据分析师关注的Azure SQL部分 Sqlserver的内容非常广大,笔者也不是这方面的专家,所以整个系列的文章必须是在一个狭隘的小范围内讨论。...Azure的数据库引擎部分 区别于商业智能模块(SSAS、SSIS、SSRS),大部分的应用都在数据库引擎上,即日常的数据导入、导出都会在此实现。...,SQL Server(逻辑服务器)就足够了,性价比高。...Azure的订阅服务项 Azure的数据库导入导出功能 Azure数据库上,几乎和本地的Sqlserver的T-SQL支持一致,所以在Sqlserver上该有的SQL查询,在Azure上都是正常使用的,...一样技术可以多种使用场景,无论是本地的简单数据存储还是到有需要考虑数据分发、共享等企业级的需求,都可以让自己的技术无缝对接到位。

1.3K10

SSAS(3)_ssa怎么算

ROLAP、HOLAP 主动缓存的作用以及低延迟分区的配置 * 网上看到有翻译成“预先缓存”的 理解聚合 部署SSAS对象;自动调度处理SSAS对象使数据最新 提及数据延迟的问题,再回到ETL工具SSIS...,补充一个实际应用话题: 在SSIS中如何捕获上游变更数据(Change Data Capture,简称:CDC) 书名:MCTS Self-Paced TrainingKit(Exam 70-448...练习2:选择分区存储模式 使用“SQL Server Profiler”分析器工具,理解不同存储模式对查询的影响。...练习2:使用SQL Server Agent计划处理一个SSAS对象。 1)在SSMS中,连接到本地SSAS上,右击“TK 70-448 SSAS Project”数据库,单击“处理”。...2)连接到本地SQL Server数据库引擎,展开“SQL Server Agent”目录,新建一个名为“Process Database”的Job,添加一个名为“Process database”的步骤

1.8K20

设计一个 60T 的医院数据仓库及其 OLAP 分析平台,你怎么做?

拆解他们如何将需求分析到落地,如何来做技术选型,从中理清细节。技术细节从书中来,从源码中来,但最终掌握到可以杀鸡,还是可以宰牛,都还要靠我们自己的大脑和双手。 我在看《维度建模》的时候,也曾经懵逼。...做数据库的朋友,想法不一样了,除了问采用Oracle还是SQL Server,心里最大的疑问,莫过于他们需要用BI吗,会有哪些主题,驾驶舱怎么玩的,大屏怎么实现的,医生的字儿那么有个性,这些病症的全文检索怎么办...在ETL方面,传统行业使用Batch方式多一些,比如SSIS, Informatica, DataStage 等等,走T+1的增量更新,今天的数据,明天才能反映在报表或者分析系统中。...在数据仓库和Cube方向,传统的企业使用Oracle, SQL Server, DB2的居多,大量的SQL Girl & Body 都会在这个方向上努力。...公众号《有关SQL》后台回复“医院OLAP”,可以拿到这份我在网络上收集的论文。 --完--

1.5K21

【22】进大厂必须掌握的面试题-30个Informatica面试

)AND ISNULL(cust_place)AND ISNULL(cust_zip)),’NULL’,’NNULL’)*\假设您需要重定向以防万一的值是null*** RTR –路由器转换两组 组1接到...TGT_NULL(表达式O_FLAG =’NULL’) 组2接到TGT_NOT_NULL(表达式O_FLAG =’NNULL’) 11.如何通过映射流将备用记录加载到不同的表中?...将过滤器转换连接到表达式,然后将条件写入属性,如下图所示。 ? 最后连接到目标。 ? 14.如何将唯一记录加载到一个目标表中,并将重复记录加载到另一目标表中?...17.如何通过Informatica在每个部门中加载超过1个Max Sal或在oracle中编写sql查询? SQL查询: 您可以使用这种查询为每个部门获取1个以上的最高工资。...将端口从exp_1接到target_1。 将端口从exp_2接到target_2,并将端口从exp_3接到target_3。 ? 19.我有三个相同的源结构表。但是,我想加载到单个目标表中。

6.5K40

为什么我说 ETL 是 SQL 人重启辉煌之光的必经之路

于是怨天尤人,基本的 SQL 都写不好了。 这可能是眼界与见识的问题。SQL 在行业内还是相当重要的,当然你说 CRUD 那点东西玩几个月就会了,没有新奇感。从技术角度来看,是这样,我承认。...真正能让 SQL 人凭手艺,还在 CRUD 行当里吃香的,喝辣的,技术上取决于你掌握了多少种数据库,SQL写得多快,要不然就是要享受福报了。 好在上帝关闭一扇窗的同时,他又打开了一道门。...使用商业版ETL工具,SSIS, Informatica, Data Stage等,将数据从各源业务系统区抽到缓冲数据存储库,经过存储过程做数据转换和聚合,再加载到数据仓库。...所以 ETL 是 SQL 人重启辉煌之光的必经之路。

88321
领券