O tutorial do SSIS fornece conceitos básicos e avançados do SQL Server Integration Services. Nosso tutorial SSIS foi desenvolvido para iniciantes e profissionais.
Serviço de Integração do SQL Server é uma ferramenta de armazenamento de dados rápida e flexível usada para extração, transformação e carregamento de dados. Facilita o carregamento de dados de um banco de dados para outro banco de dados, como SQL Server, Oracle, arquivo Excel, etc.
Neste tutorial, discutiremos os seguintes tópicos:
- O que é SSIS
- O que é integração de dados
- Por que SSIS
- Como funciona o SSIS
- Requisitos para o serviço de integração do SQL Server
- O que é o pacote SSIS
- Tarefas SSIS
- Exemplo de tarefa de fluxo de dados
- Exemplo de tarefa Executar SQL
O que é o SSIS?
- SSIS significa SQL Server Integration Services.
- É um componente disponível no software de banco de dados Microsoft SQL Server usado para executar uma ampla gama de tarefas de integração.
- É uma ferramenta de data warehousing utilizada para extração de dados, carregamento dos dados em outro banco de dados, transformações como limpeza, agregação, fusão de dados, etc.
- A ferramenta SSIS também contém ferramentas gráficas e funções de fluxo de trabalho de assistentes de janela, como envio de mensagens de e-mail, operações de FTP e fontes de dados.
- O SSIS é usado para executar uma ampla gama de tarefas de transformação e integração. Como um todo, a ferramenta SSIS é utilizada na migração de dados.
SSIS é uma ferramenta utilizada principalmente para realizar duas funcionalidades:
O SSIS realiza a integração de dados combinando os dados de múltiplas fontes e fornece dados unificados aos usuários.
O fluxo de trabalho pode ser usado para realizar várias coisas. Às vezes, precisamos executar algumas etapas específicas ou um caminho específico que se baseia no período de tempo ou no parâmetro passado ao pacote ou nos dados consultados no banco de dados. Ele pode ser usado para automatizar a manutenção de bancos de dados SQL Server e fornecer a atualização dos dados analíticos multidimensionais.
O que é integração de dados?
Integração de dados é um processo que você segue para integrar os dados de várias fontes. Os dados podem ser dados heterogêneos ou dados homogêneos. Os dados podem ser estruturados, semiestruturados ou não estruturados. Na Integração de Dados, os dados de diferentes fontes de dados diferentes são integrados para formar alguns dados significativos.
Alguns métodos são usados para alcançar a integração de dados:
Vantagens da integração de dados:
Reduz a complexidade dos dados, o que significa que os dados podem ser entregues a qualquer sistema. A integração de dados mantém a complexidade, simplifica as conexões e facilita a entrega dos dados a qualquer sistema.
A integridade dos dados desempenha um papel importante na integração de dados. Trata da limpeza e validação dos dados. Todo mundo quer dados robustos e de alta qualidade, então para conseguir isso é usado o conceito de integração de dados. A integração de dados é útil para remover erros, inconsistências e duplicações.
A acessibilidade está na colaboração de dados. Acessibilidade significa que os dados podem ser facilmente transformados e as pessoas podem facilmente integrá-los em projetos, partilhar os seus resultados e manter os dados atualizados.
Ele também permite que você tome decisões mais inteligentes. Dados integrados referem-se ao processo de transmissão dentro de uma empresa para que possamos compreender mais facilmente as informações. Um dado integrado é muito mais fácil e informativo.
Por que SSIS?
O SSIS é usado pelos seguintes motivos:
O SSIS é usado para combinar os dados de várias fontes de dados para gerar uma única estrutura em uma visão unificada. Basicamente, ele é responsável por coletar os dados, extraí-los de várias fontes de dados e fundi-los em uma única fonte de dados.
SSSIS é uma plataforma que tem a capacidade de carregar uma grande quantidade de dados do Excel para um banco de dados SQL Server.
A ferramenta SSSIS oferece forte integração com outros produtos da Microsoft.
A ferramenta SSSIS é mais barata que a maioria das outras ferramentas. Pode resistir a outros produtos básicos, sua capacidade de gerenciamento, inteligência de negócios, etc.
O SSSIS permite que você lide com erros complexos em um fluxo de dados. Você pode iniciar e parar o fluxo de dados com base na gravidade do erro. Você pode até enviar um e-mail para o administrador quando ocorrer algum erro. Quando um erro é resolvido, você pode escolher o caminho entre o fluxo de trabalho.
Como funciona o SSIS?
Sabemos que o SSIS é uma plataforma para duas funções, ou seja, integração de dados e fluxo de trabalho. Ambas as tarefas de transformação de dados e criação de fluxo de trabalho são realizadas usando o pacote SSIS. O pacote SSIS consiste em três componentes:
Dados operacionais
Dados operacionais são um banco de dados usado para integrar os dados de várias fontes de dados para realizar operações adicionais nos dados. É o local onde os dados são armazenados para operação atual antes de serem enviados ao data warehouse para armazenamento, relatório ou arquivamento.
sites como coomeet
ETL
- ETL é o processo mais importante na ferramenta SSIS. ETL é usado para extrair, transformar e carregar os dados em um data warehouse.
- ETL é um processo responsável por extrair dados de várias fontes de dados, transformando os dados em dados úteis e, em seguida, armazenando-os em um data warehouse. Os dados podem estar em qualquer formato de arquivo xml, arquivo simples ou qualquer arquivo de banco de dados.
- Ele também garante que os dados armazenados no data warehouse sejam relevantes, precisos, de alta qualidade e úteis para os usuários empresariais.
- Ele pode ser facilmente acessado para que o data warehouse possa ser usado de forma eficaz e eficiente.
- Também ajuda a organização a tomar decisões baseadas em dados, recuperando dados estruturados e não estruturados de várias fontes de dados.
Um ETL é um conceito de três palavras, mas é dividido em quatro fases:
Capturar: A fase de captura também é conhecida como fase de extração. Nesta fase, ele escolhe os dados de origem ou metadados, e os dados podem estar em qualquer formato, como arquivo xml, arquivo simples ou qualquer arquivo de banco de dados.
Esfregar: Nesta fase, os dados originais são verificados. Ele verifica os dados, independentemente de conterem erros ou não. Ele verifica erros ou inconsistências de dados usando algumas técnicas de inteligência artificial. Em suma, verifica se a qualidade do produto é atendida ou não.
Transformar: É a terceira fase do ETL. Transformação é o processo no qual o formato original é convertido em um formato necessário que você deseja. Transformação é modelar ou alterar os dados de acordo com os requisitos do usuário. As alterações podem ser alterações no número de colunas ou linhas.
Carregar e indexar: A quarta fase é Carga e índice. Ele carrega os dados e valida o número de linhas que foram processadas. Assim que o carregamento dos dados for concluído, a indexação é usada. A indexação ajuda a rastrear o número de linhas carregadas no data warehouse. A indexação também ajuda a identificar os dados, estejam eles no formato correto ou não.
Armazém de dados
O data warehouse é um armazenamento de dados único, completo e consistente, formulado pela combinação de dados de várias fontes de dados.
Diferença entre banco de dados e data warehouse
A resposta pode ser sim ou não. Tanto o banco de dados quanto o data warehouse possuem uma grande unidade de dados e representação física semelhante, mas o tempo de resposta de consultas complexas no data warehouse é mais rápido que o do banco de dados.
Requisitos para SQL Server Integration Services
A seguir estão os requisitos para instalar o SQL Server Integration Services:
- Instale o SQL Server
- Instale as ferramentas de dados do SQL Server
Siga as etapas abaixo para instalar as ferramentas de dados do SQL Server:
Passo 1: Clique no link https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 para baixar as ferramentas de dados do SQL Server.
Passo 2: Ao clicar no link acima, a tela mostrada abaixo será exibida:
Na tela acima, selecione a versão do SSDT que deseja instalar.
Etapa 3: Assim que o download for concluído, execute o arquivo baixado. Ao executar o arquivo baixado, aparece a tela mostrada abaixo:
Passo 4: Clique no botão Avançar.
Etapa 5: Selecione a instância do visual studio e as ferramentas que deseja instalar no visual studio 2017.
Etapa 6: Clique no Instalar botão.
O que é o pacote SSIS?
O Pacote é um bloco fundamental onde você codifica no SSIS. Aqui, código não significa que você está codificando em alguma linguagem de programação; significa o desenvolvimento que você faz. O desenvolvimento é feito no pacote SSIS. O SSIS é usado principalmente para o processo ETL, e o processo ETL é executado dentro do pacote SSIS.
O pacote SSIS é composto por três partes:
O pacote SSIS terá algumas conexões, e essas conexões são usadas para conectar-se a várias fontes de dados.
O pacote SSIS é composto por dois elementos, ou seja, elementos de fluxo de controle e elementos de fluxo de dados. Os elementos de fluxo de controle lidam com fluxos de trabalho. Workflow significa que estamos executando algumas tarefas em etapas, portanto a sequência é feita através do fluxo de controle.
Os elementos de fluxo de dados realizam transformações.
Tarefas SSIS
No pacote SSIS, podemos adicionar as tarefas. Uma tarefa é uma unidade de trabalho e teremos diferentes tipos de tarefas para realizar diferentes tipos de trabalho. Existem vários tipos de tarefas, mas discutiremos as tarefas mais comuns usadas no SSIS:
É usado para executar instruções SQL em um banco de dados relacional.
É usado principalmente para ler dados de uma ou várias fontes de dados, transformar os dados e também pode carregá-los para um ou mais destinos.
É usado para processar objetos de um cubo SSAS ou modelo tabular.
Esta tarefa é usada para chamar os outros pacotes dentro do mesmo projeto. Você pode até passar os valores das variáveis para o pacote chamado.
Ele permite que você execute um aplicativo ou scripts em lote como um SQL Server Integration Services. Ele pode ser usado para abrir aplicativos padrão como Microsoft Excel, Microsoft Word, etc. Também é usado para descompactar o arquivo compactado.
Ele pode ser usado para realizar manipulações no sistema de arquivos, como mover arquivos, excluir arquivos, renomear arquivos, alterar o diretório, etc.
As tarefas IFTP são usadas para realizar operações em arquivos e pastas. Por exemplo, se você deseja enviar ou receber o arquivo do servidor FTP para o diretório local, a tarefa FTP do SSIS será usada.
Esta tarefa permite escrever o código .Net que deseja executar.
Esta tarefa é usada para enviar um email. É usado principalmente quando você deseja notificar os usuários sobre o estado da tarefa, se ela está em execução ou se ocorreu algum erro.
Vamos ver alguns exemplos práticos de um serviço de integração de dados.
Exemplo de tarefa de fluxo de dados
Passo 1: Primeiro, criamos um arquivo Excel no Microsoft Excel. Suponha que eu crie o banco de dados de alunos no Microsoft Excel e os campos na tabela de alunos sejam student_id, student_name, notas e gênero.
Passo 2: Abra o visual studio (SQL Server Data Tools).
Etapa 3: Clique na opção Arquivo e vá para Novo->Projeto.
Passo 4: Ao clicar no Projeto, aparece a tela mostrada abaixo:
Na tela acima, clique em Integration Services que aparece no lado esquerdo do painel e a seguir clique em Integration Services Project.
Etapa 5: Depois de clicar em o Projeto de Serviços de Integração opção, a tela aparece conforme abaixo:
A tela acima consiste em cinco guias, como Fluxo de controle, Fluxo de dados, Parâmetros, Manipulador de eventos e Explorador de pacotes. Já discutimos o fluxo de controle e o fluxo de dados, tanto o fluxo de controle quanto o fluxo de dados existem dentro do pacote SSIS.
etapa 6: Para importar os dados, precisamos primeiro criar o banco de dados no qual criamos a tabela no banco de dados SQL Server. Como sabemos que os dados dos alunos estão disponíveis no arquivo Excel, queremos importar os dados no banco de dados SQL Server. Para conseguir isso, precisamos primeiro criar a tabela no SQL Server. Abra o estúdio de gerenciamento do SQL Server.
Etapa 7: Crie o estudante base de dados. Clique com o botão direito no banco de dados e depois clique no Novo banco de dados opção.
Etapa 8: Digite o nome do banco de dados na captura de tela abaixo:
chamar função javascript de html
Eu dei StudentWarehouse como nome de banco de dados.
Etapa 9: Clique no OK botão.
Etapa 10: Agora, criamos a tabela em um Armazém Estudantil base de dados. Clique com o botão direito nas Tabelas e, a seguir, clique em Nova Tabela.
Etapa 11: Agora adicionamos os campos em uma tabela como student_id, student_name, notas e gênero. Definimos o student_id como uma chave primária que identifica exclusivamente cada linha.
A tela acima mostra que adicionamos quatro campos em uma tabela. Depois de adicionar todos os campos em uma tabela, salvamos a tabela fornecendo algum nome útil. Suponha que eu tenha fornecido o aluno como nome de tabela.
Etapa 12: Volte para o estúdio visual. O fluxo de controle contém a tarefa de fluxo de dados, arraste e solte a tarefa de fluxo de dados na janela principal.
Etapa 13: Quando clicamos duas vezes na Tarefa de Fluxo de Dados, o controle passa automaticamente para o Fluxo de Dados do Fluxo de Controle, então podemos dizer que o Fluxo de Controle é um contêiner de Fluxo de Dados.
Etapa 14: Agora podemos realizar as transformações no Data Flow. Queremos extrair os dados do arquivo Excel que criamos anteriormente, então arraste e solte a fonte do Excel das outras fontes que aparecem no lado esquerdo do painel.
Na tela acima, observamos que a cruz vermelha aparece dentro do Fonte Excel, significa que o componente está configurado com o Fonte Excel.
Etapa 15: Para configurar o componente, clique com o botão direito na fonte Excel e clique na opção Editar conforme mostrado na imagem abaixo:
Etapa 16: Preencha os detalhes mostrados na imagem abaixo:
Etapa 17: Após inserir todos os dados, aparecerá a tela conforme abaixo:
Etapa 18: Clique na Fonte Excel.
A tela acima mostra duas setas, seta vermelha e seta azul. A seta azul define os dados reais que recebemos do arquivo Excel e a seta vermelha indica os erros que temos. Agora temos que realizar as transformações, e antes de realizar as transformações, precisamos carregar o banco de dados.
Etapa 19: Para carregar o banco de dados, clique em Outros Destinos e depois clique em Destino.
Etapa 20: Após adicionar o destino, conecte a origem ao Destino.
Etapa 21: Na etapa acima, notamos a cruz vermelha em ADO NET Destination, o que significa que ele não está configurado com um componente. Clique com o botão direito no destino ADO NET e clique na opção Editar conforme mostrado na imagem abaixo:
Etapa 22: Você precisa especificar o gerenciador de configuração.
Etapa 23: Clique no Novo botão para adicionar o gerenciador de conexões. Ao clicar no Novo botão, a tela mostrada abaixo será exibida:
Etapa 24: Adicione o nome do servidor e selecione o nome do banco de dados do SQL Server.
Etapa 25: Clique no botão OK.
Etapa 26: Adicione o nome da tabela na qual deseja carregar os dados.
Etapa 27: Na tela abaixo, mapeie o campo da fonte de entrada para o campo da fonte de destino.
o que é email
Etapa 28: Após adicionar um mapeamento, a origem é conectada ao Destino, conforme mostrado na imagem abaixo:
Etapa 29: Clique no Começar botão para executar o Projeto Integration Services. Quando você executa o projeto, os dados são carregados no destino, ou seja, servidor SQL .
Exemplo de tarefa Executar SQL
- Siga as etapas da etapa 2 à etapa 5 do exemplo anterior.
- Arraste e solte o Executar tarefa SQL aparecendo no painel mais à esquerda da janela principal.
Na tela acima, observamos que a cruz vermelha aparece na Tarefa Executar SQL, o que significa que o Gerenciador de conexões não está configurado com o Executar tarefa SQL . Para configurá-lo, precisamos adicionar o Connection Manager.
- Para adicionar o Connection Manager, clique com o botão direito no Connection Manager e, a seguir, clique em New Connection Manager conforme mostrado na imagem abaixo:
- Selecione os OLEDB como um tipo de gerenciador de conexões e clique no botão Adicionar botão conforme mostrado na imagem abaixo:
- Depois de clicar no Adicionar botão, a tela aparece mostrada na imagem abaixo:
Na tela acima, observamos que a conexão de dados do Armazém Estudantil o banco de dados já está disponível conforme criamos na etapa anterior. Clique no OK botão.
- Ao clicar no botão OK, a tela será exibida conforme mostrado abaixo:
Na tela acima, você precisa inserir detalhes como nome da sua tarefa, descrição, instrução SQL (tarefa SQL que você precisa executar na tabela).
- Insirai os seguintes detalhes na imagem acima:
No caso acima, forneci o comando insert em SQLStatement.
- Clique no OK botão.
- Quando você configura o componente com a tarefa Executar SQL, a cruz vermelha desaparece conforme mostrado na captura de tela abaixo:
- Execute o projeto clicando no Começar .
- Ao clicar no Começar , a tela aparece conforme abaixo:
Na tela acima, a marca de seleção mostra que sua tarefa SQL foi concluída com sucesso. A instrução insert que adicionamos nas etapas anteriores foi executada e os dados são adicionados na tabela. ou seja, aluno1.
- O resultado desta tarefa é mostrado abaixo
Pré-requisito
Antes de aprender SSIS, você deve ter conhecimentos básicos de SQL Server.
Público
Nosso tutorial SSIS foi desenvolvido para ajudar iniciantes e profissionais.
Problema
Garantimos que você não encontrará nenhum problema neste tutorial do SSIS. Mas se houver algum engano ou erro, poste o erro no formulário de contato.