Syracuse University - Bem vindo de volta. Vamos continuar a Cloudera QuickStart VM turnê juntos, eu vou ser o seu guia. Então, se você baixar e abrir o seu máquina virtual, uma vez que o lançamento da Cloudera QuickStart acontecer, você está vai ver um tipo de tela de como este. O que vamos fazer agora, é que estamos indo para ir dentro deste VM e ver que tipo de serviços e utilidades faz esta máquina virtual nos fornecer. Então, quando você começa, você vai ver que há um navegador dentro de algo que se parece com um desktop. E há um pouco de boas-vindas A página dentro desse browser. Vamos explorar esse navegador, abrindo guias adicionais, e passando por vários serviços diferentes para saber mais sobre este ambiente. Então, se você olhar para dentro desses navegadores, você pode ver que aqui em frente que você tem vários serviços diferentes, Cloudera. Em primeiro lugar, Cloudera irá levá-lo para a página da web, mas então você tem Hue, você tem Hadoop, HBase, Impala, Spark, Uzi, etc. Estas são todas estas aplicações acabamos de mencionar e aprendeu sobre em nossa aula anterior. E vamos passar e clicar -los, para ver, o que eles permitem-nos e dar-nos? Então, vamos clicar sobre o Hadoop em primeiro lugar. Você pode abrir uma nova guia, e abri-lo lá dentro. Ou você pode simplesmente clique sobre o mesmo nesta mesma guia. O que podemos ver aqui é uma visão geral do nosso stack Hadoop. Nós podemos ver quando o particular iniciação dessa pilha que aconteceu, podemos ver qual versão do software que temos. Isso nos dá toda resumo de todas as configurações, a segurança do número de arquivos usados, etc. Uma vez que tenha baixado este VM a partir dele já vem pré-carregado com uma série de arquivos diferentes que vamos usar embora nossos exercícios e tutoriais. Então, nós já temos um número de diferentes arquivos no armazenamento retomado. Então, vamos clicar no DataNodes seguinte. Temos mencionado DataNodes um pouco mais cedo em termos de HTFS e o sistema de armazenamento por baixo. Portanto, este serviço específico vai permitir-nos a olhar para todos os DataNodes que temos. E uma vez que iniciar trabalhos de arredondamento, estamos vai ser capaz de ver o que esses DataNodes têm, e o resumo de tudo as coisas carregado para os nós. Em seguida, vamos clicar em HBase, como já mencionado anteriormente. HBase é um armazenamento de dados colunar, que irá armazenar a nossa não-estruturados dados dentro do sistema de arquivos Hadoop. Ele vai mostrar-nos, aqui, o número de pedidos, como fazemos para ler e escrever para este HBase. E podemos ver todos os diferentes tipos de chamadas. E as tarefas que foram submetido ao banco de dados. Neste momento não temos qualquer, porque não lançaram qualquer tarefa, mas como nós passar pelo tutorial, nós vamos voltar a este e olhar para os resumos dos trabalhos apresentados. Quando eu mencionei Impala mais cedo, e dissemos que Impala permite -nos a apresentar alguns SQL realmente alto desempenho, como consultas aos nossos dados armazenados no HDFS. E você pode ver aqui que uma vez começamos a enviar estes postos de trabalho, nós vamos ser capazes de olhar para o passado 25 concluíram consultas, podemos olhar para as consultas que estão acontecendo agora, podemos olhar para os diferentes locais, os diferentes fragmentos que estes consultas foram submetidos. Em seguida, vamos clicar em Oozie. Se formos para Oozie, podemos ver uma série de trabalhos submetidos, quando foram iniciados, e acrescentou o quão grande eram, etc. E uma vez que a apresentação dos trabalhos, estamos vai voltar aqui e olhar para mais, em mais detalhes, em todas estas diferentes aplicações e serviços fornecidos para nós em topo da estrutura Hadoop. Então agora, vamos voltar para a página original, a Cloudera ao vivo página de boas vindas dentro o navegador, e vamos iniciar o tutorial. Clique em Iniciar Tutorial. Então este tutorial vai nos oferecer uma introdução ao tutorial ao vivo da Cloudera. E você pode ver que dentro deste rápida VM, nós vamos ser capazes de executar um número de trabalhos diferentes dentro do tutorial e nós vamos ser capazes de entender como alguns dos essas ferramentas no trabalho Cloudera VM. Vamos entender como configurar e executar um número de diferentes negócios inteligência e análise de casos de uso. E nós vamos ser capazes de explicar para outras pessoas em nossa equipe como esses serviços particulares trabalham. Então, vamos clicar começando. Isto nos levará a outro A página onde podemos apenas encontrar uma questão de negócio que estamos tentando responder por Neste tutorial particular. Neste tutorial particular, nós vamos imaginar que temos uma corporação chamada Datakel e temos uma missão para ajudar a nossa organização. Obter melhor dentro dele é de dados e responder a algumas questões maiores. Assim, o nosso primeiro cenário para Nesta parte do tutorial vai tomar a idéia de big data e ganhando mais insight. nós podemos realmente obter alguns dados para o banco de dados em algumas análises simples sobre uma grande quantidade de dados. Portanto, neste primeiro cenário específico, questão de negócios de dados Co é, quais os produtos que o nosso clientes gostam de comprar? A resposta a esta pergunta é, o primeiro pensamento poderia ser a de olhar para os dados de transação. E talvez isso indicaria O que realmente comprar eo que eles gostariam de comprar, certo clientes? Bem, isso é provavelmente algo que você faria em seu trabalho regular diária, possivelmente. E você provavelmente vai voltar ao seu ambiente de RDBMS e tentar apresentar alguma linguagem SQL em Para tentar responder a esta pergunta. O benefício da plataforma é que Hadoop agora você pode fazer isso em uma escala maior a um custo menor. E você pode ser capaz de usar este mesmo sistema e os mesmos dados para responder a algumas perguntas adicionais e fazer algumas análises adicionais de dados. Então, o que este exercício de dados será demonstrar é a forma de fazer exatamente a mesma coisa, mas dentro do ambiente e usar alguns dos perfeita integração que está disponível para nós dentro de um vídeo. Então, aqui na barra lateral você pode aprender mais sobre Scoop. Falamos sobre Colher na nossa aula anterior, e é uma ferramenta que usa mapa reduzir a transferir dados entre cluster do Hadoop e um banco de dados relacional de forma muito eficiente. Então, se você se lembra, Colher significa sequela de Hadoop. Ele funciona através da desova para vários nós de dados de download de diversas partes dos dados em paralelas para que ele possa fazê-lo mais rápido. E quando terminar cada peça de dados são replicados para garantir a disponibilidade e espalhados por todo o cluster garantir que você pode processar dados em paralelo no cluster. Há realmente duas versões Sqoop incluídas na plataforma Cloudera. Sqoop1 é um cliente de espessura e que é vamos utilizar neste tutorial. Os comandos que vamos para rodar diretamente enviar trabalhos de encaixe reduzida para transferir esses dados. Scoop2 consiste no servidor central que submeter o produzido em massa trabalhos em nome dos seus clientes. É um cliente de peso muito mais leve que que você pode usar para se conectar ao servidor. Assim, nesta página, podemos ver que a estrutura da tabela é para os dados que estão trazendo. E, a fim de analisar o transacional dados desta nova plataforma, nós estamos indo a necessidade de ingerir esses dados no HDFS. Nós já encontraram a colher é provavelmente a nossa melhor ferramenta para este trabalho. E nós somos dados têm gonna do nosso banco de dados MySQL relacional, e carregá-lo em HDFS. Com uma configuração adicional poucos parâmetros, podemos tomar esse passo adiante e carregar esses dados relacionais diretamente em uma forma pronta para ser consultado por Impala. E, para fazer isso, podemos querer calcular a média do poder de algo chamado Apache Avro, que não mencionou a muito até agora. Mas não há realmente um formato de arquivo específico para outro trabalho flutua sobre o cluster Hadoop. É optimizado especificamente para trabalhar muito bem na plataforma Hadoop. Então, vamos rolar para baixo através desta página e certifique-se que ler o resto de nossas instruções. E agora nós vamos tentar abrir o terminal, o que podemos fazer, clicando neste pequeno quadrado escuro que é suposto para indicar um terminal e clicando sobre isso, vamos abrir uma nova janela com uma linha de erro de código dentro do terminal. Dentro de seu tutorial, você tem este pequeno botão que diz cópia. Este botão especial irá copiar o código dentro da janela. E então podemos assumir que o código e cole -lo na janela do terminal da Cloudera. Nossa primeira tarefa é copiar o Sqoop comando, a fim de lançar o trabalho Sqoop, para mover esses dados. Então, nós estamos indo tomar esses dados e em ordem para colá-lo no janela de terminal, você pode clique direito em cima do terminal janela sob o adicioná-lo e colar. Ou você pode simplesmente lhe o controle de mudança comando V se for mais fácil para você. Nós vamos colocar esta comando para o terminal e este comando pode demorar um pouco para completa, mas ele está fazendo um monte de coisas. Ele está lançando mapa reduzir postos de trabalho para exportar os dados da base de dados sequela e colocar os arquivos de exportação para o formato Avra no HDFS É igualmente criando o esquema geral. Então nós pode facilmente carregar o nosso tabelas de altura e usá-lo para consultar interior para a camada de capacitar. Assim, a fim de confirmar que a nossa existem arquivos de dados globais no HDFS, vamos copiar o próximo comando no terminal. E sei que o esquema e os dados são armazenados em arquivos separados. O esquema é apenas aplicada a os dados quando os dados são consultados. E isso é o que chamamos o esquema de leitura. Se você lembrar, mencionamos que na nossa classe anterior. Isto dá-lhe a flexibilidade para consultar os dados com SQL, enquanto ele ainda está em um formato utilizável por outros sistemas bem. Isto está em contraste com a tradicional bancos de dados que exigem que você tenha esse esquema bem definido antes introduzir quaisquer dados nela. E neste momento já temos importou uma grande quantidade de dados e agora só vai especificar como a sua estrutura deve ser interpretada. Assim, desde que nós vamos querer para usar o Apache Hive, precisaremos os arquivos de esquema também. Então, vamos copiar isso em HDFS onde Hive pode acessá-los facilmente. Agora que temos a nós dados pode prepará-lo para ser consultado. Nós vamos fazer isso em a próxima seção utilizando Impala. Mas você deve ter notado que que tenham importado esses dados em altas diretórios, neste ponto do tempo. Ter e capacitar ambas as leituras seus dados de arquivo no HDFS e até mesmo compartilhar metadados sobre uma tabela. A única diferença é que tem executa consultas por compilá-los para mapear reduzir postos de trabalho. E, como você verá mais adiante, isso significa que pode ser mais flexível, mas tipicamente mais lento, enquanto é Impala um motor de sistema de consulta paralela, e apelamos que as consultas massivamente paralelo, que lê os dados directamente a partir do próprio sistema de arquivo, e então permite -se para executar consultas muito rápido. Em mais de uma interactiva e tipo de exploração de um modo. Agora que você atravessou o primeiro medidas para Sqoop os dados em HTFS, temos transformou-a em formato de arquivo. Agora vamos importação os arquivos de esquema e começar a usar o esquema consultar os dados dentro dela. Então, vamos clicar em para o nosso próximo passo. Vamos dar o próximo passo e clicar para o exercício tutorial um. Estamos Hue uso vai, que é, Impala aplicativo para criar os metadados para nossas mesas. Nós vamos criar esse metadados e, em seguida, vamos consulta nossa mesa através do ambiente Hue. Hue é muito bom porque fornece uma interface baseada na web para muitas das ferramentas em nossa Cloudera Hadoop máquina virtual, e pode ser encontrado sob o nó mestre, que você pode ver aqui. A fim de fazer o login no Hue, vamos digite Cloudera tanto para nome de usuário e senha para entrar neste sistema. Uma vez dentro de Hue, vamos clique sobre os Editores Impala consulta em Editors Consulta e clique no Impala embaixo lá. Nós vamos copiar e colar o código que irá criar as tabelas e, em seguida, nós vamos voltar e eliminar primeiro as consultas nós apenas escreveu para baixo para a criação das tabelas. Estamos fora vazia indo e limpar esta consulta lá dentro do editor e, em seguida, vai cópia do comando chamado show tables. Este comando irá nos mostrar toda a tabelas que acabamos de criar na janela abaixo. Agora que os nossos dados de transações está prontamente disponível para consultas estruturados, é hora de começar realmente abordar a pergunta que fizemos anteriormente na o início do nosso tutorial. Nossa pergunta negócios foi podemos descobrir alguns dos produtos que nossos clientes estão interessados em comprar? Então, nós estamos indo para copiar e colar o exemplo sequela padrão consulta lá em nossos tutoriais e nós estamos indo olhar em que tipos de produtos estão mostrando. Nós vamos olhar para o total de receita por produto, e olhar para o top ten receita gerando produtos. Agora vamos aprender a criar uma tabela de consulta usando Impala. E nós aprendemos como utilizar regulares interfaces em ferramentas como o terminal e as interfaces dentro do ambiente Hadoop. A ideia aqui é levar esses dados e começar a criar alguns relatórios interessantes que podem nos fornecer uma melhor insights sobre os dados que temos, e entender como o sistema tradicional eo sistema Hadoop fazer semelhante coisas de maneiras diferentes. E entender como o sistema Hadoop fornece-nos com escala muito maior, mas ainda oferece uma flexibilidade muito..
Cursos de historia curso de maquiador profissional sp Santa Catarina festa infantil em duque de caxias rj. Bento Gonçalves curso superior de engenharia ambiental a distancia ABNT, exame de densitometria ossea em recife Apresentação de Power Point, cursos embelleze fortaleza TCC, carta de apresentacao para empresa pronta Código. Artigo responsabilidade social e meio ambiente unama cursos belem cursos de historia Olinda melhores cursos de engenharia no brasil. Cursos de massagens pelotas Redação São Lourenço da Mata times de futebol verde, curso de fotografia online rapido.
Sete Lagoas:
Shannon Glass, Warren: Conservative Judaism. Paragominas: New York Graduate School of Psychoanalysis; 2018.
Daniel Mayo, Columbia. Jacareí: Medaille College, Buffalo; 2013.
Stella McMillan, Liberty Street zip 10006. Breves: Albert Einstein College of Medicine; 2012.