Big Data: Verdades e Mitos

De acordo com Bob Harris(Diretor de Tecnologia da emissora Channel 4 do Reino Unido), rapidamente coletar e analisar grandes quantidades de dados é a unidade do coração Channel 4 para melhorar a experiência dos espectadores e diferenciar o canal de rivais.

"Tudo começa na vertente R & D dentro Channel 4 e estou sempre jogando com a próxima coisa. Para mim, agora que tende a ser aquela coisa, Tempestade em tempo real e coisas assim ", disse ele.

Inteligência de negócios tem sido bem estabelecida no Channel 4, durante anos, Harris disse, com modelos proprietários de padrão industrial e de armazenagem de dados em tempo real. Mas agora Hadoop e do Amazon Elastic MapReduce é uma plataforma grande de dados primários da organização e Harris também está fazendo experiências com a linguagem estatística R analytics e Mahout para aprendizagem de máquina.

Na recente conferência Analytics Whitehall Mídia Big Data em Londres, Harris expôs a sua opinião sobre a lista de preconceitos que atormentam a tecnologia:

Bancos de dados relacionais pode fazer grandes volumes de dados - "Eu encontro pessoas que me dizem isso não é nada que não possa ser feito em RDBMS. Se você acredita que, fundamentalmente, sair agora. Isso não pode ser feito em um RDBMS e eu tenho trabalhado com aqueles desde que começaram. Se você acha que pode fazê-lo com a tecnologia de última geração, você provavelmente não está fazendo grandes dados ".  # Veredicto: Mito

Big-análise de dados é uma abordagem completamente diferente - "Quando eu comecei na área de TI, ele foi chamado de processamento de dados e fizemos tudo em batch. Que analisaram os dados, imprimiu e fizemo-lo novamente. Você olha para o caminho Hadoop funciona, é preciso que o grande conjunto de dados, quebra-lo em pequenos pedaços, rasga através deles sequencialmente, coloca-los em uma espécie embaralhadas e, em seguida, bate-los através do redutor e fora vêm os resultados. Na verdade, é uma conduta de lote. Pessoas como eu comecei lá originalmente. " # Veredicto: Mito 

Open source é a única opção - "Não, não é, mas eu sou divertido por quantos produtos de empresas que estão mais associados com produtos proprietários estão realmente usando open source em algum lugar. Eu sou um homem de nuvem, eu sou um homem de código-fonte aberto, mas para me abrir a fonte é em grande parte o futuro." # Veridicto: Mito

 

É muito difícil - "Bem, ele tem uma curva de aprendizagem, que é certamente verdade. Para vendê-lo para nossas próprias equipes, passei um longo fim de semana de código Python hackers em MapReduce apenas para demonstrar que eu poderia rasgar através de alguns milhões de linhas de dados muito rapidamente. Quando eu estava confiante o suficiente para pensar, 'eu posso escrever essas coisas', que é quando você ir e encontrar as pessoas em suas equipes que realmente querem seguir em frente com esta tecnologia.  # Veredicto: Mito 

Big data é imaturo e não tem ferramentas - Isso é verdade. Na realidade Hadoop, que estamos praticamente todos pendurados em nossos futuros, foi 1.0.0 em 2011. Então, se você tem uma política que diz que você não faça nada antes da versão 3.0, você está em apuros. Hive é de 0,11, Pig é 0.11.1, por isso a maior parte deste material não tem sequer a 1.0 ainda. É imaturo. " # Veredicto: Verdade

É totalmente incompatível com a sua plataforma de BI e ferramentas - "O mais importante, isso não é incompatível com o que você já tem. Quando você crise através de 20 bilhões de linhas de dados e obter 10 milhões de linhas de resultados fora da final, o que é o melhor lugar para colocar isso? Está em um RDBMS. Você colocá-lo de volta em um RDBMS, você colocá-lo de volta em seu atual sistema de comunicação e utilizar seu investimento afundado em seu relatório atual para fazer uso disso. Pense nisso como ETL com esteróides ". # Veredicto: Mito 

É difícil encontrar pessoal qualificado e experiente - "Sim, é. Então vá sair onde sair. Ir para o Meetup, ir para os grupos de usuários. Vestir-se um pouco, coloque o seu boné de beisebol em frente, vá misturar com eles - é muito divertido. Eu estava no usuário Meetup grupo tempestade e tivemos Nathan Marz, o autor dele no Skype a partir de os EUA. Você tem a chance de dizer para o cara: 'Como é que pretende estar fazendo isso?', 'Será que você pensa sobre isso? E é brilhante profundidade que você pode entrar. Com a melhor boa vontade do mundo, você não pode fazer isso com produtos proprietários ". # Veredicto: Verdade

Fonte: Tech Republic