BIG DATA – ANALYTICS

big data analitycs

Bunyamin Önel shared this Cisco Packet Tracer scenario

Acima, um desenho exemplo de layout do projeto de uma rede de computadores do  tipo BIG DATA.  Esse desenho foi feito utilizando o software Trace-Route utilizado pela Cisco Networking Academy da Cisco Systems.   Esse desenho de layout foi feito por Bunyamin Önel shared this Cisco Packet Tracer scenario…   (If you have ‪#‎PacketTracer‬ scenarios to share, send them over to netacadfb@gmail.com   with some info and we will share them on this page) – Anastasia at ‪#‎Cisco‬ https://lnkd.in/dMJu7Yd

Abaixo, meu resumo do estudo de BIG DATA – ANALYTICS, retirando um grau de complicação técnica, para simplificar o meu entendimento desse assunto.

DataScienceInformationInfrastructure

ANÁLISE DE DADOS (ESTATÍSTICA)

Os estudos estatísticos estão relacionados às situações que envolvem planejamentos, coleta de dados, organização de informações, análise das informações coletadas, interpretação e divulgação de forma clara e objetiva. Os métodos de pesquisa podem ser classificados de duas formas: pesquisas de opinião ou pesquisas de mercado. Nas pesquisas de opinião, o objetivo principal é colher informações sobre determinando assunto com base em entrevistas pessoais. As pesquisas de mercado são realizadas através da análise de mercado sobre determinado produto.

A coleta, a organização, a descrição dos dados, o cálculo e a interpretação de coeficientes pertencem à Estatística Descritiva, enquanto a análise e a interpretação dos dados, associados a uma margem de incerteza, ficam a cargo da Estatística Indutiva ou Inferencial, também chamada como a medida da incerteza ou métodos que se fundamentam na teoria da probabilidade.

A utilização de tabelas e gráficos são frequentes na Estatística. As tabelas servem para organizar e tabular os dados, já os gráficos transmitem as informações com clareza e transparência, contribuindo para uma leitura objetiva.

==========================================================================

ANÁLISE DE DADOS  (SISTEMA DE INFORMAÇÕES)

ANÁLISE DE DADOS – O que é?

  • É o processo pelo qual se dá ordem, estrutura e significado aos dados (informações).
  • Consiste na transformação dos dados colectados em conclusões e/ou lições, úteis e verdadeiras.
  • A partir dos tópicos pré-estabelecidos processam-se os dados, procurando tendências, diferenças e variações nas informações obtidas.
  • Os processos, técnicas e ferramentas usadas são baseadas em certos pressupostos e como tal tem limitações.
  • O processo é utilizado para descrever e resumir os dados, identificar as relações e as diferenças existentes entre variáveis, comparar variáveis e fazer previsões.

ANÁLISE DE DADOS QUALITATIVO

  • Indaga o porque de determinado fato ou problema estar ocorrendo;
  • Estuda as motivações;
  • É indutivo;
  • Ajuda a definir hipóteses;
  • É exploratório;
  • Permite conhecer tendências, comportamentos, atitudes, etc;
  • Fornece informações detalhadas a tendências, atividades, etc;
  • Fornece informações detalhadas a perguntas ou problemas sobre um projeto ou atividade do mesmo;
  • Não permite inferir os resultados a toda uma população.
  • Descreve uma amostra populacional utilizando Tabelas de Frequências com sexo grupo etário e ocupação.
  • Organiza os comentários e as respostas em categorias similares (exemplo: preocupações, sugestões, pontos fortes, pontos fracos, etc)
  • Identificar os padrões, as tendências, as relações, bem como associações de causa-efeito.

FORMAS DE APRESENTAÇÃO DE DADOS QUALITATIVO:

  • Narrativas das respostas dos participantes
  • Diagramas de Causa-Efeito
  • Matrizes
  • Taxinomia
  • Diagrama de relações das várias categorias e o respectivo significado dado pelos participantes

TÓPICOS DO ROTEIRO E SEUS PRINCIPAIS OBJETIVOS QUALITATIVOS:

  • Identificar as características comuns ao grupo de trabalho, e as diferenças em relação aos outros grupos.
  • Inferir sobre os processos de socialização para o trabalho das cooperadas e se tais processos estariam associados, de algum modo, às formas como elas se percebem atualmente no trabalho.
  • Identificar as experiências comuns, a partir de sua inserção cooperativa, e seu impacto na vida pessoal, familiar e social

ANÁLISE DE DADOS QUANTITATIVO

  • Estuda as ações ou intervenções;
  • É dedutivo;
  • Fornece dados para provar hipóteses;
  • É conclusivo;
  • Mede o nível das intervenções, tendências, atividades, etc;
  • Produz informações quantificáveis sobre a magnitude de um problema, mas não fornece informações sobre o motivo do fato estar ocorrendo;
  • É possível inferir os resultados a toda uma população.
  • Utiliza-se os métodos estatísticos para representar os dados (informações)
  • Estatística descritiva envolve: coletar dados, apresentar dados e caracterizar dados, com a finalidade de descrever os dados.
  • Estatística inferencial envolve: estimativas e testes de hipóteses, com a finalidade de tomar decisões sobre as características de uma população a partir da amostra.

ETAPAS DA ANÁLISE DE DADOS QUANTITATIVOS

  • Organizar os dados, preocupando-se em dar uma ordem lógica aos dados, colocando todos os elementos da amostra e as variáveis em  estudo em uma tabela.
  • Agrupamento e resumo dos dados através de tabelas de frequências, exemplo: idade = (fi = ni / n)
  • Resumo das principais estatísticas (variável, média, mediana, moda, desvio padrão e variância)
  • Medidas de tendência central
  • Medidas de dispersão
  • Analisar e Interpretar os dados
  • Fazer o cruzamento de Tabelas (cross-tables)
  • Fazer uma análise de correlação

ANÁLISE E INTERPRETAÇÃO DOS DADOS QUANTITATIVOS

  • Geralmente, a análise e interpretação de dados envolve fazer comparações de grandezas estatísticas das varáveis de interesse.
  • As conclusões destas comparações baseiam-se na rejeição ou aceitação de hipóteses formuladas durante as questões avaliativas.
  • A aceitação ou rejeição de hipóteses baseia-se nos resultados obtidos nos chamados testes estatísticos.
  • Os testes mais usados são:  T-student , Chi-Quadrado e Anova
  • Baseline versus Resultados Alcançados: faz a  comparação da situação antes e após a implementação do programa.
  • Grupo Alvo versus Grupo de Controle: faz a comparação de atitudes ou práticas entre participantes e não participantes de um programa.
  • O grupo de tratamento – é um grupo de participantes da intervenção, cujas medidas de outcomes (resultado de equação lógica) são comparadas com às de um grupo de controle.
  • Controle grupo – é um grupo de “untreated” (não-tratados), cujo alvos que são comparados com grupos experimentais nos outcomes.

FERRAMENTAS PARA ANÁLISE DE DADOS (sistema de informações)

  • Atualmente existe diversas empresas de tecnologia que fornecem softwares para tratamento e análise de dados.

=========================================================================

ANÁLISE DE DADOS = DATA SCIENCE

  1.  Gregory Piatetsky-Shapiro (Analytics, Data Mining, Data Science Expert, KDnuggets President) com exemplos de  Fórmula de Cálculo em  Which Big Data, Data Mining, and Data Science Tools go together?
  2.  (Principal Data Scientist at Booz Allen Hamilton) em With Prescriptive Analytics, the future ain’t what it used to be
  3. Kirk Borne ‏@KirkDBorne  (Principal Data Scientist at Booz Allen Hamilton) em 50+ Free #DataScience Books: http://bit.ly/1rFM68K  #abdsc #BigData#MachineLearning #DataMining
  4. Bernard Marr @BernardMarr (Advanced Performance Institute) em Big Data Possibilities – What is Big Data?
  5. Bernard Marr @BernardMarr  (Advanced Performance Institute) em Supervised V Unsupervised Machine Learning — What’s The Difference? via
  6. Ronald van Loon ‏@Ronald_vanLoon  (Top10 Influencer ) em My Brief Guide to Big Data and Predictive Analytics for non-experts | #BigData#PredictiveA… http://bit.ly/1N01U9l  
  7. Ronald van Loon‏ @Ronald_vanLoon (Top10 Influencer ) em 12 Statistical and Machine Learning Methods that Every Data Scientist Should Know | #MachineLearning #DataScientishttp://bit.ly/29zeP8m
  8.  (Chief Scientist & VP at Development Dimensions International (); Author & Top Influencer on | | HR | | ) em Awesome tutorial from on Natural Language Processing – check it out!
  9.  (Chief Scientist & VP at Development Dimensions International (); Author & Top Influencer on | | HR | | ) em The seven deadly sins of statistical misinterpretation, and how to avoid them

 

Recomendação de Bibliografia Data ScienceGregory Piatetsky-Shapiro (Analytics, Data Mining, Data Science Expert, KDnuggets President) em More Free Data Mining, Data Science Books and Resources

The list below based on the list compiled by Pedro Martins, but we added the book authors and year, sorted alphabetically by title, fixed spelling, and removed the links that did not work.

  1. An Introduction to Data Science by Jeffrey Stanton, Robert De Graaf, 2013.
    An introductory level resource developed by Syracuse University
  2. An Introduction to Statistical Learning: with Applications in R by G. Casella, S, Fienberg, I Olkin, 2013.
    Overview of statistical learning based on large datasets of information. The exploratory techniques of the data are discussed using the R programming language.
  3. A Programmer’s Guide to Data Mining by Ron Zacharski, 2012.
    A guide through data mining concepts in a programming point of view. It provides several hands-on problems to practice and test the subjects taught on this online book.
  4. Bayesian Reasoning and Machine Learning by David Barber, 2012.
    focusing on applying it to machine learning algorithms and processes. It is a hands-on resource, great to absorb all the knowledge in the book.
  5. Big Data, Data Mining, and Machine Learning: Value Creation for Business Leaders and Practitioners by Jared Dean, 2014.
    On this resource the reality of big data is explored, and its benefits, from the marketing point of view. It also explains how to storage these kind of data and algorithms to process it, based on data mining and machine learning.
  6. Data Mining and Analysis: Fundamental Concepts and Algorithms by Mohammed J. Zaki, Wagner Meira, Jr., Data Mining and Analysis: Fundamental Concepts and Algorithms, Cambridge University Press, May 2014.
    A great cover of the data mining exploratory algorithms and machine learning processes. These explanations are complemented by some statistical analysis.
  7. Data Mining and Business Analytics with R by Johannes Ledolter, 2013.
    Another R based book describing all processes and implementations to explore, transform and store information. It also focus on the concept of Business Analytics.
  8. Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management by Michael J.A. Berry, Gordon S. Linoff, 2004.
    A data mining book oriented specifically to marketing and business management. With great case studies in order to understand how to apply these techniques on the real world.
  9. Data Mining with Rattle and R: The Art of Excavating Data for Knowledge Discovery by Graham Williams, 2011.
    The objective of this book is to provide you lots of information on data manipulation. It focus on the Rattle toolkit and the R language to demonstrate the implementation of these techniques.
  10. Gaussian Processes for Machine Learning by Carl Edward Rasmussen and Christopher K. I. Williams, 2006.
    This is a theoretical book approaching learning algorithms based on probabilistic Gaussian processes. It’s about supervised learning problems, describing models and solutions related to machine learning.

Read the full post on KDnuggets: http://www.kdnuggets.com/2015/03/free-data-mining-data-science-books-resources.html

Gregory Piatetsky-Shapiro (Analytics, Data Mining, Data Science Expert, KDnuggets President)

===========================================================================

Recomendação de Bibliografia Data Science = Kirk Borne@KirkDBorne Download 50+ Free #DataScience Books:http://bit.ly/1Or1j5Z  #abdsc #BigData #Analytics

Very interesting compilation published here, with a strong machine learning flavor (maybe machine learning book authors – usually academics – are more prone to making their books available for free). Many are O’Reilly books freely available. Here we display those most relevant to data science. I haven’t checked all the sources, but they seem legit. If you find some issue, let us know in the comment section below. Note that at DSC, we also have our free books:

There are several sections in the listing in question:

  1. Data Science Overviews (4 books)
  2. Data Scientists Interviews (2 books)
  3. How To Build Data Science Teams (3 books)
  4. Data Analysis (1 book)
  5. Distributed Computing Tools (2 books)
  6. Data Mining and Machine Learning (29 books)
  7. Statistics and Statistical Learning (5 books)
  8. Data Visualization (2 books)
  9. Big Data (3 books)

Here we mention #1, #5 and #6:

Data Science Overviews

Distributed Computing Tools

Data Mining and Machine Learning

============================================================================

The information management big data and analytics capabilities include :

  • Data Management & Warehouse: Gain industry-leading database performance across multiple workloads while lowering administration, storage, development and server costs; Realize extreme speed with capabilities optimized for analytics workloads such as deep analytics, and benefit from workload-optimized systems that can be up and running in hours.
  • Hadoop System: Bring the power of Apache Hadoop to the enterprise with application accelerators, analytics, visualization, development tools, performance and security features.
  • Stream Computing: Efficiently deliver real-time analytic processing on constantly changing data in motion and enable descriptive and predictive analytics to support real-time decisions. Capture and analyze all data, all the time, just in time. With stream computing, store less, analyze more and make better decisions faster.
  • Content Management: Enable comprehensive content lifecycle and document management with cost-effective control of existing and new types of content with scale, security and stability.
  • Information Integration & Governance: Build confidence in big data with the ability to integrate, understand, manage and govern data appropriately across its lifecycle.

Fonte: IBM.COM = http://www-01.ibm.com/software/data/bigdata/

===========================================================================

Por:  ANA MERCEDES GAUNA  (13/10/2015

https://anagauna.wordpress.com  |   https://about.me/anagauna

Senior System Analist | Webmaster | DBA | CCNA2 | ERP | Management

Rio de Janeiro/RJ – Brazil – 27 anos de experiência profissional (CLT)

O futuro é hoje, nós todos já estamos vivendo, com o século 21 o mundo mudou a sua maneira de comunicação, seja com os colegas no ambiente de trabalho, seja entre os amigos e familiares.

Ainda hoje, me surpreende a grande quantidade de pessoas que usam um celular smartphone diariamente, e não entendem que ele hoje em dia é um tipo de computador. Seja um celular tipo o Iphone da Apple ou tipo o Android do Google.

Uso email tem vários anos, desde que a internet existe no Brasil. Conversar por email é algo muito normal para mim, uso tem vários anos. Me surpreende pessoas que não utilizam o email na sua comunicação do dia a dia. Me surpreende pessoas que não usam o Skype da Microsoft ou o Hangout do Google para conversar em grupo. Hoje em dia até o Facebook criou um meio dos usuários criar um grupo para conversação online.  E conversar em grupo também se consegue pelo WhatsApp do Facebook.

Hoje em dia a maioria das pessoas estão online na internet pelo celular. Marcar reuniões presenciais pessoais de colegas de trabalho, ou de parentes, ou de amigos, é algo que já está ficando raro de acontecer, a cada ano que passa.

Sabem quando foi que o mundo mudou? Foi quando a Apple criou o Iphone, a Microsoft criou o Windows Phone e o Google criou o Android para funcionar nos celulares e tablets.  Aos poucos, a cada ano que passava mais e mais pessoas ficaram online na internet usando um celular.  Os primeiros celulares smartphones eram muito caros, hoje em dia os celulares smartphones são bem mais baratos e acessíveis a todas as pessoas.  Com isso o mundo mudou, a forma das pessoas se comunicarem  mudou, a comunicação em celular passou a ser online na internet.

A Intel fabrica processadores para computador e processadores para celulares. Com isso o celular hoje em dia, ele é um computador, e ele também deve usar um antivírus.

Quase tudo de informação se encontra fácil na internet, e se consegue resolver pela internet. Os serviços do Governo vários existem na internet e estão a disposição gratuitamente para o Cidadão usar.

Esqueceu de pagar o IPTU? Se consegue emitir a segunda via do boleto bancário do IPTU do Rio de Janeiro em http://www2.rio.rj.gov.br/smf/iptu2v/default.asp ou o IPTU de São Paulo em http://www.prefeitura.sp.gov.br/cidade/secretarias/financas/servicos/iptu/index.php?p=2452 , ambos pela internet, basta apenas acessar o website da Prefeitura.

Já se consegue  consultar as notas fiscais emitidas no Rio de Janeiro em https://notacarioca.rio.gov.br/senhaweb/login.aspx?ReturnUrl=%2ftomador%2fcontacarioca%2fconsultas.aspx  e as notas fiscais de São Paulo em https://nfe.prefeitura.sp.gov.br/login.aspx?ReturnUrl=%2ftomador%2ftomador.aspx , ambos estão disponíveis na internet para o Cidadão consultar gratuitamente.

A Previdência Social (INSS) já colocou todos os seus serviços online na internet a disposição do Cidadão em http://previdenciasocial.gov.br//servicos-ao-cidadao/todos-os-servicos/

O Ministério da Educação já colocou online na internet à disposição do Cidadão, um meio de poder fazer sugestões ou reclamações em http://mec.cube.callsp.inf.br/auth-web/login?redirect_uri=http%3A%2F%2Fmec.cube.callsp.inf.br%2Fauto-atendimento%2Fauth-callback&token_aplicacao=e3lhqm5iVYbcOEfxMMvpBw&balcao_redirect_uri=%2Fauto-atendimento%2F

O agendamento de Seguro Desemprego atualmente é feito pela internet em http://saa.mte.gov.br/

Aos poucos, a cada ano que passa, o Governo está colocando todos os seus serviços para funcionarem online na internet.

Para se achar uma informação na internet as pessoas tem que saber o endereço http do website que contém a informação, e quando não sabem o endereço http, para achar ele só se precisa fazer um filtro (busca). Não sabe como fazer um filtro? É fácil, basta colocar as palavras ou a frase que deseja pesquisar entre aspas, e escrever na busca do Google, na busca do Bing da Microsoft, ou na busca do Yahoo (que é da Intel o fabricante do processador do computador e do processador do celular), que a informação é filtrada, selecionada e organizada, para somente mostrar exatamente o que se está procurando.

O Gmail é do Google. Sabia que se colocar dentro dos Contatos do Gmail todos os telefones das pessoas com quem conversamos diariamente, essa informação irá aparecer dentro dos Contatos existente no seu celular Android? Se trocar o chip do celular, ou trocar de aparelho celular velho Android para um aparelho mais novo Android não se perderá os telefones existentes no aparelho celular?

O celular da Microsoft também funciona assim, de maneira semelhante, também se consegue colocar os nomes das pessoas e os telefones, dentro dos Contatos do Outlook (Hotmail), que essa informação irá aparecer dentro dos contatos do telefone da Microsoft. E do Skype que também é da Microsoft.

Sabia que já existe várias empresas de tecnologia dentro do Facebook e Linkedin, e usam diariamente para o trabalho? Que a maioria das agências de emprego estão funcionando online na internet? Que vários jornais e revistas publicam os seus artigos também na internet? O mundo mudou, o modo de se trabalhar mudou, porque hoje em dia tudo de informação está sendo colocado na internet.

Sabem qual é a era da informática que o século 21 está vivendo? Estamos na “Era da Tecnologia da Informação”, ou seja, a informação tem que estar online na internet, organizada e atualizada à disposição das pessoas, mas de forma segura para todos.  Esse é o futuro que está sendo feito por todos, pelo planeta inteiro, aos poucos. E a cada ano que passa, essa informação online só tende a aumentar cada vez mais, é o que começaram a chamar de Big Data atualmente. E para cuidar desse Big Data, hoje  já estão criando o profissional chamado de Cientista de Dados nas Universidades. O Analista de Sistemas já é uma profissão do passado, do Século 20.  Estamos no século 21, muita coisa mudou.  O futuro já é hoje, estamos na era da informação.