page contents

大数据

客服
  • 大数据在一个择偶场景中的简单运用

    2年前大数据在一个择偶场景中的简单运用

     夏娃是一个美丽文静的女孩,追求者众多,但是在众多的追求者中一直在冠当和亚当之间摇摆,不知道应该选择谁。报着试试看的心态,她来求助谷歌大数据了,下面是他们的对话。     夏娃问:“嘿,谷歌,亚当和冠当都在追我,我两个也都很喜欢,但喜欢的点不太一样,很难做决定。根据你手上所有的资料,你怎么建议?” 谷歌回答:“这个嘛,...

  • Hadoop之kafka

    2年前Hadoop之kafka

      Kafka是一个分布式的、高吞吐的、基于发布/订阅的消息系统。利用kafka技术可以在廉价PCServer上搭建起大规模的消息系统。Kafka具有消息持久化、高吞吐、分布式、实时、低耦合、多客户端支持、数据可靠等诸多特点,适合在线和离线的消息处理。是用Scala开发的,起初应用于LinkedIn,作为一种简化Hadoop从ApacheFlum...

  • Hadoop之MapReduce

    2年前Hadoop之MapReduce

      2003年Google发表《GoogleFileSystem》,即GFS集群,主要包括Masternode和Chunkservers。在2004年Google发表论文并引入MapReduce的概念,两位创始人谢尔盖布林和拉里佩奇就是凭借其在斯坦福大学时期发明的MapReduce算法解决了大规模网页搜索中的并行化和权重问题而成立了google公司,并...

  • Hadoop之HBase&Hive

    2年前Hadoop之HBase&Hive

      HBase(HadoopDatabase),是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。其底层的文件系统是HDFS,使用阿里的开源框架——动物园管理员Zookeeper来管理集群间的HMaster和各Regionserver之间的通信,监控各Regionserver的状态,存储各Region的入口地址等。  HBase是Key-Valu...

  • 「学习笔记」深入理解Hadoop HDFS的写入&读取机制

    2年前「学习笔记」深入理解Hadoop HDFS的写入&读取机制

      博主按:要理解以下内容,需要掌握namenode,datanode、元数据等概念及HDFS的基本原理。HDFS(HadoopDistributeFileSystem)是一个分布式文件系统,是Hadoop的重要成员。  一、HDFS数据写入机制  向HDFS中写入文件时,是按照块儿为单位的,Client会根据配置中设置的块儿的大小把目标文件切为多块,...

Copyright ©刘相涛 powered by zblog 加入我们| 法律声明| 网站地图| 业务合作
歌曲 - 歌手
0:00