page contents

大数据

客服

大数据

  • 大数据在一个择偶场景中的简单运用

    2年前大数据在一个择偶场景中的简单运用

     夏娃是一个美丽文静的女孩,追求者众多,但是在众多的追求者中一直在冠当和亚当之间摇摆,不知道应该选择谁。报着试试看的心态,她来求助谷歌大数据了,下面是他们的对话。     夏娃问:“嘿,谷歌,亚当和冠当都在追我,我两个也都很喜欢,但喜欢的点不太一样,很难做决定。根据你手上所有的资料,你怎么建议?” 谷歌回答:“这个嘛,...

  • CPA原理在数据高可用方面的运用

    2年前CPA原理在数据高可用方面的运用

      数据高可用的含义主要包括以下几个方面:  1、数据持久性  2、数据可访问性  3、数据一致性  博主按:这里不详细解释上述具体概念了,可以顾名思义,如果你了解它们我就不用解释,如果你不懂那说明你不需要了解,无需解释。  大多数时候,为了保证数据的高可用性,网站通常会牺牲数据一致性这一重要指标,尤其是对于大型网站。  CPA原理:一个提供数据服务的存储系...

  • 一致性Hash算法在分布式缓存中的运用

    2年前一致性Hash算法在分布式缓存中的运用

      先看一下一致性hash环的构造过程:       1、先构造一个长度为0~232的整数环(一致性Hash环)  2、根据缓存服务器节点名称的0~232个Hash值将节点放置到这个Hash环上  3、由需要缓存的数据的Key值算出hash值(范围:0~232)  4、在Hash环上顺时针...

  • Hadoop之kafka

    2年前Hadoop之kafka

      Kafka是一个分布式的、高吞吐的、基于发布/订阅的消息系统。利用kafka技术可以在廉价PCServer上搭建起大规模的消息系统。Kafka具有消息持久化、高吞吐、分布式、实时、低耦合、多客户端支持、数据可靠等诸多特点,适合在线和离线的消息处理。是用Scala开发的,起初应用于LinkedIn,作为一种简化Hadoop从ApacheFlum...

  • Hadoop之MapReduce

    2年前Hadoop之MapReduce

      2003年Google发表《GoogleFileSystem》,即GFS集群,主要包括Masternode和Chunkservers。在2004年Google发表论文并引入MapReduce的概念,两位创始人谢尔盖布林和拉里佩奇就是凭借其在斯坦福大学时期发明的MapReduce算法解决了大规模网页搜索中的并行化和权重问题而成立了google公司,并...

  • Hadoop之HBase&Hive

    2年前Hadoop之HBase&Hive

      HBase(HadoopDatabase),是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。其底层的文件系统是HDFS,使用阿里的开源框架——动物园管理员Zookeeper来管理集群间的HMaster和各Regionserver之间的通信,监控各Regionserver的状态,存储各Region的入口地址等。  HBase是Key-Valu...

  • 「学习笔记」深入理解Hadoop HDFS的写入&读取机制

    2年前「学习笔记」深入理解Hadoop HDFS的写入&读取机制

      博主按:要理解以下内容,需要掌握namenode,datanode、元数据等概念及HDFS的基本原理。HDFS(HadoopDistributeFileSystem)是一个分布式文件系统,是Hadoop的重要成员。  一、HDFS数据写入机制  向HDFS中写入文件时,是按照块儿为单位的,Client会根据配置中设置的块儿的大小把目标文件切为多块,...

Copyright ©刘相涛 powered by zblog 加入我们| 法律声明| 网站地图| 业务合作
歌曲 - 歌手
0:00