云计算分布式大数据Hadoop深入浅出案例驱动实战外训讲义214.pptx
云计算分布式大数据Hadoop深入浅出案例驱动实战外训讲义214.pptx
内部教程注意保密Hadoop深入浅出案例驱动实战中程在线(北京)科技有限公司课程目标Hadoop安装、配置与管理HDFS原理及开发,HDFS文件管理Map-Reduce原理及开发Hbase的安装和配置、原理、开发Hive的安装和配置、原理、开发课程安排 day 3MapReduce介绍与实战Hbase介绍与实战Hive介绍与实战疑难解答Step 3 day 2大数据Hadoop介绍HDFS介绍与实战day 1 云计算Hadoop安装、配置提前准备提前准备自我介绍1、工作年限;2、所在部门;3、是否精通Linux;4、是否精通Java;5、是否安装过Hadoop;学习Hadoop的目的Hadoop是IT行业一个新的热点,是云计算大数据处理的一个具体实现。Hadoop本身具有很高的技术含量,是IT工程师学习的首选。Hadoop商业价值日益增长,是商业企业大数据处理的首选。大数据时代来临一分钟内,互联网发生了什么?YouTube增加72小时视频Google进行200万次搜索Spotify增加14首新音乐新增域名70个iTunes下载音乐1.5万首新增网站571个每分钟发邮件2.04亿封LinkedIn职位搜索1.1万次亚马逊销售8.3万美元Snapchat分享照片10.4万张Twitter发“Tweets”27.8万则Flickr照片浏览2000万次Skype通线万分钟Facebook增加350GB数据、 增180个“赞”、每秒增加新帖子4.1万 古代,人们用牛来拉重物,当一头牛拉不动一根圆木时,他们不曾想过培育更大更壮的牛。同样,我们也不需要尝试开发高级计算机,而应尝试着结合使用更多计算机系统。格蕾斯.霍珀大数据互联网营销大数据云计算你准备好了吗?千载难逢的机会IT界的又一桶金开始云计算之旅什么是云计算?搜索网络购物QQ微博微信……不识庐山真面目,只缘身在此山中什么是云计算?云计算历史云计算网格计算云计算和网格计算在Google中的搜索趋势云计算云计算发源于搜索引擎平台,是互联网企业在创业阶段基于追求低成本、高性能、以及资源灵活分配与应用快速布署的考虑而开发出一种IT系统实现技术。利用大规模低成本运算单元通过IP网络连接,以提供各种计算服务的IT技术。典型代表核心理念定义最典型代表:Google搜索引擎云计算云计算就是通过网络把信息技术当作服务来使用云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡、网络技术等一些传统计算方法的融合体。核心理念:通过不断提高“云”的处理能力而减少用户终端的处理负担,使用户终端简化成一个单纯的输入输出设备。快速弹性资源池按需自助服务广泛的网络接入服务可计量Title云计算特征私有云混合云公有云云计算分类按提供的服务类型按云服务的对象面向外部用户需求,通过开放网络提供云计算服务IDC,GoogleApp,Saleforce在线CRM分布存储分布计算SaaSPaaSIaaSIAAS大型企业按照云计算的架构搭建平台,面向企业内部需求提供云计算服务企业内部数据中心等Infrastructure as a Service以服务的形式提供虚拟硬件资源,如虚拟主机/存储/网络等资源。用户无需购买服务器、网络设备、存储设备,只需通过互联网租赁即可搭建自己的应用系统典型应用:Amazon Web Service (AWS)Platform as a Service提供应用服务引擎,如互联网应用编程接口/运行平台等。用户基于该应用服务引擎,可以构建该类应用。典型应用:Google AppEngine, F, Microsoft Azure服务平台Software as a Service用户通过Internet (如浏览器)来使用软件。用户不必购买软件,只需按需租用软件典型应用:Google Doc, S, Oracle CRM OnDemand, Office Live Workspace兼顾以上两种情况的云计算服务Amazon Web Server等既为企业内部又为外部用户提供云计算服务云计算核心技术节约成本广泛的网络接入虚拟化技术的成熟计算能力提升大数据的出现竞争云计算产生的前提节约成本广泛的网络接入虚拟化技术的成熟虚拟化技术的成熟虚拟化技术的成熟计算能力提升大数据的出现云计算产生原动力云计算发展现状云参考架构--AWS云参考架构--Google云参考架构Business supportCloud platform usersUser managementRBACWorkflowmanagementCallCenterBilling managementService request management……CRMOSSMonitoring and reportingConfiguration real-time dataBank interfaceCloud management platformVirtualization Management (OpenStack、HMC、SVC/TPC、TSM)Physical resource layerSecurity, disaster recovery, backup, virtualizationMinicomputer(3computer)PC Server(10computer)Storage(1computer)Minicomputer(3computer)PC Server(10computer)Storage(2computer)Load balancing云计算的价值云部署以分钟时间部署复杂企业应用以分钟时间部署复杂企业应用以分钟时间部署复杂企业应用谁需要云计算Hadoop集群搭建三种运行模式 安装简单,几乎不用作任何配置,但仅限于调试用途 单机模式在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等5个进程,模拟分布式运行的各个节点。 伪分布模式正常的Hadoop集群,由多个各司其职的节点构成 。完全分布式模式安装和配置步骤参考《 Hadoop-1.0.0集群安装.pdf 》VirtualBox安装虚拟机设置虚拟网卡为host-only模式共享主机网卡配置虚拟机VirtualBox Host-Only Ethernet Adapter网卡IP为虚拟机Network AdapterBridged(桥接模式)Bridged(桥接模式):默认使用VMnet0,不提供DHCP服务,需要手动配置IP、网关、子网掩码等虚拟机Network AdapterNAT(网络地址转换模式)NAT(网络地址转换模式):默认使用VMnet8,提供DHCP服务虚拟机Network AdapterHost-only(主机模式)Host-only(主机模式):默认使用VMnet1,提供DHCP服务当要组成一个与物理网络相隔离的虚拟网络时,无疑非常适合使用Host-only模式。安装Linux操作系统安装的过程中选择OpenSSH支持Linux ShellvimkdirtarchmodchowncpmvSSH安装安装SSHyum install ssh启动SSH service sshd start设置开机运行chkconfig sshd onSSH无密码登录:~$ ssh-keygen -t rsa -P :~$ cat $HOME/.ssh/id_rsa.pub $HOME/.ssh/authorized_keys:~$ ssh master.hadoop:~$ ssh-copy-id -i $HOME/.ssh/id_rsa.pub op:~$ ssh-copy-id -i $HOME/.ssh/id_rsa.pub opJava安装#mkdir /usr/local/java#cd /usr/local/java#chmod u+x jdk-6u30-linux-i586.bin#./jdk-6u30-linux-i586.bin#vi /etc/profile 添加环境变量export JAVA_HOME=/usr/java/jdk1.6.0_30/export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin执行#source /etc/profile ,使环境变量立即生效禁用IPV6在所有机器上操作f 添加如下行install ipv6 /bin/true重新启动系统生效Clone Master虚拟机选择重新初始化网卡选项完全Clone启动新的虚拟机修改hostname修改网卡,让网卡生效,能ping通MasterClone Master配置网卡1 )必须确认克隆(clone)的CentOS 6的各个网卡的MAC是否有重复或与其它虚拟主机重复,最好利用其网卡工具刷新一下,生成新的MAC。使用vi命令,打开/etc/sysconfig/network-scripts/下的ifcfg-eth*(*代表0~n个网卡序号),把这个新的MAC修改进去。2)修改 /etc/udev/rules.d/ 70-persistent-net.rules 文件,删除原来的eth0那一段,把后增加的eth1改为eth0。如果有多块网卡以此类推;如果只有一行,则把“eth1”改为eth0即可。3 )使用 start_udev 命令重新检测硬件;4 )用 service network restart 命令重启下网络。HDFS重要配置项!-- core-site.xml --configurationpropertynamehadoop.tmp.dir/namevalue/app/hadoop/tmp/valuedescriptionA base for other temporary directories./description/propertyHDFS重要配置项!-- core-site.xml --propertyname/namevaluehdfs://master.hadoop:9000/valuedescription/description/property/configurationHDFS重要配置项!-- mapred-site.xml --configurationpropertynamemapred.job.tracker/namevaluemaster.hadoop:9001/valuedescriptionThe host and port that the MapReduce job tracker runsat. If local, then jobs are run in-process as a single mapand reduce task./description/property/configurationHDFS重要配置项!-- hdfs-site.xml --configurationpropertynamedfs.replication/namevalue3/valuedescription/description/property/configuration修改配置文件$vi $HADOOP_HOME/conf/masters修改localhost为master.hadoop$vi $HADOOP_HOME/conf/slaves修改localhost为master.hadoop添加slave1.hadoopslave2.hadoop创建hadoop.tmp.dir目录# mkdir -p /app/hadoop/tmp# chown hduser:hadoop /app/hadoop/tmp# ...and if you want to tighten up security, chmod from 755 to 750...# chmod 750 /app/hadoop/tmp部署slave节点将master.hadoop上安装配置完成的hadoop文件夹复制到slave1.hadoop和slave2.hadoop: : hadoop$ scp -r /usr/local/hadoop op:/usr/local/: hadoop$ scp -r /usr/local/hadoop op:/usr/local/格式化HDFS文件系统在master.hadoop上使用hduser操作: hadoop$ bin/hadoop namenode -format启动Hadoop使用hduser用户,在master.hadoop上bin/start-all.sh启动: hadoop$ bin/start-all.sh用jps命令看到如下输出,则安装成功DataNodeJpsNameNodeJobTrackerTaskTrackerSecondaryNameNodeWeb查看HDFS信息查看集群状态大数据大数据时代来临一分钟内,互联网发生了什么?YouTube增加72小时视频Google进行200万次搜索Spotify增加14首新音乐新增域名70个iTunes下载音乐1.5万首新增网站571个每分钟发邮件2.04亿封LinkedIn职位搜索1.1万次亚马逊销售8.3万美元Snapchat分享照片10.4万张Twitter发“Tweets”27.8万则Flickr照片浏览2000万次Skype通线万分钟Facebook增加350GB数据、 增180个“赞”、每秒增加新帖子4.1万大数据大数据 数据结构大数据大数据存储大数据的4V数据量 时效性 多变性 价值性Hadoop大数据的服务器大数据分析09年4月59秒排序500GB(在1400个节点上)173分钟内排序100TB数据(在3400个节点上)大数据分析1. 可视化分析2. 数据挖掘算法3. 预测性分析能力4. 语义引擎5. 数据质量和数据管理Hadoop的思想之源:Google下一步Google what?GmailGoogle搜索引擎Google earthGoogle+Google翻译Google低成本之道1234运营商向Google倒付费 不使用超级计算机,不使用专业存储。多个数据中心大量使用普通的pc服务器,提供有冗余的集群服务 器Google面临的难题大量网页如何存储? 搜索算法 Rank 计算问题 123GFSBigtableMap-ReduceGoogle关键技术和思想Google三大论文The Google MapReduce Simplied Data Processing on Large Clusters.pdfBigtable A Distributed Storage System for Structured Data.pdfThe Chubby lock service.pdfLogical Time A Way to Capture Causality.pdfLog-Structured Hadoop从何而来Hadoop的源起——LuceneDoug Cutting开创的开源软件,用java书写代码,实现与Google类似的全文搜索功能,提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎 。. LuceneLucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎 。对于大数量的场景,Lucene仍面对与Google同样的困难。Hadoop发展历史HadoopNutchLuceneHadoop群雄逐鹿云创存储亚马逊百度云解决方案 云服务HadoopApache,Cloudera,MapR,HotonWorks,IntelIBMHPDell浪潮发行版本一体机目前Hadoop达到的高度 实现云计算的事实标准开源软件 包含数十个具有强大生命力的子项目 已经能在数千节点上运行,处理数据量和排序时间不断打破世界纪录 Hadoop定义Hadoop 一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储 。Hadoop 由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。HDFS 和MapReduce 是两个最基础最重要的成员。Hadoop子项目家族 PigHadoop客户端使用类似于SQL的面向数据流的语言Pig LatinPig Latin可以完成排序,过滤,求和,聚组,关联等操作,可以支持自定义函数Pig自动把Pig Latin映射为Map-Reduce作业上传到集群运行,减少用户编写Java程序的苦恼三种运行方式:Grunt shell,脚本方式,嵌入式HBaseGoogle Bigtable的开源实现列式数据库可集群化可以使用shell、web、api等多种方式访问适合高读写(insert)的场景HQL查询语言NoSQL的典型代表产品Hive数据仓库工具。可以把Hadoop下的原始结构化数据变成Hive中的表支持一种与SQL几乎完全相同的语言HiveQL。除了不支持更新、索引和事务,几乎SQL的其它特征都能支持可以看成是从SQL到Map-Reduce的映射器提供shell、JDBC/ODBC、Thrift、Web等接口ZookeeperGoogle Chubby的开源实现用于协调分布式系统上的各种服务。例如确认消息是否准确到达,防止单点失效,处理负载均衡等应用场景:Hbase,实现Namenode自动切换工作原理:领导者,跟随者以及选举过程Sqoop用于在Hadoop和关系型数据库之间交换数据通过JDBC接口连入关系型数据库Avro数据序列化工具,由Hadoop的创始人Doug Cutting主持开发?用于支持大批量数据交换的应用。支持二进制序列化方式,可以便捷,快速地处理大量数据?动态语言友好,Avro提供的机制使动态语言可以方便地处理 Avro数据。?Thrift接口Chukwa架构在Hadoop之上的数据采集与分析框架主要进行日志采集和分析通过安装在收集节点的“代理”采集最原始的日志数据代理将数据发给收集器收集器定时将数据写入Hadoop集群指定定时启动的Map-Reduce作业队数据进行加工处理和分析Hadoop基础管理中心(HICC)最终展示数据Cassandra NoSQL,分布式的Key-Value型数据库,由Facebook贡献与Hbase类似,也是借鉴Google Bigtable的思想体系只有顺序写,没有随机写的设计,满足高负荷情形的性能需求不论是存储的可扩展性还是计算的可扩展行,都是Hadoop的根本可架设于任何pc机上AB可扩展经济分布式文件系统的高效数据交互实现以及MapReduce结合Local Data处理的模式,为高效处理海量的信息作了基础准备分布式文件系统的备份恢复机制以及MapReduce的任务监控保证了分布式处理的可靠性DC可靠高效 Hadoop特点 基础架构Hadoop与Google比较后端系统:Google数据分析平台数据仓库(Hive)内存数据库(Hbase)批处理(Pig)分布式锁(Zoomkeeper)BSP模型(Hama)存储+计算(HDFS+MapReduce)Google 集群管理系统子系统位置Hadoop应用案例国内应用情况案例1:淘宝每日新增数据20T 累积数据14P数据规模2000+服务器的云计算平台每天处理100,000+作业任务,包括100+新增作业任务每天处理1P+数据,包括0.5%新增数据双十一191亿背后的开源技术?支付宝核心数据库集群处理了41亿个事务执行285亿次SQL双十一访问1931亿次内存数据块13亿个物理读生成15TB日志淘宝数据平台——产品架构数据应用即席查询(adhoc)即席查询(adhoc)数据分析数据分析数据挖掘数据挖掘数据产品数据产品报表需求(淘数据)报表需求(淘数据)数据应用开发平台——数据工场 数据开发平台Data IntegrationDataxDB syncTTHiveHbase实时计算 底层平台Hadoop Map ReduceHadoop HDFS案例2:暴风影音每天处理日志1.2T,20亿行。存储设计容量 200TB对外提供 产品分析,广告分析,用户分析 服务。每天处理任务上千个jobs应用领域搜索社交游戏视频电信医疗交通公安航空电力金融HDFS介绍HDFS定义HDFS 是Google GFS 的开源版本,一个高度容错的分布式文件系统,它能够提供高吞吐量的数据访问,适合存储海量(PB 级)大文件(通常超过64M)。HDFS设计基础与目标硬件错误是常态,需要冗余。流式数据访问。即数据批量读取而非随机读写,Hadoop擅长做数据分析而不是数据处理。大规模数据集简单一致性模型。程序采用“数据就近”原则分配节点执行。132低延迟数据访问HDFS是为了达到高数据吞吐量而优化的,这是以延迟为代价的,对于低延迟访问,可以用Hbase(hadoop的子项目)。多用户写入任意修改大量的小文件HDFS不适合场景 HDFS架构 在Hadoop中,一个文件被划分成大小固定的多个文件块,分布的存储在集群中的节点中。111HDFS架构同一个文件块在不同的节点中有多个副本HDFS架构我们需要一个集中的地方保存文件的分块信息/home/hdfs/a.txt.part1,3,(dn1,dn2,dn3)/home/hdfs/a.txt.part2,3,(dn2,dn3,dn4)/home/hdfs/a.txt.part3,3,(dn6,dn11,dn28)…HDFS架构HDFS架构一个文件分块,默认64M保存整个文件系统的目录信息,文件信息以及文件相应的分块信息BlockNameNodeHA策略DataNodeNameNode一旦宕机,整个文件系统将无法工作。如果NameNode中的数据丢失,整个文件系统也就丢失了。 用于存储BlocksHDFS体系结构NameNode DataNode 事务日志 映像文件 SecondaryNameNode Namenode管理文件系统的命名空间 记录每个文件数据块在各个Datanode上的位置和副本信息 协调客户端对文件的访问 记录命名空间内的改动或空间本身属性的改动 Namenode使用事务日志记录HDFS元数据的变化。使用映像文件存储文件系统的命名空间,包括文件映射,文件属性等 Datanode 负责所在物理节点的存储管理 一次写入,多次读取(不修改) 文件由数据块组成,典型的块大小是64MB 数据块尽量散布道各个节点读取数据流程HDFS文件操作命令行方式API方式HDFS基本操作hadoop dfs –ls /hadoop dfs –mkidr /testhadoop dfs –get /hadoop dfs –put src列出HDFS文件:~$ hadoop dfs -ls /注意:hadoop没有当前目录的概念,也没有cd命令 。上传文件到HDFS:~$ hadoop dfs -put /home/hduser/test.txt /app/hadoop/tmp/:~$ hadoop dfs -ls /app/hadoop/tmp/将HDFS的文件复制到本地:~$ hadoop dfs -get /app/hadoop/tmp/test.txt /home/hduser/testdfs.txt:~$ ll /home/hduser/删除HDFS下的文档:~$ hadoop dfs -ls /app/hadoop/tmp/:~$ hadoop dfs -rmr /app/hadoop/tmp/test.txt:~$ hadoop dfs -ls /app/hadoop/tmp/查看文件内容:~$ hadoop dfs -ls .:~$ hadoop dfs -cat ./test.txt查看HDFS基本统计信息:~$ hadoop dfsadmin -report进入和退出安全模式:~$ hadoop dfsadmin -safemode enter:~$ hadoop dfsadmin -safemode leave更多命令请参考《》节点添加在新节点安装好hadoop 把namenode的有关配置文件复制到该节点 修改masters和slaves文件,增加该节点 设置ssh免密码进出该节点 单独启动该节点上的datanode和tasktracker(hadoop-daemon.sh start datanode/tasktracker) 运行start-balancer.sh进行数据负载均衡 启动某些特定后台进程:~$ start-all.sh负载均衡当节点出现故障,或新增加节点时,数据块分布可能不均匀,负载均衡可以重新平衡各个datanode上数据块的分布。:~$ start-balancer.shHDFS APIJava调用HDFS演示hadoop jar /home/hduser/upload.jar /app/hadoop/tmp/test.txt(本地文件) /app/hadoop/tmp/outputhadoop dfs -ls /app/hadoop/tmp/hadoop dfs -cat /app/hadoop/tmp/outputMap-ReduceMapReduce算法思想MapReduce 主要反映了映射和规约两个概念,分别完成映射操作和规约操作。MapReduce逻辑部署MapReduce逻辑部署Hadoop 主要由HDFS(Hadoop Distributed )和MapReduce 引擎两部分组成。最底部是HDFS,它存储Hadoop 集群中所有存储节点上的文件。HDFS 的上一层是MapReduce 引擎,该引擎由JobTrackers 和TaskTrackers组成。MapReduce运行机制Google MapReduce原理(1) 输入文件分成M块,每块大概16M~64MB(可以通过参数决定),接着在集群的机器上执行分派处理程序 (2) M个Map任务和R个Reduce任务需要分派,Master选择空闲Worker来分配这些Map或Reduce任务(3) Worker读取并处理相关输入块,Map函数产生的中间结果key,value对暂时缓冲到内存 (4) 中间结果定时写到本地硬盘,分区函数将其分成R个区。中间结果在本地硬盘的位置信息将被发送回Master,然后Master负责把这些位置信息传送给Reduce Worker Google MapReduce原理(5) 当Master通知执行Reduce的Worker关于中间key,value对的位置时,它调用远程过程,从Map Worker的本地硬盘上读取缓冲的中间数据。当Reduce Worker读到所有的中间数据,它就使用中间key进行排序,这样可使相同key的值都在一起(6) Reduce Worker根据每一个唯一中间key来遍历所有的排序后的中间数据,并且把key和相关的中间结果值集合传递给用户定义的Reduce函数。Reduce函数的结果写到一个最终的输出文件 (7) 当所有的Map任务和Reduce任务都完成的时候,Master激活用户程序。此时MapReduce返回用户程序的调用点Hadoop MapReduce实现机制Hadoop MapReduce实现机制1、向jobtracker请求一个新的作业ID(通过Jobtracker的getNewJobId())2、检查作业的输出目录。比如,如果没有指定输出目录或者它已经存在,作业就不会被提交,并有错误返回给MapReduce程序。3、计算作业的输入分片。如果分片无法计算,比如因为输入路径不存在,作业就不会被提交,并有错误返回给MapReduce程序。Hadoop MapReduce实现机制4、将运行作业所需要的资源(包括作业的JAR文件、配置文件和计算所得的输入分片)复制到一个以作业ID号命名的目录中jobtracker的文件系统。作业JAR的副本较多(由mapred.submit.replication 属性控制,默认为10),因此,在tasktracker运行作业任务时,集群能为它们提供许多副本进行访问。(步骤3)5、告诉jobtracker作业准备执行(通过调用JobTracker的submitJob()方法)(步骤4)Hadoop MapReduce实现机制6、Jobtracker接受到对其submitJob()方法调用后,会把此调用放入一个内部的队列中,交由作业调度器进行调度,并对其进行初始化。初始化包括创建一个代表该正在运行的作业的对象,它封装任务和记录信息,以便跟踪任务的状态和进程(步骤5)7、要创建运行任务列表,作业调度器首先从共享文件系统中获取JobClient已经计算好的输入分片信息(步骤6)然后为每个分片创建一个map任务。创建的reduce任务的数量由JobConf的mapred.reduce.tasks属性决定,它是用setNumReduceTasks()方法来设定的,然后调度器便创建这么多reduce任务来运行。任务在此时指定ID号。Hadoop MapReduce实现机制8、TaskTraker 运行一个简单的循环来定期发送心跳(heartbeat)给Jobtracker。心跳方法告知jobtracker,tasktracker是否存活,同时也充当两者之间的消息通道。作为心跳的一部分,tasktracker会指明它是否已经准备运行新的任务,如果是,jobtracker会为它分配一个任务,并使用心跳的返回值与tasktracker进行通信(步骤7)Hadoop MapReduce实现机制9、现在,tasktracker已经被分配了任务,下一步是运行任务。第一步,通过从共享文件系统把作业JAR文件复制到tasktracker所在的文件系统,从而实现作业的JAR文件本地化。同时,tasktracker将应用程序所需要的全部文件从分布式缓存复制到本地磁盘。第二步,tasktracker为任务新建一个本地工作目录,并把JAR文件中的内容解压到这个文件夹下。第三步,tasktracker新建一个TaskRunner实例来运行任务。TaskRunner启动一个新的Java虚拟机(步骤9)来运行每个任务(步骤10),以便用户定义的map和reduce函数的任何软件问题都不会影响tasktracker(比如导致崩溃或者挂起等)。但在不同的任务之间重用JVM还是可能的。10、子进程通过中央接口与父进程进行通信。它每隔几秒便告知父进程它的进度,直到任务完成。一个main 函数。一个Reducer函数一个Mapper 函数132MapReduce 应用程序组成MapReduce MapReduceMapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算通俗的说就是将一个大任务分成多个小任务并行完成,然后合并小任务的结果,得到最终结果。Map-reduce的思想就是“分而治之” Mapper Mapper负责“分”,即把复杂的任务分解为若干个“简单的任务”执行. Reducer 对map阶段的结果进行汇总 Reducer的数目由mapred-site.xml配置文件里的项目mapred.reduce.tasks决定。缺省值为1,用户可以覆盖之 Shuffler 在mapper和reducer中间的一个步骤(可以没有) 可以把mapper的输出按照某种key值重新切分和组合成n份,把key值符合某种范围的输出送到特定的reducer那里去处理 可以简化reducer过程 命令操作hadoop jar /usr/local/hadoop/hadoop-examples-1.0.4.jar wordcount /app/hadoop/tmp/test.txt /app/hadoop/tmp/outputWordCount的运算过程假设输入文件的内容如下:How are youHello word, are you okThis is a test文件被分成3个splitSplit1How are youSplit2Hello word, are you okSplit3This is a testMap的过程Split1How are you (How, 1) (are, 1)(you, 1)Split2Hello word, are you ok (Hello, 1)(word,, 1)(are, 1)(you, 1)(ok, 1)Split3This is a test (This, 1)(is, 1)(a, 1)(test, 1)Reduce的过程(How, 1) (are, 1)(you, 1) (Hello, 1)(word,, 1)(are, 1)(you, 1)(ok, 1) (This, 1)(is, 1)(a, 1)(test, 1) (How, {1}) (are, {1, 1})(you, {1, 1}) (Hello, {1})(word,, {1})(are, {1})(ok, {1}) (This, {1})(is, {1})(a, {1})(test, {1})调度机制 缺省为先入先出作业队列调度 支持公平调度器 支持容量调度器 任务执行优化 推测式执行:即如果jobtracker发现有拖后腿的任务,会再启动一个相同的备份任务,然后哪个先执行完就会kill去另外一个。因此在监控网页上经常能看到正常执行完的作业有被kill掉的任务 推测式执行缺省打开,但如果是代码问题,并不能解决问题,而且会使集群更慢,通过在mapred-site.xml配置文件中设置mapred.map.tasks.speculative.execution和mapred.reduce.tasks.speculative.execution可为map任务或reduce任务开启或关闭推测式执行 重用JVM,可以省去启动新的JVM消耗的时间,在mapred-site.xml配置文件中设置mapred.job.reuse.jvm.num.tasks设置单个JVM上运行的最大任务数(1,1或-1表示没有限制) 忽略模式,任务在读取数据失败2次后,会把数据位置告诉jobtracker,后者重新启动该任务并且在遇到所记录的坏数据时直接跳过(缺省关闭,用SkipBadRecord方法打开) 错误处理机制:硬件故障 硬件故障是指jobtracker故障或tasktracker故障 jobtracker是单点,若发生故障目前hadoop还无法处理,唯有选择最牢靠的硬件作为jobtracker Jobtracker通过心跳(周期1分钟)信号了解tasktracker是否发生故障或负载过于严重 Jobtracker将从任务节点列表中移除发生故障的tasktracker 如果故障节点在执行map任务并且尚未完成,jobtracker会要求其它节点重新执行此map任务 如果故障节点在执行reduce任务并且尚未完成,jobtracker会要求其它节点继续执行尚未完成的reduce任务 错误处理机制:任务失败 由于代码缺陷或进程崩溃引起任务失败 Jvm自动退出,向tasktracker父进程发送方错误信息,错误信息也会写入到日志 Tasktracker监听程序会发现进程退出,或进程很久没有更新信息送回,将任务标记为失败 标记失败任务后,任务计数器减去1以便接受新任务,并通过心跳信号告诉jobtracker任务失败的信息 Jobtrack获悉任务失败后,将把该任务重新放入调度队列,重新分配出去再执行 如果一个任务失败超过4次(可以设置),将不会再被执行,同时作业也宣布失败 Hadoop命令大全 Hadoop API大全 HBaseHbase的特点高可靠性面向列可伸缩高性能Hbase介绍HBase是一个分布式的、面向列的开源数据库就像Bigtable利用了Google文件系统()所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式Bigtable思想学生表的例子S(s#,sn,sd,sa)存放为关系的学生表以bigtable方式存放学生表Bigtable: 无所不包的大表Hbase逻辑模型以表的形式存放数据表由行与列组成,每个列属于某个列族,由行和定的存储单元称为元素每个元素保存了同一份数据的多个版本,由时间戳来标识区分Bigtable: 无所不包的大表Hbase行键行键是数据行在表里的唯一标识,并作为检索记录的主键访问表里的行只有三种方式通过单个行键访问给定行键的范围访问全表扫描行键可以是最大长度不超过64KB的任意字符串,并按照字典序存储对于经常要一起读取的行,要对行键值精心设计,以便它们能放在一起存储Hbase列族与列列表示为列族:限定符Hbase在磁盘上按照列族存储数据,这种列式数据库的设计非常适合于数据分析的情形列族里的元素最好具有相同的读写方式(例如等长的字符串),以提高性能列族名尽量短列族在创建表的时候声明,一个列族可以包含多个列,列中的数据都是以二进制形式存在,没有数据类型。Hbase时间戳对应每次数据操作的时间,可由系统自动生成,也可以由用户显式的赋值Hbase支持两种数据版本回收方式:1 每个数据单元,只存储指定个数的最新版本 2 保存指定时间长度的版本(例如7天)常见的客户端时间查询:“某个时刻起的最新数据”或“给我全部版本的数据”元素由 行键,列族:限定符,时间戳唯一决定元素以字节码形式存放,没有类型之分Hbase vs Oracle 索引不同造成行为的差异 Hbase适合大量插入同时又有读的情况 Hbase的瓶颈是硬盘传输速度,Oracle的瓶颈是硬盘寻道时间 Hbase很适合寻找按照时间排序top n的场景 传统数据库的行式存储 数据存放在数据文件内 数据文件的基本组成单位:块/页 块内结构:块头、数据区 Hbase物理模型HMaster为Region server分配region负责region server的负载均衡发现失效的region server并重新分配其上的regionHDFS上的垃圾文件回收处理schema更新请求HRegion Server HRegion server维护HMaster分配给它的HRegion,处理对这些HRegion的IO请求。HRegion server负责切分在运行过程中变得过大的HRegion可以看到,client访问Hbase上数据的过程并不需要HMaster参与(寻址访问zookeeper和HRegion server,数据读写访问HRegione server),HMaster仅仅维护者table和HRegion的元数据信息,负载很低。行式存储的问题 读某个列必须读入整行 ?行不等长,修改数据可能导致行迁移 ?行数据较多时可能导致行链 Hbase逻辑模型按RowKey的字典顺序TableRegion ServersHbase中数据存储方式RegionRegion ServerRegionRegion ServerRegionRegion ServerRegionRegion ServerTable Region 当Table随着记录数不断增加而变大后,会逐渐分裂成多份splits,成为regions,一个region由[startkey,endkey)表示,不同的region会被Master分配给相应的RegionServer进行管理字典顺序aababcbbababccacab特点:拥有相同“前缀”的数据,会存储在相邻区域HStoreHStoreHStoreMemStoreMemStoreMemStoreHTable = HRegion = HStoreStoreFileStoreFileStoreFileStoreFileStoreFileStoreFileTableRegion ServerRegionHRegionRegionRegionRegionHStore是怎样工作的?向表中写入数据的过程:首先写入MemStore,同时写入HLog但MemStore到达一定大小的时候,MemStore会flush成一个StoreFile(HFile文件)但StoreFile的数量达到一定阀值,会触发compact, 将多个StoreFile合并成1个StoreFile当单个StoreFile达到一定大小的时候,会触发split, 将当前的Region拆分成2个Region,并且分发到 不同的Region Server上HStoreMemStoreStoreFileStoreFileStoreFileHStore是怎样工作的?HFile的存储格式Data Block是HBase I/O的基本单元,每个Data块除了开头的Magic以外就是一个个KeyValue对拼接而成KeyValue的存储格式开始是两个固定长度的数值,分别表示Key的长度和Value的长度。紧接着是Key,开始是固定长度的数值,表示RowKey的长度,紧接着是 RowKey,然后是固定长度的数值,表示Family的长度,然后是Family,接着是Qualifier,然后是两个固定长度的数值,表示Time Stamp和Key Type(Put/Delete)。Value部分没有这么复杂的结构,就是纯粹的二进制数据了。对于任意一个cell,都需要存储rowkey, column family, column qualifierHbase系统实战Hbase安装部署《细细品味Hadoop_Hadoop集群(第11期)_HBase简介及安装.pdf》《Ubuntu伪分布式安装Hbase-0.94.4.docx》Hbase Shell《Hbase shell常用命令.docx》微博介绍Hbase实现微博Struts2 + Jsp + bootstrap环境用户管理功能创建了用户管理相关的表创建新用户验证用户名和密码关注功能发布微博功能接下来将要实现的功能界面部分(JSP+Struts2 Actions)用户注册,登陆和注销发布微博,查看微博服务端部分表结构的设计Hbase接口的实现JSP和Action的实现用户管理1、tab_global :用户唯一id表用户管理2、tab_user2id:用户与id对应表3、tab_id2user:id与用户信息对应表用户关注4、tab_follow5、tab_followed发送微博6、tab_post7、tab_inbox运行效果演示基于短信话单的应用话单入库多线程入库使用Protocol Buffer话单查询Ajax技术话单统计在Hbase中使用MapReduceHbase应用1、登录风暴2、自助缴费3、仓储分析HiveHive简介 起源自facebook由Jeff Hammerbacher领导的团队 构建在Hadoop上的数据仓库框架 设计目的是让SQL技能良好,但Java技能较弱的分析师可以查询海量数据 2008年facebook把hive项目贡献给Apache Hive 数据仓库工具。可以把Hadoop下的原始结构化数据变成Hive中的表 支持一种与SQL几乎完全相同的语言HiveQL。除了不支持更新、索引和事务,几乎SQL的其它特征都能支持 可以看成是从SQL到Map-Reduce的映射器 提供shell、JDBC/ODBC、Thrift、Web等接口 Hive的组件与体系架构 用户接口:shell, thrift, web等 Thrift服务器 元数据库“Derby, Mysql等 解析器 Hadoop 架构Hive Data TypesHive安装 元数据保持在内嵌的Derby模式,只允许一个会话连接 。内嵌模式在本地安装Mysql,把元数据放到Mysql内 。本地独立模式元数据放置在远程的Mysql数据库。 远程模式参考《细细品味Hadoop_Hadoop集群(第13期)_Hive简介及安装.pdf 》Hive Shell请参考《Hive基本命令.txt》Hive API开发演示改变IT运维思维方式改变IT运维思维方式云计算趋势技术(开发人员可以赚钱)管理(节约成本、数据分析创造价值)总结内部教程注意保密LOGO中程在线(北京)科技有限公司万丈高楼平地起商业走向金融,网络走向数据弹性:横向可扩展处理能力线性增长可度量:安全性:画一个金字塔,象牙之塔理论云计算深刻改变未来大数据预测未来,关注发展走向,09经济危机,马云08年就预测到,提出企业过冬说法,马云组织成立菜鸟网络,他组织是快递企业,这些企业是竞争关系,为什么多家企业还愿意在一起合作呢?这背后最大的原因是就是大数据,买家卖家的真实地址。这是快递企业的命根子,他能不跟马云干嘛?如果不干后果是什么?腾讯的例子,不用QQ、不用微信行不行?换一个其它的行不行?互联网营销,创意为主导,京苏大战,淘宝双十一1、实时营销:2011年春北京雨水特别大,去北京看海,杜雷推出了,穿杜雷斯去海2、网络事件营销:俄罗斯陨石事件3、病毒式营销:手机软件营销,生小baby4、微博线、逆向思维营销搜索引擎购买关键词不识庐山真面目,只缘身在此山中感性认识人云亦云搜索有问题、吃饭、查询地图、领导要求购买物品、配图网络购物淘宝、京东、当当、电商大战上网聊天QQ(同时在线亿、风投关注有效用户数)、飞信微博QQ控、微博控微信电话本备份、智能手机易坏事例你已经在使用云、接触云,在云的前端、后面有强大的成体系的系统支撑你已经被控制了,控制思想、行动、结果(把钱送给他),有很多人如果没有了手机,一天不知要做什么,应该做什么利用云这个特性,做云中的驱动者,也即信息产生者、发布者,实现自己的梦想机遇,有的人……,当今这个社会,如果没有能力赚到钱,那是人有问题隐私休息时间由此图可见,云计算发展的势头为什么在这个时候产生,而不是在以前?云计算会不会是短时间的概念炒作?经过我下面的分析各位就会得出结论云计算概念的产生,画图Google创业思路1、组件失效是常态,而不是异常;上百万台计算机,硬盘、主板、内存、CPU、网卡等坏掉是每天都要发生的事情;2、在廉价的PC Server上建立稳定、高性能、安全的数据中心;电脑的普及、移动设备普及以及网络接入、软件技术的发展开源技术的发展虚拟化技术的成熟,操作系统安装更容易,对硬件没有依赖催生了新的软件交付模式镜像交付模式因此才能够将IT基础架构变成资源放入资源池是指计算元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量,简化软件的重新配置过程。CPU的虚拟化技术可以单CPU模拟多CPU并行,允许一个平台同时运行多个操作系统,并且应用程序都可以在相互独立的空间内运行而互不影响,从而显著提高计算机的工作效率。虚拟化技术也与VMware Workstation等同样能达到虚拟效果的软件不同,是一个巨大的技术进步,具体表现在减少软件虚拟机相关开销和支持更广泛的操作系统方面。纯软件虚拟化解决方案存在很多限制。“客户”操作系统很多情况下是通过VMM(Virtual Machine Monitor,虚拟机监视器)来与硬件进行通信,由VMM来决定其对系统上所有虚拟机的访问。(注意,大多数处理器和内存访问独立于VMM,只在发生特定事件时才会涉及VMM,如页面错误。)在纯软件虚拟化解决方案中,VMM在软件套件中的位置是传统意义上操作系统所处的位置,而虚拟化技术将各种资源虚拟出多台主机操作系统的位置是传统意义上应用程序所处的位置。调度出CPU以后时间停止,操作系统的时间是停止确保 VMM 控制权x86处理器有 4 个特权级别,Ring 0 ~ Ring 3,只有运行在 Ring 0 ~ 2 级时,处理器才可以访问特权资源或执行特权指令;运行在 Ring 0 级时,处理器可以访问所有的特权状态。x86 平台上的操作系统一般只使用 Ring 0 和 Ring 3 这两个级别,操作系统运行在 Ring 0 级,用户进程运行在 Ring 3 级。为了满足上面的第一个充分条件-资源控制,VMM 自己必须运行在 Ring 0 级,同时为了避免 Guest OS 控制系统资源,Guest OS 不得不降低自身的运行级别,运行在 Ring 1 或 Ring 3 级(Ring 2 不使用)。特权级压缩(Ring Compression)VMM 使用分页或段限制的方式保护物理内存的访问,但是 64 位模式下段限制不起作用,而分页又不区分 Ring 0,1,2。为了统一和简化 VMM的设计,Guest OS 只能和 Guest 进程一样运行在 Ring 3 级。VMM 必须监视 Guest OS 对 GDT、IDT 等特权资源的设置,防止 Guest OS 运行在 Ring 0级,同时又要保护降级后的 Guest OS 不受 Guest 进程的主动攻击或无意破坏。迁移技术虚拟机迁移技术为服务器虚拟化提供了便捷的方法。当前流行的虚拟化工具如 VMware,Xen,HyperV,KVM 都提供了各自的迁移组件。虚拟化技术的成熟,操作系统安装更容易,对硬件没有依赖催生了新的软件交付模式镜像交付模式因此才能够将IT基础架构变成资源放入资源池CPU VT技术自动控制、服务导向libvirt 比较和用例模型libvirt是一套免费、开源的支持Linux下主流虚拟化工具的C函数库,其旨在为包括Xen在内的各种虚拟化工具提供一套方便、可靠的编程接口,支持与C,C++,Ruby,Python等多种主流开发语言的绑定。当前主流Linux平台上默认的虚拟化管理工具virt-manager(图形化),virt-install(命令行模式)等均基于libvirt开发而成。Libvirt 库是一种实现 Linux 虚拟化功能的 Linux? API,它支持各种虚拟机监控程序,包括 Xen 和 KVM,以及 QEMU 和用于其他操作系统的一些虚拟产品。调用虚拟化API中国的历史以及国情,人民终于有一个发泄的场所这些数据的出现、以及快速增长改变了世界上数据结构的比例,拿一些快速增长的数据IO能力没有提升影响计算能力的不仅仅是处理器配备的高低,还有芯片组、内存和硬盘。从参数看性能处理器:型号、核心、主频、前端总线、缓存。 芯片组:类型。 内存:类型、容量。 硬盘:容量、缓存、转速。Web2.0网站的剧增云计算产生内因,原动力为云计算的产生准备好前提互联网发展个人表达的场所商业,利益驱动数据爆炸式增长信息驱动--〉MD--〉信息决定人的思考、思考决定思维,互联网营销与企业营销让你的用户产生购买行为牛顿力学理论不能解决的问题云计算产生的原动力(1)芯片和硬件技术的飞速发展,使得硬件能力激增、成本大幅下降,让独立运作的公司集中可观的硬件能力实现规模效益成为可能。(2)虚拟化技术的成熟,使得这些硬件资源可以被有效地细粒度分割和管理,以服务的形式提供硬件和软件资源成为可能。(3)面向服务架构的广泛应用,使得开放式的数据模型和通信标准越来越广泛地为人们使用,为云中资源与服务的组织方式提供了可行的方案。(4)软件即服务模式的流行,云计算以服务的形式向最终用户交付应用的模式被越来越多的用户所接受。(5)互联网技术的发展,让网络的带宽和可靠性都有了质的提高,使得云计算通过互联网为用户提供服务成为可能。(6)Web 2.0技术的流行和广泛接受,改变了人们使用互联网的方式,通过创新的用户体验为云计算培育了使用群。从Amazon云计算,讨论如何提供云服务1)Dynamo基础存储架构2)弹性计算云EC23)简单存储服务S34)简单队列服务SQS 5)简单数据库服务Simple DB6)关系数据库服务RDS7)内容推送服务CloudFront已经成为云计算事实的标准,为什么Amazon云计算做比较好?从Google云计算体系,理解海量数据处理的方法1)如何构建海量存储文件系统?GFS系统架构GFS容错机制GFS系统管理技术MapReduce产生背景MapReduce编程模型MapReduce实现机制MapReduce案例分析2)如何提供锁服务解决分布式数据一致性问题?Chubby的设计思路Chubby中的Paxos算法Chubby文件系统3)如何建立规模庞大的高性能表结构?BigTable设计目标BigTable系统架构BigTable服务器BigTable性能优化4)如何建立高可用性和高可扩展性的数据系统?Megastore设计目标Megastore数据模型Megastore事务及并发控制 Megastore基本架构Dapper监控系统Dapper关键性技术Dapper工具很多企业所担心的,或者说云计算是炒概念,或者处于谨慎的观望态度以基于云的部署形式将应用程序部署到一个二层 Web 服务器架构模式的示例提升80%的效率如果用传统的方式搭建一个这个网络,过程是什么样子的?需要多少时间?多少钱?个人:个人客户的主要应用应该在便携式的移动终端上,如上网本、手机、PAD等;可以预测个人借助云服务,通过手机等小型移动终端可以达到在PC上同样的处理效果。企业:互联网服务:这类企业是云计算的最大客户。它们不必一次性付出太多的资本来采购软硬件,并且在业务增长时也无需为扩容网络而操心; 中小企业:担忧维护IT设施的成本过高的中小企业会选择云计算;希望减少成本的大型集团,对于关键商业数据存放于第三方的安全性顾虑会影响他们采用公有云服务的决策,转而建设大型企业内部私有云。政府、高校、科研机构高校、科研机构的大型研究计划往往需要惊人的计算能力和存储能力来支撑,以往他们是通过购买或租用大型计算机来完成,现在他们多了一种选择——云计算;? 数据中心的规模不停的扩大、场地规模受到挑战、机房接近满载(电力、空间)? IT运维成本高、流程复杂(管理、维护)? 数据信息孤岛 ? 应用可靠性低(安全性、可靠性)? 计算资源利用率低不均衡现象明显? 大数据集中、业务分析、经营决策? 虚拟化计算资源池、提高企业计算利用率,增强安全性? 降低企业运维成本 1、在桥接模式下,虚拟机和宿主计算机处于同等地位,虚拟机就像是一台真实主机一样存在于局域网中。因此在桥接模式下,就要像对待其他真实计算机一样为其配置IP、网关、子网掩码等等。2、当可以自由分配局域网IP时,使用桥接模式就可以虚拟出一台线、在NAT模式下,宿主计算机相当于一台开启了DHCP功能的路由器,而虚拟机则是内网中的一台真实主机,通过路由器(宿主计算机)DHCP动态获得网络参数。因此在NAT模式下,虚拟机可以访问外部网络,反之则不行,因为虚拟机属于内网。2、使用NAT模式的方便之处在于,不需要做任何网络设置,只要宿主计算机可以连接到外部网络,虚拟机也可以。 NAT模式通常也是校园网Vmware最普遍采用的连接模式,因为一般只能拥有一个外部IP。很显然,在这种情况下,非常适合使用NAT模式。1、在Host-only模式下,相当于虚拟机通过双绞线和宿主计算机直连,而宿主计算机不提供任何路由服务。因此在Host-only模式下,虚拟机可以和宿主计算机互相访问,但是虚拟机无法访问外部网络。如果虚拟机需要访问外网可以通过共享物理网卡的方式实现,选择VirtualBox Host-Only Network即可。 2、当要组成一个与物理网络相隔离的虚拟网络时,无疑非常适合使用Host-only模式。Zone Pod HostOracle商用高性能关系型数据库,处理上千万的记录,也慢,上千万条记录也就近1个G的数据量关系型数据库天生致命的弱点,只能处理结构化数据,不能处理网页、图片、CAD文件等;不能结构化的也要结构化我在中石油西南分公司项目评审时,CAD制图,一位业务评审专家谈这个一定要数据化,数据化的意思是把非结构化数据,变为结构化数据,否则他认为那些数据没有用处,也无法利用,可见呢,他是不懂云计算、不知道大数据技术,大数据处理就是这种半结构化数据、非结构化数据关系型数据结构局限大数据的引出1、结构化;RDBMS2、半结构化;网页3、非结构化;图片、文件Oracle处理几个G的数据会表现很慢,数据条件大约上万条今天不报销,财务结算,为什么会这样呢?每个企业是不是都会有类似的事情,生成报表需要一天或者几天的时间,关系型数据库处理数据规模在G级别是一个坎关系型数据库:1、关系理念模型;这是表面现象,那么后面的文件是如何存储器的呢?2、范式;3、建库;慢,库越大时间越长;?影响到软件设计阶段,设计人员花费大量的时间,成本,机会;4、建表;字段,长度、类型;?表修改,是灾难性的;查询SELECT * FROM table WHERE field LIKE ‘value’;5、索引:索引机制会导致变慢,写多?读多?如何处理?半结构化:网页非结构化:图片? 大数据计算和存储? 大数据(Big Data)和非结构化数据(NoSQL)? 大数据研究和背景 ? 大数据中的大问题? 解决大数据问题的方法和思路1.数据量(Volume)2.时效性(Velocity)3.多变性(Variety)4.价值性(Veracity)Google、Baidu算法调整,使多家企业发展,使多家企业倒闭集装箱式数据中心的产品系列集装箱式数据中心的部署方式集装箱式数据中心的交付周期集装箱式数据中心的优势模块化数据中心的优点集装箱式数据中心的部署方式、环境及选址要求、监控系统的功能及特点Google、Baidu算法调整,使多家企业发展,使多家企业倒闭无人驾驶飞行汽车可穿戴设备人休嵌入设备GFS北极工程化能力很强简单有效GFS充分利用磁盘Map-Reduce充分利用分布式计算BigTable充分利用内存推荐阅读的文章:The Google File Systems.pdfMapReduce Simplied Data Processing on Large Clusters.pdfBigtable A Distributed Storage System for Structured Data.pdfLog-Structured File System.pdfLogical Time A Way to Capture Causality.pdfThe Chubby lock service.pdfCAP理论PAXOS协议那么第一个问题:redis是什么?用一句话概括,redis是一个高性能的key-value数据库。提到数据库,大家首先想到的可能是Oracle,Mysql这样的传统关系型数据库,但Redis是一种Nosql,也就是非关系型数据库,它具备与传统数据库完全不同的特点。那么接下来,我就为大家简单的介绍redis的特点,让大家对redis有一个整体的认识创建用户的过程检查用户名是否可用从tab_global获得全局唯一的用户ID插入记录tab_user2id插入记录tab_id2user用户登陆的过程从tab_user2id得到用户ID从tab_id2user得到用户密码检查用户密码不谋全局者不足以谋一域,不谋万世者不足以谋一时商业走向金融网络走向数据云计算带来的新机遇三个苹果改变世界PPT 理论:people,process,technoligy物联网云计算正在孕育多种全新商业模式云计算深刻改变未来云计算概念云计算的标准云计算参考架构云计算安全框架云计算思想体系商业价值分析商业走向金融网络走向数据别让企业数据在那里睡大觉,要让他发挥无限的潜能金融与数据的关系淘宝开源了许多平台代码,但是没有公开数据信息数据的价值再于分析与利用而不是存储,中国人民最想要什么?他能提前掌握人民的需求走向,比市场快两步是烈士、比市场快一步是勇士、比市场快半步是谋士,跟上市场是战士,跟不上市场是弱势,能够准确了解市场,做科学决策;读万卷书,不如行万里路,行万里路,不如阅人无数命不能争,运可以造,弱者认命,强者抗命,能者求命,智者造命。读万卷书,不如行万里路;行万里路,不如阅人无数;阅人无数,不如名师指路;名师指路,不如自己去悟。
2、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
3、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
4、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
金属材料与热处理 第2版 课件 第六单元 钢的热处理_1-125.pptx
上海久隆模范中学2024-2025学年七年级下学期地理期末考试试卷及答案.docx
原创力文档创建于2008年,本站为文档C2C交易模式,即用户上传的文档直接分享给其他用户(可下载、阅读),本站只是中间服务平台,本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方,若您的权利被侵害,请发链接和相关诉求至 电线) ,上传者