fair策略:公平性,在一定时间内释放资源后给任务2,(结合后)任务2释放一部分给任务3同时运行。
通过5070访问监控端口。防火墙未关闭也无法访问,永久关闭disable
大数据存储和计算,可伸缩:动态扩充节点,扩充集群,多个节点计算,容错:存储的k8凯发集团容错,数据块有不同备份策略,任务在提交的时候,网络会重试。分块、分系欸阿多诺存储。
文件块:分布在不同节点上,分布式,备份数,为节点宕机做备份。是不是备份数越大越好,默认是3.
mapreduce:映射,键值对的转化和规避,combine不改变输入输出类型,combine只是影响性能。
分成三个文件块,三个map任务,键忽略值分割,值和1键值对,combine是合并,相同合并,shuffle相同的键整合并排序,输出到reduce,相同键值进行叠加,合并并输出,数据流程就是以上
Hadoop是ms架构,master和slave架构,主节点发送到子节点,每次都发送密码验证麻烦,主节点发送命令到子节点,用ssh无密码直接就可以登录。配置主节点无密码登录,
Linux和hadoop联系紧密:开源项目和服务都是部署在Linux上,资源利用率更高,不同的模式,服务器版部署服务器资源。
海量数据的搜索才适用,实时流处理不适用,不管大数据还是小数据,图书馆系统数据量少不适合
ozie:工作流,hive、spark任务构成工作流、hacat:元数据的管理
谷歌的三驾马车:Hadoop分布式文件存储、mapreduce编制框架、大数据库Hbase。三个开源框架
mapreduce不太适用于机器学习,迭代的任务,迭代的任务用spark更好