博客
关于我
Hadoop之HDFS:Hadoop分布式文件系统--具体知识点
阅读量:81 次
发布时间:2019-02-25

本文共 3353 字,大约阅读时间需要 11 分钟。

HDFS?Hadoop???????

HDFS?Hadoop Distributed File System??Hadoop????????????????????????????????????????????????????????????????????????????Java API?????????HDFS???????


??????

??VMware 15???????????CentOS 7?????????Apache Hadoop 3.1.4???????Windows?Mac???????IDEA?IntelliJ IDEA????????????????????????Hadoop?????????????????


??????

  • Hadoop?????
  • Hadoop????????
  • Hadoop?????
  • HDFS????

  • ??????

  • ????????????
  • ??HDFS????????
  • ????HDFS?????
  • ??HDFS???????

  • ??????

    1. Hadoop?????

    Hadoop????????Apache Nutch???????????????????????????????????????Nutch???????????????2003??????????????????????????GFS?Google File System??MapReduce???????????Hadoop???????????

    2004??2005??Nutch?????????GFS?MapReduce?????????????????Hadoop???2008?1??Hadoop????Apache??????????????????

    Hadoop?????????????????????????????????????????

    2. Hadoop????

    Hadoop?????????????

    • 0.x???Hadoop?????????????????
    • 1.x????????0.x??????bug???????????
    • 2.x??????YARN??????????????????????????????????
    • 3.x????2.x????????HDFS????????????????????

    3. Hadoop????????

    Hadoop??????????????Apache Hadoop?Cloudera?Hortonworks?MapR?

    • Apache Hadoop?????????????????
    • Cloudera????????????????Impala???????????
    • Hortonworks????????Windows??????????
    • MapR????????Hadoop??????????????

    ??Hadoop??????

    Hadoop??????????

  • HDFS??????????????????????
  • MapReduce???????????????????????
  • YARN?Hadoop 2.x????????????????????????
  • 1. HDFS??

    HDFS????????

    • NameNode????????????????????????????????
    • DataNode??????????????????????
    • Secondary NameNode???NameNode????????????????

    2. YARN??

    YARN????????????

    • ResourceManager?????????????????
    • NodeManager??????????MapReduce???

    ??HDFS????

    1. ?????????

    HDFS???????????????128MB?????????????????????????????3????????????????

    • ???????hdfs-site.xml???dfs.blocksize??????????
    • ???????????dfs.replication?????????????????????????

    2. ?????????

    • ??????????????HDFS??????????????????????
    • ????????????????????????????
    • ??????????????????????????

    3. HDFS??

    HDFS????NameNode?DataNode?Secondary NameNode?

    • NameNode??????????????????
    • DataNode????????????????????
    • Secondary NameNode???NameNode??????????????????????

    4. ?????

    • ?????????????????????
    • ?????????Unix???????????????

    ??HDFS????

    HDFS?????????hadoop fs?hdfs dfs?????????????????????????????????

    • ?????
      hdfs dfs -mkdir /path
    • ?????
      hdfs dfs -put local_file hdfs_path
    • ?????
      hdfs dfs -get hdfs_path local_file
    • ?????
      hdfs dfs -rm hdfs_path

    ??HDFS????

    HDFS?????????????????????????????????????????????????

    • ????????????????99.9%?????????????
    • ????????????????????hdfs dfsadmin -safemode enter | leave | get | wait?

    ??Java API??

    1. ????

    • Windows?????Hadoop??????????????????
    • Mac??????????????Hadoop???

    2. ?????????

    ??Maven???????Hadoop?????

    org.apache.hadoop
    hadoop-client
    ${hadoop.version}

    3. Java API????

    @Testpublic void createDirectory() throws IOException {    Configuration configuration = new Configuration();    configuration.set("fs.defaultFS", "hdfs://node01:8020");    FileSystem fileSystem = FileSystem.get(configuration);    Path dirPath = new Path("/kaikeba/dir1");    FsPermission permission = new FsPermission(FsAction.ALL, FsAction.READ, FsAction.WRITE);    fileSystem.mkdirs(dirPath, permission);    fileSystem.close();}

    ?????????

  • ?????HDFS?????????????????????
  • ???????HDFS??????????????????
  • ?????HDFS???????Hive?Spark??????

  • ???????????????HDFS????????????????

    转载地址:http://fg.baihongyu.com/

    你可能感兴趣的文章
    Python+selenium+unittest的GUI自动化框架实现
    查看>>
    python函数定义的基本格式_零基础学python-2.19 定义函数、调用函数与默认参数
    查看>>
    Python+Selenium之数据驱动测试的实现
    查看>>
    python函数定义与使用+返回值简解
    查看>>
    Python+Selenium登录
    查看>>
    Python+Selenium自动化测试项目实战
    查看>>
    Python+Selenium自动化测试项目实战【建议收藏】
    查看>>
    Python+Selenium自动化测试:Page Object模式
    查看>>
    python+selenium进行cnblog的自动化登录测试
    查看>>
    Python+SQL实战:京东用户行为数据分析案例解析(上)
    查看>>
    Python+SQL实战:京东用户行为数据分析案例解析(下)
    查看>>
    Python+统计学 | 探索常用的数据分析统计分布
    查看>>
    python, selenium中用于切换帧的函数
    查看>>
    python函数
    查看>>
    python---5
    查看>>
    python---使用celery分布式系统异步发送短信(云通讯)来验证登录
    查看>>
    python--003--百分号字符串拼接、format
    查看>>
    Python--10、线程
    查看>>
    Python--Redis实战:第四章:数据安全与性能保障:第4节:复制
    查看>>
    python--基本代码规范
    查看>>