hadoop运行原理

 时间:2024-10-24 06:25:47

1、HDFS自动保存多个副本,移动计算。缺点是小文件存取占用namenode内存,写入只支持追加,不能随机修改。它存储的逻辑空间称为block,文围泠惶底件的权限类似linux。整体架构分三种节点,NN,SNN,DN NN 负责读写操作保存metadata(Ownership Permission blockin/p> SNN 负责辅助NN合并fsimage和edits,减少nn启动时间 DN 负责存数据,每个数据(文件)分割成若干block,每个block默认3个副本。启动后像NN发送心跳保持联系 NN保存的metadata在hdfs启动后加载到计算机内存,除block位置信息的metadata保存在OS文件系统中的fsimage文件中,对metadata的操作日志保存在OS文件系统中的edits文件中。block位置信息是hdfs启动后由DN上报NN再加载到内存的。 HDFS的安全模式:直到NN完全加载完metadata之前的这段时间。期间不能写入文件,DN检查各个block完整性,并修复。

hadoop运行原理
  • pytorch如何对两张图片进行预测?
  • win 10 系统下如何调出命令行
  • 在文件资源管理器电脑属性查看主路由器的IP地址
  • Android Studio如何开启循环滚动列表
  • mysql的ODBC驱动如何下载及安装
  • 热门搜索
    怎么创建微信群 105000大写怎么写 ps怎么画虚线 甲沟炎怎么治除根 我的世界活塞怎么用 青豆怎么做好吃 vpn怎么设置 圣安地列斯怎么招小弟 淘宝怎么开网店 月经不调怎么调理