资源预览内容
第1页 / 共2页
第2页 / 共2页
亲,该文档总共2页全部预览完了,如果喜欢就下载吧!
资源描述
页眉内容Impala隐藏的惊天秘密元数据作为大数据的源泉,有着非常重要的作用。可在 Impala 中却隐藏着一个秘密?和元数据有着颇深的渊源,我们一起来追溯! 一、Impala体系结构(1)每个slave节点运行一个Impala进程,和HDFS勺DataNode进 程同时协作(2)两个其他的进程运行在 master节点,用来支持查询执行1、State Store 进程:为Impala Daemon提供查找服务J并周期性 地检查Impala进程状态2、Catalog进程:把元数据的变更同步到所有 Impala Daemons中 二、Impala如何执行查询(1) Impala daemon查询执行过程客户端(Impala-shell 或 Hue)连接至U Impala daemon,它是 Coordinator 。 Coordinator 从 State Store 请求其他的 Impala daemons并把查询分发给其他的Impala daemons,最后返回结果给 客户端。三、元数据缓存根据Impala的查询功能,我们可以知道在Impala里面存在元数据的 缓存。元数据保存在 Hive的Metastore里面,那么元数据缓存的作 用是什么呢?就是在Impala启动的时候,将元数据缓存到Impaladaemon的节点。当Impala daemon发起元数据变更的时候,比如说 创建表,删除表,或者修改表的定义,这些都是可以缓存下来的。如 果我们去查询表信息的时候,可以从缓存里面找到,直接在节点中进 行查询,所以在每个Impala daemon里面有 metadata cache节点用作 缓存。而当Impala进程改变了元数据,将会提示 catalog服务,Catalog 服务通知所有Impala daemons来更新缓存。四、外部改变和元数据缓存我们上面讲的都是内部的改变,然而很多时候还会有外部的改变, 可 外部的改变对于Impala来说是未知的,比如:(1) Hive、Hcatalog 或 Hue Metadata Manager 改变了元数据(2)数据直接添加到HDFS目录外部的改变将导致Impala元数据缓存变得不可用,我们必须手动的刷新或验证Impala的元数据缓存。当然,这种改变根据改变内容和性质的不同,有不同的方法去更新,比如: #页脚内容
收藏 下载该资源
网站客服QQ:2055934822
金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号