大数据开发之Yarn和Spark UI界面获取的方法

一、Yarn

以获取Yarn界面队列信息为例:

1. 接口(HTTP Request)

http://ip:port/ws/v1/cluster/scheduler

ip和port:Yarn ResourceManager active节点的ip地址和端口号

2. 请求方式

GET

3. Response Header

:
:
: ()

4. Response Body

Yarn web ui显示的队列信息:

请求http://bigdatalearnshare01:8088/ws/v1/cluster/scheduler:

{
    :{
        :{
            :,
            :,
            :,
            :,
            :,
            :{
                :[
                    {
                        :,
                        :,
                        :,
                        :,
                        :,
                        :,
                        :,
                        :,
                        :,
                        :,
                        :{:,:},
                        :,
                        :[],
                        :,
                        :,
                        :,
                        :{
                            :[
                                {:,:,:,:,
                                 :,:,
                                 :,:}
                            ]
                        },
                        :{
                            :[
                                {
                                    :,
                                    :{:,:},
                                    :{:,:},
                                    :{:,:},
                                    :{:,:},
                                    :{:,:}
                                }
                            ]
                        },
                        :,
                        :,
                        :,
                        :,
                        :,
                        :,
                        :{
                            :[
                                {
                                    :,
                                    :{
                                        :,
                                        :
                                    },
                                    :,
                                    :,
                                    :{
                                        :,
                                        :
                                    },
                                    :{
                                        :,
                                        :
                                    },
.
.

二、Spark UI

以获取Spark UI界面executors指标信息为例:

以bigdatalearnshare01:8088的Yarn上的Spark应用大数据培训实例为例,对应的Spark UI界面Executors主要信息如下:

Spark提供了很多接口去获取这些信息,比如:

(0)

相关推荐

  • 大数据平台任务监控

    写在前面 监控的概念 监控是收集和分析数据以确定业务应用程序的性能,运行状况和可用性及其依赖的资源的行为. 有效的监控策略可帮助用户了解应用程序组件的详细进程,还可以通过主动通知关键问题来避免错误发生 ...

  • 安装Yarn

    表白:黑白圣堂血天使,天剑鬼刀阿修罗.  讲解对象:/安装Yarn 作者:融水公子 rsgz chocolatey教程 chocolatey教程 http://www.rsgz.top/post/34 ...

  • GitHub代码一键转VS Code,太好用了!

    作为程序员常用的代码编辑器之一,VS Code 是一个可在所有平台上使用的开源.可扩展和轻量级的编辑器.这些品质使其大受欢迎,并成为 Python 开发的绝佳平台. 那么,有没有可能提供 GitHub ...

  • 大数据开发之Spark SQL/Hive实用函数分享

    字符串函数 1. concat 对字符串进行拼接:concat(str1, str2, ..., strN) ,参数:str1.str2...是要进行拼接的字符串. , (, ); 2. concat ...

  • 大数据开发之Spark入门

    什么是Spark? ·大数据的电花火石. ·Spark类似于MapReduce的低延迟的交互式计算框架. ·Spark是UC Berkeley AMPLab开发的是一种计算框架,分布式资源工作交由集群 ...

  • 大数据开发之Spark 基础入门学习

    集群相关 Cluster Manager指的是在集群上获取资源的外部服务,为每个spark application在集群中调度和分配资源的组件,目前有三种类型: Standalone:Spark 原生 ...

  • 大数据开发之HDFS分布式文件存储系统详解

    HDFS(Hadoop Distributed File System)分布式文件存储系统,主要为各类分布式计算框架如Spark.MapReduce等提供海量数据存储服务,同时HBase.Hive底层 ...

  • 大数据开发之Hadoop集群安装教程

    配置文件的修改 注意:以下所有操作都在node01主机进行. 1.1 hadoop-env.sh 1.介绍 文件中设置的是Hadoop运行时需要的环境变量.JAVA_HOME是必须设置的,即使我们当前 ...

  • 大数据开发之HDFS的API操作过程

    创建maven工程并导入jar包 <repositories> <repository> <id>cloudera</id> <url>ht ...

  • 大数据开发之Hadoop生态6 大核心组件

    Hadoop 第一代分布式存储计算框架 Hadoop是一个分布式系统基础架构,由Apache基金会开发,它允许用户在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力高速运算和存储.Ha ...

  • 大数据开发之Hive应用分析

    Hive架构 1.用户接口:Client CLI(hive shell) JDBC(java访问hive) WEBUI(浏览器访问hive) 2.元数据(Metastore)-数据库 元数据包括:表名 ...

  • 大数据开发之Hive解析Json数组

    在Hive中会有很多数据是用Json格式来存储的,如开发人员对APP上的页面进行埋点时,会将多个字段存放在一个json数组中,因此数据平大数据培训台调用数据时,要对埋点数据进行解析.接下来就聊聊Hiv ...