数据分析工具篇——Spark计算因素
发布时间：2021-06-04 11:47:08 所属栏目：大数据 来源：互联网
导读：Hadoop的MR结构和YARN结构是大数据时代的第一代产品，满足了大家在离线计算上的需求，但是针对实时运算却存在不足，为满足这一需求，后来的大佬研发了spark计算方法，大大的提高了运算效率。 Spark的计算原理 spark的结构为： 节点介绍： Cluster Manager：
|
Hadoop的MR结构和YARN结构是大数据时代的第一代产品，满足了大家在离线计算上的需求，但是针对实时运算却存在不足，为满足这一需求，后来的大佬研发了spark计算方法，大大的提高了运算效率。
Spark的计算原理
spark的结构为：
节点介绍：
Cluster Manager：在standalone模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器负责分配资源，有点像YARN中ResourceManager那个角色，大管家握有所有的干活的资源，属于乙方的总包。
WorkerNode：可以干活的节点，听大管家ClusterManager差遣，是真正有资源干活的主。从节点，负责控制计算节点，启动Executor或者Driver。
Executor：在WorkerNode上起的一个进程，相当于一个包工头，负责准备Task环境和执行。
Task：负责内存和磁盘的使用。Task是施工项目里的每一个具体的任务。
Driver：统管Task的产生与发送给Executor的，运行Application 的main()函数，是甲方的司令员。
SparkContext：与ClusterManager打交道的，负责给钱申请资源的，是甲方的接口人。
整个互动流程是这样的：
甲方来了个项目，创建了SparkContext，SparkContext去找ClusterManager申请资源同时给出报价，需要多少CPU和内存等资源。ClusterManager去找WorkerNode并启动Excutor，并介绍Excutor给Driver认识;
Driver根据施工图拆分一批批的Task，将Task送给Executor去执行;
Executor接收到Task后准备Task运行时依赖并执行，并将执行结果返回给Driver;
Driver会根据返回回来的Task状态不断的指挥下一步工作，直到所有Task执行结束;
运行流程及特点为：
Sparkcontext的作用：一是分发task，申请资源等功能外，更重要的一个功能是将RDD拆分成task，即绘制DAG图。
借用上图我们再来了解一下spark的运算过程：
构建Spark Application的运行环境，启动SparkContext;
SparkContext向资源管理器(可以是Standalone，Mesos，Yarn)申请运行Executor资源，并启动StandaloneExecutorbackend;
Executor向SparkContext申请Task;
SparkContext将应用程序分发给Executor;
SparkContext构建成DAG图，将DAG图分解成Stage、将Taskset发送给Task Scheduler，最后由Task Scheduler将Task发送给Executor运行;
Task在Executor上运行，运行完释放所有资源;
RDD计算案例
 （编辑：阜新站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
