专利名称：一种资源不均衡Spark环境下的任务调度优化方法专利类型：发明专利
发明人：胡亚红,盛夏,毛家发,吴寅超,邱圆圆申请号：CN201910669809.6申请日：20190724公开号：CN110413389A公开日：20191105
摘要：本发明涉及一种资源不均衡Spark环境下的任务调度优化方法，本发明对Spark的底层调度算法进行优化，提出了基于节点优先级的Spark动态自适应调度算法(Spark Dynamic AdaptiveScheduling Algorithm，SDASA)。SDASA使用节点的优先级表示其计算能力，并在任务运行过程中实时进行优先级的更新，充分了考虑节点的异构性、资源利用和负载等情况。实验证明SDASA能够提高Spark系统的运行效率，缩短作业执行时间。当执行不同数据量的同种任务时，使用SDASA算法集群性能平均提升6.99％；当执行不同种任务时，使用SDASA算法集群性能平均提升6.32％。
申请人：浙江工业大学
地址：310014 浙江省杭州市下城区潮王路18号
国籍：CN
代理机构：杭州之江专利事务所(普通合伙)
代理人：张慧英
更多信息请下载全文后查看
因篇幅问题不能全部显示，请点此查看更多更全内容