朋友圈转发广告赚佣金靠谱吗 当前位置:首页>朋友圈转发广告赚佣金靠谱吗>正文

朋友圈转发广告赚佣金靠谱吗

发布时间:2019-03-20

原标题:Jenkins Kubernetes Slave 调度效率优化小记

“这没什么,本来我这次来岐州就是准备来拿你问罪,我要问你的罪其实很容易,我只要命你三天之内向汉中送十万石粮食,如果你办不到,我就以延误军机之罪拿你下狱,甚至处斩你,你相信吗?”

支付宝佣金在哪里

“咦,你们身边怎么多了一个人?”孔雀舞望着一头白发,眼眸看起来和武藤游戏一样纯洁的人说道。
不过对于孙艺维提出的要求叶扬还是很乐意的就答应了。不光是为了让孙艺维高兴一下,他自己也要好好的放松一下了,黑暗落幕,就算那黄金罗盘能够带来什么麻烦,那也不见得比乌鲁还麻烦。

“多重影分身术。“漩涡鸣人丢出了苦无,只可惜却被昂用孔雀妙法挡住,只能使用自己的招牌忍术。

Jenkins K8S Slave 调度效率优化

by yue994488@126.com


使用kubernetes为测试工具Gatling进行大规模压测,压测期间发现Jenkins调度压测实例较慢,单批几百实例需要十分钟左右也不能保证完整调度。

结合Jenkins Master源码 和Jenkins Kubernetes插件源码,对调度进行了细节的优化。调优过程中目标实例个数都设为300,调优后可以大体上允许一分钟内从Jenkins Master调度完毕。如果目标实例个数线性增加,调度的时间也不会有明显变化。
经过调优后,目前生成动态Jenkins Slave主要的耗时瓶颈是在Jenkins Master的任务队列的填充上,目前可能已经将消费者端监听队列并且计算期待实例个数的算法调整到了最aggressive的策略,但是生产者喂Queue的效率低下导致消费者出于饥饿状态。

继续对Queue生产者端进行调优,应该需要修改Jenkins Master的源码并且会对正常的构建任务进Queue产生未知影响,可能短期不会考虑。

如果要对Jenkins Master进行调优,可以从以下几点着手:

  1. Jenkins的Master核心是由一系列定时任务组织起来的,目前瓶颈是在Jenkins Master的Queue生产者端,主要是调度任务在多级的Queue里面状态迁移,这个做Queue内Job状态迁移核心任务的执行间隔在Jenkins源码里面是hardcode为5秒钟,所以最坏情况下一个任务需要等待5s,才会在Queue内变化一次状态,即使发生了状态变化,没有进入Pending状态的Job也不会被算进NodeProvisioner的期待Slave列表中。那么我们可以修改这里的间隔来加速调度。
  2. Jenkins的Slave生成的任务是由一个Jenkins各组件共享的线程池来执行的,这个线程池使用的是java.util.concurrent.ExecutorService的newCachedThreadPool,池内用容量为0的java.util.concurrent.SynchronousQueue来维系生产者消费者的关系,之所以用这个线程池是为了让生产者进程当没有分配到线程时阻塞在submit方法。但是由于这种线程池对突来的大量任务会做缓冲导致一些任务没有办法立即调度,优化可以使用一个预声明线程充足的有界队列替换掉当前线程池

Jenkins Master和Kubernetes插件之间的关系的是什么?

大体上,Kubernetes插件只是实现了Jenkins Master里Cloud类的provision接口和ComputerLauncher的launch接口,provision接口是Jenkins Master想要生成一个Slave的时候调用的,那么Kubernetes插件只奉命做事和Kubernetes APIserver通信按照Pod Template创建一个用作Slave的Pod进行工作,launch接口是用来让Jenkins Master的启动一个Slave的,但是由于Kubernetes里面容器实例的创建是异步的过程,所以插件里launch只是在做轮询Pod状态来等待Pod创建完毕结束launch的过程。Kubernetes的Scale效率远大于目前压测实例的创建效率,所以我们定位瓶颈也是从Jenkins Master和Kubernetes插件上开始。


Jenkins Master参数优化

快照间隔/调度间隔参数

按从消费者到生产者的顺序进行分析,首先我们把Jenkins Master计算集群负载的快照间隔(hudson.model.LoadStatistics.clock)从10秒缩短到了2秒,btw,Jenkins Master防守式地用时间戳快照间隔最小限定到了1秒,但是为了可能更快的进行调度。我们并且且将进行provision的间隔(hudson.slaves.NodeProvisioner.recurrencePeriod)从6秒缩短到了2秒,这里参数比较危险的是当provision间隔小于快照间隔,可能导致短时间内无限创建slave的bug。

冷启动初次调度等待参数

Jenkins服务启动后的第一次provision是由参数hudson.slaves.NodeProvisioner.initialDelay决定的,这个参数是为了确保让静态的Jenkins Slave和Master建立起来连接,由于我们使用的Kubernetes插件其实并不存在双向的通信,所以我们把初始的调度delay从100秒缩小到了20秒。

快照存储EMA(Exponential Moving Average)变化参数

hudson.model.LoadStatistics.decay用于EMA抑制负载的抖动,这个参数原本的意义是用于抑制评估master负载的抖动,并且允许给使用者人肉反应时间来终止一些畸形的Job。默认decay是0.9。比如上一次快照负载为1,那么下次入队列的快照评分就会是**_1 + (1-0.9)*当前负载_**,我们把快照decay设成了0.1,允许负载大幅度变化。从而每次provision的时候,Jenkins Master评估的负载就是在当前尽可能真实的负载之上评估的新实例个数。这个也是主要提升调度性能的参数之一。

EMA Threshold对浮点型负载进行整数对齐的参数
hudson.slaves.NodeProvisioner.MARGIN_DECAY
hudson.slaves.NodeProvisioner.MARGIN
hudson.slaves.NodeProvisioner.MARGIN0

如上图所示,把调整这里的参数使负载做整数对齐的时候尽量向上对齐,从而多provision一个slave,以此来提高效率。

其他

另外发现一处可能的BUG,提交给了社区。

https://github.com/jenkinsci/kubernetes-plugin/pull/248

编辑:开帝开

发布:2019-03-20 00:57:59

当前文章:http://www.aluminumalloyformwork.com/1pfeatku4z.html

好卷怎么赚佣金 巴特币BTM注册实名免费送矿机 美逛app安全吗 淘宝刷单自己垫付 dnf赚金币最快的方法 hm兼职多少钱一小时 打字赚钱的平台 用电脑赚些零花钱

90878 82645 59547 86672 39345 6601031286 43573 63646

责任编辑:乙杜文文