2020-05-06 09:15发布
Flink on k8s相比yarn的优势 1. 更好的资源与网络的隔离性、安全性，更适合多租户 2. 更容易实现与online service的混合部署，提升集群利用率 3. 可以受益K8S丰富的生态系统，例如：ETCD，Prometheus
yarn 其实在使用中还是会出现资源分配过程中没有成功拉起node的情况, 然后例外就是k8s容器化编排的能力使得他支持的场景更多, 类似于离线在线混部, 更好的资源隔离性
flink on yarn 优点：
资源的统一管理和调度。Yarn 集群中所有节点的资源(内存、CPU、磁盘、网络等)被抽象为 Container。计算框架需要资源进行运算任务时需要向 Resource Manager 申请 Container，Yarn 按照特定的策略对资源进行调度和进行 Container 的分配。Yarn 模式能通过多种任务调度策略来利用提高集群资源利用率。例如 FIFO Scheduler、Capacity Scheduler、Fair Scheduler，并能设置任务优先级。
资源隔离。Yarn 使用了轻量级资源隔离机制 Cgroups 进行资源隔离以避免相互干扰，一旦 Container 使用的资源量超过事先定义的上限值，就将其杀死。
自动 failover 处理。例如 Yarn NodeManager 监控、Yarn ApplicationManager 异常恢复。
kubernetes 是目前非常流行的容器编排系统，在其之上可以运行 web 服务、大数据处理等各类应用。这些应用被打包在非常轻量的容器中，我们通过声明的方式来告知 kubernetes 要如何部署和扩容这些程序，并对外提供服务。flink on kubernetes 可以得到一个健壮和高可扩的数据处理应用，并且能够更安全的和其他服务共享一个 kubernetes 集群。
首先是以一个 Kubernetes 非内核开发人员的角度去探讨其和 YARN 之间的关系。众所周知，Apache Hadoop YARN 可能是在国内用途最广的一个调度系统，主要原因在于 Hadoop HDFS 在国内或者是在整个大数据业界，是一个使用最广泛的存储系统。因此，基于其上的 YARN 也自然而然成为了一个广为使用的一个调度系统，包括早期的 Hadoop MapReduce。随着 YARN 2.0 之后 Framework 的开放，Spark on YARN 以及 Flink on YARN 也可以在 YARN 上进行调度。
当然 YARN 本身也存在一定的局限性。
如资源隔离，因为 YARN 是以 Java 为基础开发的，所以它很多资源方面的隔离有一些受限。
另外对 GPU 支持不够，当然现在的 YARN 3.0 已经对 GPU 的调度和管理有一定支持，但之前版本对 GPU 支持不是很好。
所以在 Apache 基金会之外，CNCF 基金会基于 Native Cloud 调度的 Kubernetes 出现了。
从开发人员角度来看，我认为 Kubernetes 是更像一个操作系统，可以做非常多的事情。当然这也意味着 Kubernetes 更复杂、学习曲线比较陡峭，你需要理解很多定义和概念。相比之下，YARN 主要管理资源调度部分，对整个操作系统而言，它体量要小很多。当然，不可置否，它也是一个大数据生态的先驱。
Statement的execute(String query)方法用来执行任意的SQL查询，如果查询的结果是一个ResultSet，这个方法就返回true。如果结果不是ResultSet，比如insert或者update查询，它就会返回false。我们可以通过它的getResultSet方法来获取ResultSet，或者通过getUpda...
忙的时候项目期肯定要加班 但是每天加班应该还不至于
虽然Java人才越来越多，但是人才缺口也是很大的，我国对JAVA工程师的需求是所有软件工程师当中需求大的，达到全部需求量的60%-70%，所以Java市场在短时间内不可能饱和。其次，Java市场不断变化，人才需求也会不断增加。马云说过，未来的制造业要的不是石油，...
工信部证书含金量较高。工信部是国务院的下属结构，具有发放资质、证书的资格。其所发放的证书具有较强的权威性，在全国范围内收到认可，含金量通常都比较高。 工信部证书，其含义也就是工信部颁发并承认的某项技能证书，是具有法律效力的，并且是国家认可的...
学Java好不好找工作？看学完Java后能做些什么吧。一、大数据技术Hadoop以及其他大数据处理技术都是用Java或者其他，例如Apache的基于Java 的 HBase和Accumulo以及ElasticSearchas。但是Java在此领域并未占太大空间，但只要Hadoop和ElasticSearchas能够成长壮...
就是java的基础知识啊，比如Java 集合框架；Java 多线程；线程的五种状态；Java 虚拟机；MySQL （InnoDB）；Spring 相关；计算机网络；MQ 消息队列诸如此类
#{}和${}这两个语法是为了动态传递参数而存在的，是Mybatis实现动态SQL的基础，总体上他们的作用是一致的（为了动态传参），但是在编译过程、是否自动加单引号、安全性、使用场景等方面有很多不同，下面详细比较两者间的区别：1.#{} 是 占位符 ：动态解析 ...
没问题的，专科学历也能学习Java开发的，主要看自己感不感兴趣，只要认真学，市面上的培训机构不少都是零基础课程，能跟得上，或是自己先找些资料学习一下。
1、反射对单例模式的破坏采用反射的方式另辟蹊径实例了该类，导致程序中会存在不止一个实例。解决方案其思想就是采用一个全局变量，来标记是否已经实例化过了，如果已经实例化过了，第 二次实例化的时候，抛出异常2、clone()对单例模式的破坏当需要实现单例的...
优点: 一、实例控制 单例模式会阻止其他对象实例化其自己的单例对象的副本，从而确保所有对象都访问唯一实例。 二、灵活性 因为类控制了实例化过程，所以类可以灵活更改实例化过程。 缺点: 一、开销 虽然数量很少，但如果每次对象请求引用时都要...
这个主要是看你数组的长度是多少， 比如之前写过的一个程序有个数组存的是各个客户端的ip地址：string clientIp[4]={XXX, xxx, xxx, xxx};这个时候如果想把hash值对应到上面四个地址的话，就应该对4取余，这个时候p就应该为4...
哈希表的大小 · 关键字的分布情况 · 记录的查找频率 1.直接寻址法：取关键字或关键字的某个线性函数值为散列地址。即H(key)=key或H(key) = a·key + b，其中a和b为常数（这种散列函数叫做自身函数）。...
哈希表的大小取决于一组质数,原因是在hash函数中,你要用这些质数来做模运算(%)。而分析发现,如果不是用质数来做模运算的话,很多生活中的数据分布,会集中在某些点上。所以这里最后采用了质数做模的除数。 因为用质数做了模的除数,自然存储空间的大小也用质数了...
是啊，哈希函数的设计至关重要,好的哈希函数会尽可能地保证计算简单和散列地址分布均匀,但是,我们需要清楚的是,数组是一块连续的固定长度的内存空间
解码查表优化算法，seo优化
1.对对象元素中的关键字(对象中的特有数据),进行哈希算法的运算,并得出一个具体的算法值,这个值 称为哈希值。2.哈希值就是这个元素的位置。3.如果哈希值出现冲突,再次判断这个关键字对应的对象是否相同。如果对象相同,就不存储,因为元素重复。如果对象不同,就...
最多设置5个标签!
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 乖乖隆地洞 的问题《flink on yarn 和 flink on Kubernetes 的优缺点是？》','http://www.shouhuola.com/q-9762.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
Flink on k8s相比yarn的优势 1. 更好的资源与网络的隔离性、安全性，更适合多租户 2. 更容易实现与online service的混合部署，提升集群利用率 3. 可以受益K8S丰富的生态系统，例如：ETCD，Prometheus
yarn 其实在使用中还是会出现资源分配过程中没有成功拉起node的情况, 然后例外就是k8s容器化编排的能力使得他支持的场景更多, 类似于离线在线混部, 更好的资源隔离性
flink on yarn 优点：
资源的统一管理和调度。Yarn 集群中所有节点的资源(内存、CPU、磁盘、网络等)被抽象为 Container。计算框架需要资源进行运算任务时需要向 Resource Manager 申请 Container，Yarn 按照特定的策略对资源进行调度和进行 Container 的分配。Yarn 模式能通过多种任务调度策略来利用提高集群资源利用率。例如 FIFO Scheduler、Capacity Scheduler、Fair Scheduler，并能设置任务优先级。
资源隔离。Yarn 使用了轻量级资源隔离机制 Cgroups 进行资源隔离以避免相互干扰，一旦 Container 使用的资源量超过事先定义的上限值，就将其杀死。
自动 failover 处理。例如 Yarn NodeManager 监控、Yarn ApplicationManager 异常恢复。
kubernetes 是目前非常流行的容器编排系统，在其之上可以运行 web 服务、大数据处理等各类应用。这些应用被打包在非常轻量的容器中，我们通过声明的方式来告知 kubernetes 要如何部署和扩容这些程序，并对外提供服务。flink on kubernetes 可以得到一个健壮和高可扩的数据处理应用，并且能够更安全的和其他服务共享一个 kubernetes 集群。
首先是以一个 Kubernetes 非内核开发人员的角度去探讨其和 YARN 之间的关系。众所周知，Apache Hadoop YARN 可能是在国内用途最广的一个调度系统，主要原因在于 Hadoop HDFS 在国内或者是在整个大数据业界，是一个使用最广泛的存储系统。因此，基于其上的 YARN 也自然而然成为了一个广为使用的一个调度系统，包括早期的 Hadoop MapReduce。随着 YARN 2.0 之后 Framework 的开放，Spark on YARN 以及 Flink on YARN 也可以在 YARN 上进行调度。
当然 YARN 本身也存在一定的局限性。
如资源隔离，因为 YARN 是以 Java 为基础开发的，所以它很多资源方面的隔离有一些受限。
另外对 GPU 支持不够，当然现在的 YARN 3.0 已经对 GPU 的调度和管理有一定支持，但之前版本对 GPU 支持不是很好。
所以在 Apache 基金会之外，CNCF 基金会基于 Native Cloud 调度的 Kubernetes 出现了。
从开发人员角度来看，我认为 Kubernetes 是更像一个操作系统，可以做非常多的事情。当然这也意味着 Kubernetes 更复杂、学习曲线比较陡峭，你需要理解很多定义和概念。相比之下，YARN 主要管理资源调度部分，对整个操作系统而言，它体量要小很多。当然，不可置否，它也是一个大数据生态的先驱。
相关问题推荐
Statement的execute(String query)方法用来执行任意的SQL查询，如果查询的结果是一个ResultSet，这个方法就返回true。如果结果不是ResultSet，比如insert或者update查询，它就会返回false。我们可以通过它的getResultSet方法来获取ResultSet，或者通过getUpda...
忙的时候项目期肯定要加班 但是每天加班应该还不至于
虽然Java人才越来越多，但是人才缺口也是很大的，我国对JAVA工程师的需求是所有软件工程师当中需求大的，达到全部需求量的60%-70%，所以Java市场在短时间内不可能饱和。其次，Java市场不断变化，人才需求也会不断增加。马云说过，未来的制造业要的不是石油，...
工信部证书含金量较高。工信部是国务院的下属结构，具有发放资质、证书的资格。其所发放的证书具有较强的权威性，在全国范围内收到认可，含金量通常都比较高。 工信部证书，其含义也就是工信部颁发并承认的某项技能证书，是具有法律效力的，并且是国家认可的...
学Java好不好找工作？看学完Java后能做些什么吧。一、大数据技术Hadoop以及其他大数据处理技术都是用Java或者其他，例如Apache的基于Java 的 HBase和Accumulo以及ElasticSearchas。但是Java在此领域并未占太大空间，但只要Hadoop和ElasticSearchas能够成长壮...
就是java的基础知识啊，比如Java 集合框架；Java 多线程；线程的五种状态；Java 虚拟机；MySQL （InnoDB）；Spring 相关；计算机网络；MQ 消息队列诸如此类
#{}和${}这两个语法是为了动态传递参数而存在的，是Mybatis实现动态SQL的基础，总体上他们的作用是一致的（为了动态传参），但是在编译过程、是否自动加单引号、安全性、使用场景等方面有很多不同，下面详细比较两者间的区别：1.#{} 是 占位符 ：动态解析 ...
没问题的，专科学历也能学习Java开发的，主要看自己感不感兴趣，只要认真学，市面上的培训机构不少都是零基础课程，能跟得上，或是自己先找些资料学习一下。
1、反射对单例模式的破坏采用反射的方式另辟蹊径实例了该类，导致程序中会存在不止一个实例。解决方案其思想就是采用一个全局变量，来标记是否已经实例化过了，如果已经实例化过了，第 二次实例化的时候，抛出异常2、clone()对单例模式的破坏当需要实现单例的...
优点: 一、实例控制 单例模式会阻止其他对象实例化其自己的单例对象的副本，从而确保所有对象都访问唯一实例。 二、灵活性 因为类控制了实例化过程，所以类可以灵活更改实例化过程。 缺点: 一、开销 虽然数量很少，但如果每次对象请求引用时都要...
这个主要是看你数组的长度是多少， 比如之前写过的一个程序有个数组存的是各个客户端的ip地址：string clientIp[4]={XXX, xxx, xxx, xxx};这个时候如果想把hash值对应到上面四个地址的话，就应该对4取余，这个时候p就应该为4...
哈希表的大小 · 关键字的分布情况 · 记录的查找频率 1.直接寻址法：取关键字或关键字的某个线性函数值为散列地址。即H(key)=key或H(key) = a·key + b，其中a和b为常数（这种散列函数叫做自身函数）。...
哈希表的大小取决于一组质数,原因是在hash函数中,你要用这些质数来做模运算(%)。而分析发现,如果不是用质数来做模运算的话,很多生活中的数据分布,会集中在某些点上。所以这里最后采用了质数做模的除数。 因为用质数做了模的除数,自然存储空间的大小也用质数了...
是啊，哈希函数的设计至关重要,好的哈希函数会尽可能地保证计算简单和散列地址分布均匀,但是,我们需要清楚的是,数组是一块连续的固定长度的内存空间
解码查表优化算法，seo优化
1.对对象元素中的关键字(对象中的特有数据),进行哈希算法的运算,并得出一个具体的算法值,这个值 称为哈希值。2.哈希值就是这个元素的位置。3.如果哈希值出现冲突,再次判断这个关键字对应的对象是否相同。如果对象相同,就不存储,因为元素重复。如果对象不同,就...