完善资料让更多小伙伴认识你，还能领取20积分哦， 立即完善>
3天内不再提示
|
摘要： 今天，日志服务再次升级Kubernetes（k8s）的日志解决方案。1分钟内即可完成整个集群部署，支持动态扩容，提供采集宿主机日志、容器日志、容器stdout等所有数据源的一站式采集。
点此查看原文： http://click.aliyun.com/m/42852/ 背景 众所周知，Docker很火，Docker中Kubernetes（简称k8s）最火。相对物理机、VM，Docker提供了更加简单、轻量、高性价比的部署与运维方法；而k8s在Docker之上，更进一步提供了对管理基础设施的抽象，形成了真正意义上的一站式部署与运维方案。 k8s提供了强有力工作调度、水平扩展、健康监测、维护高可用性等能力，同时提供了网络、文件系统的抽象与管理，所以对于已有应用上k8s或者基于k8s部署应用十分便捷。但这里有一部分令开发和运维人员比较头疼--日志采集。 难点分析 基于VM或者物理机部署的应用，日志采集相关技术都比较完善，有比较健全的Logstash、Fluentd、FileBeats等。但在Docker中，尤其在k8s中，日志采集并没有很好的解决方案，主要原因如下：
基于阿里巴巴多年来容器服务日志采集的经验积累，并结合阿里云Kubernetes内测以来广大用户的反馈与诉求，今天，日志服务为k8s带来真正意义上的一站式日志解决方案。 方案介绍 方案简介 如上图所示，我们只需要在Kubernetes集群中的每个节点上部署一个Logtail的容器，即可实现该节点上宿主机日志、容器日志、容器stdout等所有数据源的一站式采集。我们针对k8s提供了DaemonSet部署模板，1分钟内即可完成整个集群部署，并且后续集群动态伸缩无需对采集做任何二次部署。具体请参见使用方式章节。 日志服务客户端Logtail目前已有百万级部署，每天采集上万应用、数PB的数据，历经多次双11、双12考验。相关技术分享可以参见文章：多租户隔离技术+双十一实战效果，Polling + Inotify 组合下的日志保序采集方案。 依托阿里云日志服务强大的功能，对于采集到的日志数据，我们提供：
采集方案优势 关于日志服务整体的优势这里不再赘述，本文主要探讨日志服务Kubernetes采集方案的相关优势。这里我们主要总结了以下几点： 方案对比 相对Logstash、Fluentd主流日志采集方式，对比如下：
使用方式 部署k8s的日志采集只需分为3个步骤，1分钟内即可完成集群部署（详细帮助文档参见[k8s采集帮助]()），这可能是你见过的最简单的k8s日志采集部署方案：
核心技术简介 自定义标识机器组 日志采集支持k8s弹性伸缩的关键就是Logtail的自定义标识机器组。通常采集Agent远程管理的方案都以IP或者hostname作为标识，此方案在集群规模较小以及环境变化性不强的情况下较为适用，当机器规模扩大、弹性伸缩成为常态时运维成本承指数级升高。 基于集团内数年来的Agent运维经验总结，我们设计了一种灵活性更高、使用更加便捷、耦合度更低的配置&机器管理方式：
以上概念映射到k8s中，可实现各种灵活的配置：
容器自动发现 Logtail和很多软件（Logspout、MetricBeats、Telegraf等）一样内置了容器的自动发现机制。当前开源的容器自动发现均采用一次扫描+事件监听的方式，即：初次运行时获取当前所有的容器信息，后续监听docker engine的事件信息，增量更新信息。 此种方式效率相对最高，但有一定概率遗漏部分信息：
考虑以上问题，Logtail采用了事件监听与定期全量扫描的方式实现容器的自动发现：
容器文件自动渲染 容器日志采集只需要配置容器内的文件路径，并且支持各种采集模式：极简、Nginx模板、正则、分隔符、JSON等。相对传统的绝对路径采集，容器内日志采集动态性极强，为此我们专门实现了一套容器路径的自动匹配与配置渲染方案：
可靠性保证 日志采集中的可靠性保证是非常重要也非常困难的工作。在Logtail的设计中，进程退出、异常终止、程序升级被认为是常态，在这些情况发生时Logtail需尽可能保证数据的可靠性。针对容器数据采集的动态特点，Logtail在之前可靠性保证的基础上，新增了容器标准输出以及容器文件的checkpoint维护机制 容器标准输出checkpoint管理
容器文件checkpoint管理
总结 阿里云日志服务提供的解决方案完美地解决了k8s上日志采集难的问题，从之前需要多个软件、几十个部署流程精简到1款软件、3个操作即可轻松上云，让广大用户真正体验到一个字：爽，从此日志运维人员的生活质量大大提高。 扫码获取更多资讯： 
0
|
||||
|
相关推荐
|
||||
只有小组成员才能发言，加入小组>>
/7 
关注我们的微信
下载发烧友APP
电子发烧友观察
版权所有 © 湖南华秋数字科技有限公司
电子发烧友 （威廉希尔官方网站 图） 湘公网安备 43011202000918 号 电信与信息服务业务经营许可证：合字B2-20210191
工商网监
湘ICP备2023018690号
3251
淘帖
1321
