天旦正式发布《云网流量采集分析白皮书 2022》
上海2022年6月21日 /美通社/ --?6月20日,天旦《云网流量采集分析白皮书(2022)》正式发布。围绕着云网安全、运维等业务场景,探讨云网流量采集与分析过程中的关键能力、核心技术,通过提供全面的云网流量采集与可视化分析部署方案,助力企业实现多种消费场景下的云网可观测。
据IDC调研发现,未来两年,大多数企业将会选择混合云和多云的方式构建云原生平台。随着企业云上应用场景的不断丰富,云内的东西流量远超预期,如何精准地采集与管理流量是企业面临的共同挑战。为此,Gartner提出,企业的IT决策者应该重新考虑流量采集与分析的方法,通过提供混合云环境所需要的可视化水平,实现未来的性能监控与管理。
天旦认为云网流量可观测性分析是破解云原生、混合云环境性能监控与管理的有效手段之一。运用高性能、全场景、对应用无侵入的流量采集与处理技术,可以构建多环境、多架构下的云网流量可视化,最终实现全方位的云网可观测。尽管流量采集与管理的方式多种多样,但是,采用何种技术手段减少对云上业务的影响、满足企业云上安全体系与运维管理体系建设的需求、进而实现云网流量可观测困难重重。
为帮助企业解决以上难题,天旦推出《云网流量采集分析白皮书(2022)》。白皮书共分为六个章节,包括:云时代挑战、云网流量可观测性价值、云网流量采集与可观测性分析架构与技术、部署落地方案、典型场景案例与行业最佳实践案例等,为千行百业的用户上云提供优质解决方案。
以下是白皮书观点分享:
云网流量采集与可观测性分析架构与技术
天旦认为,从流量采集、流量管理到流量分析,多环境/多架构的云网流量可视化构建主要依靠"五大能力"与"六大关键技术"。
?"五大能力"
?"五大能力"主要包括多环境、多能力、云网无感、自管理与分层。
- 多环境:
各类环境支持:支持主流的操作系统、主流的芯片、国内外各主流虚拟化、容器化、云商环境。
分布式微服务支持:支持分布式微服务架构下的各类部署形态、支持各种容器运行。
- 多能力:
采集、过滤、分发、裁切、去重:云网流量可视化,需要支持采集、过滤、分发、裁切、去重等各类关键能力。?
Flow 与扩展 Telemetry 能力:云网流量可视化,需要支持对采集的原始数据包进行预处理,输出?Flow 日志,并具备扩展 Telemetry 日志的支持能力。
染色能力:云网流量可视化,需要支持对采集的原始数据包进行数据包染色,将业务场景、网络场景、安全场景的信息植入数据包。
消费端支持:在云网环境数据包传输过程中,云网流量可视化运用可靠性传输机制保障数据包传输的可靠性。
- 云网无感:通过低开销、高性能、应用无感,云网流量采集实现对业务零风险。
- 自管理:云网流量采集器的自管理主要包括:云管对接、运行状态感知、自监控、熔断、自恢复与可视化。
- 分层:为实现云网可观测,云网流量采集与可视化分析需要做到自动态扩缩与支持动态扩缩。
"六大关键技术"
?云网流量可观测主要运用到"六大关键技术":采集技术、多层处理/vTAP、底层采集技术、国产化环境支持、Flow支持、扩展Telemetry能力。
- 采集技术:主要包括支持场景与支持能力。
支持场景:从应用场景角度,分为公有云与私有云等两大应用场景;从产业技术角度,分为VM虚拟化技术和Container 容器化技术等两大类。
支持能力:首先,流量采集应该覆盖多种不同场景,且在不同场景中采取不同的采集器手段;其次,混合环境分层采集流量后,需要统一的管理平台;再次,云商准入机制应当被纳入到云流量采集平台部署架构中。
- 多层处理/vTAP:天旦认为云流量采集技术通过"云上来、云上去"的思路,进行分层采集、分层处理、分层加工、分层管理,以保证在面对海量被管对象、超大流量的情况下,能够完成更细致、更全面的可观测性建设。
- 底层采集技术:云的底层环境多而复杂,为获得最大化的采集性能和效率,针对不同的环境需要选择最适合的采集技术。
- 国产化环境支持:云网流量采集与可观测性分析需要支持国产化服务器、ARM架构CPU、自研操作系统等。
- Flow支持:天旦认为,基于消费场景的精细?Flow 流统计能力,应用于网络、应用、安全等相关应用场景,能够有效解决价值与云网开销间的选择问题。
- 扩展Telemetry能力:天旦认为,扩展 Telemetry 能力结合 Open Telemetry 能力,可以在大幅缩小云网流量资源消耗的情况下提升可观测性能力。
?部署落地
?企业在部署云网流量采集与可观测性分析时,需要重点考虑部署目标与选择合适的流量采集方案。
?部署目标的"三大层面"
天旦认为部署云网流量可观测性分析方案需要分解为"三大层面":多环境/多架构的云网流量可视化构建、精准采集与管理、构建可观测性能力。
- 多环境/多架构的云网流量可视化构建:云网流量采集与可视化构建必须支持不同架构、环境下的流量采集、分析与管理,从前端到后端,全方位地适配云厂商、开源项目的底层环境。
- 精准采集与管理:云网流量可视化需要支持采集、过滤、分发、裁切、去重等各种能力。同时,实现对云管平台的精准对接,以获取云资源清单,精准采集云流量与网络会话。
- 构建可观测性能力:可观测性能力是混合云、云原生环境下确保应用稳定运行的关键。基于非侵入应用式部署,通过分层设计与分层应用,满足云原生安全能力构建的需求。
流量采集部署:"五大方案"
基于非侵入应用式部署,云网流量采集的常见方案主要包括以下五种:采集器整体部署方案、宿主机流量采集方案、虚拟机流量采集方案、容器环境流量采集方案、vTAP分流,在白皮书中详细介绍了每种部署方案。
典型场景案例
云网流量采集与可观测性分析可以为安全团队、运维团队等带来独特的应用视角。因此,可被应用至安全管理、BPM/APM、NPMD、数据库运维与安全等四大典型场景。
- 安全场景:只有通过可靠的云网流量采集系统,才能够做到对云内业务主机流量的精准、动态提取,进而满足态势感知、等保"2.0"等安全需求。
态势感知:云上态势感知,由于核心工作模块云化,需要深入了解业务内部的安全情况,在其所依赖的下层安全探针/安全引擎中,依赖于云流量的精准分析。
等保"2.0":通过可靠的云网流量采集,对云内业务主机流量的精准、动态提取,是满足云上等保"2.0"的必须。
- BPM/APM:天旦认为,云上应用性能监控需要快速发现用户体验的相关问题并快速定位,将问题缩小和聚焦,再结合APM的底层技术能力对问题进行根因分析。BPM为实现云上可观测提供了全新的解决思路。
- NPMD:与传统环境不同,云上网络监控需要加入AZ、VPC、service等信息,需要增强云上拓扑分析与多层穿透会话级追踪的能力。
云上拓扑分析:随时掌握云网拓扑,就需要云网监控,需要云流量可观测性采集的染色技术支持才能适应云上的动态变化。同时,需要云流量可观测性采集中继层输出流数据,进一步压缩流量,避免云网拥堵。
多层穿透会话级追踪:云上网络分析穿透会话级追踪能力,需要云流量可观测性采集的染色技术进行指纹码染色。
- 数据库运维与安全:云上数据库由于分布库架构的出现,对传统数据库监控提出了新要求。数据库数据节点和接入节点较之前的互访更频繁,也更容易发生问题。通过云流量可观测性采集构建云上分布数据库监控,是一种更好的选择。