【CLS数据淘金第四期】网络流日志-云联网日志分析

导语

云联网（Cloud Connect Network，CCN）云联网覆盖全球 20+ 地域，提供云上私有网络间（VPC）、VPC 与本地数据中心间（IDC）内网互联的服务，具备全网多点互联、路由自学习、链路选优及故障快速收敛等能力。

用户可使用日志服务（Cloud Log Service，CLS）更快速便捷地采集云联网流日志，并通过 CLS 提供的检索分析、仪表盘、告警等功能发现与定位云联网问题，支撑业务服务。

云联网流日志分析场景

（一）预警业务问题

小秦是某在线教育产品的运维人员。在线教育师生遍布多地域，VPC 众多，要求直播平台搭建覆盖多地域的高质量互联，保证在跨地域传输视频和语音清晰、无延迟。

在这种情况下，云联网服务成为了不二选择。

使用云联网后，远隔两地的的老师和同学，终于可以无延迟地沟通了。但是在课程高峰期，因为带宽限制，还是会有部分同学出现卡顿。为了保证服务质量，需要在流量激增时及时发现并扩大带宽。

为此，小秦通过 CLS 日志服务对云联网流日志进行监控告警。监控被拒绝流量的占比情况。

如图所示，每隔 5 分钟，查询近 5 分钟内被拒绝流量的占比情况。当占比大于 1% 时，触发告警。语句如下：

log-status:OK | select round(sum(case when action = 'REJECT' then 1.00 else 0.00 end) / cast(count(*) as double) * 100,2) as "reject占比(%)"

（二）定位并解决业务问题

转眼又是一个开学季，这天小秦的手机、邮箱，相继收到云联网被拒绝流量的占比告警通知。

小秦打开 CLS 的 CCN 流日志_高级分析仪表盘，在顶部过滤出流量类型为 REJECT（被拒绝）的流日志。

然后查看被拒绝流量的线路分布，发现集中在 ap-guangzhou 与 ap-shanghai 两个地域间。

分析语句如下：

log-status:OK | select concat(concat('srcRegion : ',srcregionid, ' , dstRegion : '), dstregionid) as region, sum(bytes) as bytes group by region order by bytes desc limit 20

小秦再查看被拒绝流量的源目 IP 分布，IP 对占比分布状况均匀，排除了个别 IP 恶意挤占带宽的情况。

分析语句如下：

log-status:OK | select sum(bytes) as total, concat(concat('srcIP : ',srcaddr, ' , dstIP : '), dstaddr) as region_ip group by region_ip order by total desc limit 20

接下来小秦又查看了被拒绝流量的协议与端口分布，协议与端口占比没有集中在某一类上，排除因协议与端口原因导致被拒的情况。

分析语句如下：

log-status:OK | select sum(bytes) as bytes,concat(concat(concat(cast(protocol as varchar),' srcport:'),srcport,' dstport:'),dstport) as protocol group by protocol limit 10

最后，小秦认为，此次被拒绝流量占比增加，是该线路正常使用的用户激增导致的，需要进行带宽的扩容。

于是小秦查看了该线路的带宽趋势。发现 ap-guangzhou TO ap-shanghai 线路与 ap-shanghai TO ap-guangzhou 线路当前峰值都在 7Gb/s 左右。

分析语句如下：

log-status:OK | select histogram(cast(__TIMESTAMP__ as timestamp), interval 1 MINUTE) as time, sum(bytes)/60.00*8 as bandwidth, concat(concat('srcRegion : ',srcregionid, ' , dstRegion : '), dstregionid) as region_ip group by time, region_ip limit 10000