耗时两天排查问题的小结

  • Post author:
  • Post category:IT
  • Post comments:0评论

最近在线上遇到了一个比较棘手的 ops 问题,我花了两个工作日加上中间的一个晚上时段才最终发现了问题的根源,下面分享下我排查问题的思路以及步骤,先介绍下背景。 三个 IDC,BTC, DG, DL,其中 BTC, DG 是通过光纤直连,内网互通,DL 通过与 BTC 之间建立 OpenVPN tunnel 实现了三个 IDC 内网的打通。这三个 IDC 部分的 VLAN 网段信息分别如下: BTC: 172.18.10.0/24,BTC 这台机器的 OpenVPN client IP 为 172…

继续阅读耗时两天排查问题的小结

耗时两天排查问题的小结

  • Post author:
  • Post category:IT
  • Post comments:0评论

最近在线上遇到了一个比较棘手的 ops 问题,我花了两个工作日加上中间的一个晚上时段才最终发现了问题的根源,下面分享下我排查问题的思路以及步骤,先介绍下背景。 三个 IDC,BTC, DG, DL,其中 BTC, DG 是通过光纤直连,内网互通,DL 通过与 BTC 之间建立 OpenVPN tunnel 实现了三个 IDC 内网的打通。这三个 IDC 部分的 VLAN 网段信息分别如下: BTC: 172.18.10.0/24,BTC 这台机器的 OpenVPN client IP 为 172…

继续阅读耗时两天排查问题的小结

对爬虫的限制

  • Post author:
  • Post category:IT
  • Post comments:0评论

不当家不知道柴米贵 以前用彪悍的服务器用习惯了,还真没有资源窘迫的时候 这个月还早,显然现有资源已经撑不到月底了 先把常用的600多K文件挪到了七牛的云存储上 结果一天就跑了2G的流量,这么算再跑5天就废了 得,偷懒不成,老老实实分析日志 搜索spider,每页50条,竟然有好多好多页的记录: 看来是被各家的爬虫给吃掉了。 解决方法先用robots.txt屏蔽掉国外的蜘蛛: User-Agent: AhrefsBot Disallow: / User-Agent: Ezooms Disallow…

继续阅读对爬虫的限制

对爬虫的限制

  • Post author:
  • Post category:IT
  • Post comments:0评论

不当家不知道柴米贵 以前用彪悍的服务器用习惯了,还真没有资源窘迫的时候 这个月还早,显然现有资源已经撑不到月底了 先把常用的600多K文件挪到了七牛的云存储上 结果一天就跑了2G的流量,这么算再跑5天就废了 得,偷懒不成,老老实实分析日志 搜索spider,每页50条,竟然有好多好多页的记录: 看来是被各家的爬虫给吃掉了。 解决方法先用robots.txt屏蔽掉国外的蜘蛛: User-Agent: AhrefsBot Disallow: / User-Agent: Ezooms Disallow…

继续阅读对爬虫的限制