dhtcrawler的进程模型经验

  • Post author:
  • Post category:IT
  • Post comments:0评论

距离写dhtcrawler已经有半年时间。半年前就想总结点心得经验,但最后写出来的并没有表达出我特别有感慨的地方。最近又被人问到这方面的经验问题,才静下心来思考整理了下。 我的经验是关于在写一个网络项目时所涉及到的架构(或者说是模型)。 在dhtcrawler中,一个主要的问题是:程序在网络中需要尽可能快尽可能多地收集请求,然后程序需要尽可能快地加工处理这些信息。本质上就这么简单,我觉得很多网络系统面临的都可能是类似的问题。 详细点说,dhtcrawler高峰期每天会收到2000万的DHT协议请…

继续阅读dhtcrawler的进程模型经验

dhtcrawler的进程模型经验

  • Post author:
  • Post category:IT
  • Post comments:0评论

距离写dhtcrawler已经有半年时间。半年前就想总结点心得经验,但最后写出来的并没有表达出我特别有感慨的地方。最近又被人问到这方面的经验问题,才静下心来思考整理了下。 我的经验是关于在写一个网络项目时所涉及到的架构(或者说是模型)。 在dhtcrawler中,一个主要的问题是:程序在网络中需要尽可能快尽可能多地收集请求,然后程序需要尽可能快地加工处理这些信息。本质上就这么简单,我觉得很多网络系统面临的都可能是类似的问题。 详细点说,dhtcrawler高峰期每天会收到2000万的DHT协议请…

继续阅读dhtcrawler的进程模型经验