尝试spark

  • Post author:
  • Post category:IT
  • Post comments:0评论

某个线上服务,访问量每天N亿, output种类异常丰富,依赖内部服务众多,出现问题的概率相对较大,故搞了某准实时分析系统,  用于分析性能和定(bu)位(bei)问(hei)题(guo)。 作为最接近DSL的优秀的prototype language, 我们开始是用PHP写了个多进程模型来跑, kafka传输数据,每分钟计算一次做归并, 速度基本可以满足需求。 跟广告算法团队沟通后, 某同学用scala重写了一遍,之后决定尝试下spark,然后悲催的发现在公司集群上的速度居然没有单机spark…

继续阅读尝试spark

LeetCode题目解答——155~226题

  • Post author:
  • Post category:IT
  • Post comments:0评论

LeetCode上面的题目更新很快,而且题目是越来越不好做了。我把最新的155到226题目的思考和解答过程放在下面,解法有好有坏,有问题我们可以讨论。老规矩,有一些题目是要买一个特定的电子书才可以在线做题的,我就跳过去了。 # Title Acceptance Difficulty 226 Invert Binary Tree 37.6% Easy 225 Implement Stack using Queues 30.0% Medium 224 Basic Calculator 16.1% M…

继续阅读LeetCode题目解答——155~226题

从CPT到CPS

  • Post author:
  • Post category:IT
  • Post comments:0评论

一 CP*是一种广告的计价方式。 从媒体这个立场出发,按照他们钟爱度从高到低的排名,大致是:CPT(按时间)、CPM(按覆盖)、CPC(按点击)、CPA(按行为)、CPS(按销量)。 从广告主这个立场出发,正好倒过来。 这不奇怪,因为越往后,越符合广告主的企图:按效果付费。 但打媒体建立了广告商业模式之后,在非常长一段时间,广告的计价方式是:CPT、CPM。 二 原因有两个。 其一,CPC/A/S,在没有互联网的时候,这个是难以想象的。纸媒上倒是有人尝试过,那就是戴尔。戴尔的广告会有一个特定的促…

继续阅读从CPT到CPS

利用 CDN 解决百度爬虫被 Github 拒绝的问题

  • Post author:
  • Post category:IT
  • Post comments:0评论

百度爬虫被 Github 拒绝 前两天在知乎看到一个问题:如何解决百度爬虫无法爬取搭建在Github上的个人博客的问题? 我一看,这不是和我的情况一模一样吗? 我赶紧上去看了看我网站的统计信息: 是的,从4月份开始,百度来源跌停了… 这位博主联系了 Github 的支持部门(传送门),对方的答复是百度爬虫爬得太猛烈,所以就禁掉了。 但是从我平时的统计信息来看,Google 的爬虫效率高,也更勤快,怎么不把 Google 禁掉了? 其实那段时间还发生了这样一件事情:百度统计js被劫持用来DDOS …

继续阅读利用 CDN 解决百度爬虫被 Github 拒绝的问题

iOS流式布局UI框架CocoaUI开源

  • Post author:
  • Post category:IT
  • Post comments:0评论

CocoaUI 是一个强大的 iOS UI 框架, 使用 Web 开发者熟悉的 HTML+CSS 流式布局方式, 轻松地开发 iOS 原生 App 的界面. CocoaUI 的特性主要包括: 高效的原生界面, 非低效的 WebView 控件方式 自适应(Adaptive)动态流式布局, 轻松适配多种屏幕尺寸 采用简洁高效的 HTML+CSS 语法定义布局(Layout)和展现(Appearance) CocoaUI 的界面控件布局方式是流式布局方式, 这种界面布局算法已经在 Web 领域得到验证…

继续阅读iOS流式布局UI框架CocoaUI开源

从全文转载这个事儿说起

  • Post author:
  • Post category:IT
  • Post comments:0评论

一 我对我自己的文字,被全文转载其实不是很介意。 当然,有个前提,你不能抹杀我是这篇文章作者的事实。不标明文章由我魏武挥所写,这个不叫转载,叫抄袭。 抄袭要痛打之。 但话说回来,我对全文转载虽然不介意,可其实是有些看不太起的。 鄙视的地方在于:我认为,搞全文转载的,骨子里是木有“互联网精神”的。 二 超链接是一个伟大的发明。 有了超链接,理论上而言,所有的文本在信息世界中,只需要一份。 当然,这是理论上而言。实际操作,全然不是那么回事。 比如说,门户。 门户喜欢把别地儿的文本全部放在自家网站上。…

继续阅读从全文转载这个事儿说起

换组

  • Post author:
  • Post category:IT
  • Post comments:0评论

最近在忙于公司内部换组的事情,在亚马逊等等很多公司都有这样的政策文化,就是,如果你在这一个组工作一年以后,并且绩效不太差的话,都可以自己去寻找觉得喜欢的团队加入。我在当前的这个大组干了两年多了,经历了一些成败和风波,我觉得是时候离开去寻找一个更合我胃口的团队了,增加阅历和体验,当然,也肯定是新的挑战。在思考自己的职业未来的时候,其实是有不少选项的。大约是最近这一年,我越来越感觉到,在Amazon工作,那么多内容里面,最有价值的大概是数据,我寻找的下一站,也是想多参与和大数据更紧密的工作。如果说以…

继续阅读换组

你会翻转二叉树吗?--谈程序员的招聘

  • Post author:
  • Post category:IT
  • Post comments:0评论

事件回放 2015 年 6 月 10 日,Homebrew 的作者@Max Howell在 twitter 上发表了如下一内容: Google: 90% of our engineers use the software you wrote (Homebrew), but you can’t invert a binary tree on a whiteboard so fuck off. 事情大概是说,Max Howell 去 Google 面试,面试官说:虽然在 Google 有 90% 的…

继续阅读你会翻转二叉树吗?--谈程序员的招聘