艾瑞、易观这些数据商人们的死穴

  • Post author:
  • Post category:IT
  • Post comments:0评论

钛媒体注:眼看这都要放年假了,互联网圈又来事了。钛媒体先梳理了一下整个事件的来龙去脉和各方角色。昨日下午,今日头条创始人兼CEO张一鸣在朋友圈发布言论,炮轰艾瑞统计的数据报告内容失实,并向艾瑞数据发出声明邮件,终止一切合作。

昨日晚间,今日头条在微博发布声明称,艾瑞数据失实并非一朝一夕,艾瑞方面已与今日头条沟通,承认统计方法有问题,可改进。以下为声明全文:

一、艾瑞数据失实,并非一朝一夕。昨天,该公司所发布的移动资讯客户端的数据,与事实相去更远。我们不确定是因为技术,还是因为商业模式或其他原因导致了此种情况。

二、今天中午,本公司CEO张一鸣、合伙人高级副总裁张利东,在微信朋友圈指出艾瑞数据失实。今天下午,我们注意到互联网业界对这个话题的关注,超出了我们的想象。

三、此后,艾瑞方面主动和我司沟通,承认统计方法有问题,可改进。我们也注意到,艾瑞数据系统已更新,并让今日头条的数据修正到相对客观的状态。我们对这种可人工干预、与合作有关的统计方法不予认可。

四、我们认为,一个透明、可观、科学的第三方数据统计生态,是中国互联网生态的一部分。

今日凌晨,艾瑞咨询用公众号预览的方式又发布了一篇称“事件真相”的文章,该文章称,今日头条的友商昨日发布了推广稿,稿件中数据未经艾瑞知晓,用艾瑞数据格式自己独立做出了图表,再一次把此事推向高潮,该文核心观点如下,基本把责任推给了自己的合作伙伴:

1、艾瑞成立13年来,是中国人员规模、收入规模最大的互联网研究公司,客户遍布互联网及多个行业。艾瑞严格秉承第三方底线,内部有严格纪律不收客户黑钱,不在没有事实证明的基础上调整数据。

2、该事件的起因是今日头条的友商昨日发布了推广稿,稿件中数据未经艾瑞知晓,而是从独特数据维度发掘自己优势,并用艾瑞数据格式自己独立做出了图表,这组数据对行业排名认识有一些误导,很快引起了今日头条高层的愤慨,艾瑞也变成了出气孔。

3、艾瑞移动互联网用户监测产品mUserTracker有18个评价指标,某个公司很容易发现自己数据独特优势。艾瑞不允许客户独立利用艾瑞名义发布未经艾瑞许可的数据,但是在中国目前的市场竞争以及企业诚信环境下,这种情况也很难被严格控制。

4、针对互联网用户监测产品的多重复杂指标,艾瑞极少公开发布移动App某个数据维度的排名,从而引起行业的关注与客户的PK,而是更多采用切实的方案,通过全数据量审计合作,来提高艾瑞数据的科学性。虽然艾瑞合作审计互联网知名产品超过200个,但经过长达两年的沟通,今日头条并未接受艾瑞的建议。

5、和今日头条一样,我们同样认为互联网客观的第三方数据是互联网生态的一部分。艾瑞做的是数据处理分析、为行业提供公正信息的工作,我们极其热爱我们的职业。艾瑞300多位同事,一定是建立并维护这个数据生态的最重要的合作伙伴,也欢迎更多的数据研究行业同行一起来共建一个客观、专业的互联网数据生态。

企业对数据公司的抨击,以及企业竞争对手之间关于数据真相的撕避,不是第一次,也不会是最后一次。

无独有偶。前不久,国内较早做 SaaS 客服软件的美洽联合创始人兼 COO 程艳冬也曾在美洽官方公众号中发表声明,抨击易观数据失实,声明称:「源文件级」抄袭美洽的「环信」公司公众号几天前推送了一条易观智库关于国内 SaaS 客服市场的研报,并在媒体大量发送了软文稿件,截图如下: 

程艳冬称自己找来易观智库的报告,看到了环信用来佐证自己所谓「第一」的一页用户覆盖占比分析:

其中下面一行小字这么写着:「数据说明:整理各厂商公开客户资料,选择其中有客服入口的 APP,统计使用其移动端客服产品的 APP 活跃用户数,取各家厂商用户数排名前五的 APP,计算各厂商移动端客服产品用户覆盖占比。」

对于易观智库这个自创的“厂商用户覆盖占比”计算方法,程艳冬产生了疑问:

1 统计学里,统计结果的尽可能准确依赖于采样的科学性,而其中样本的采样覆盖比尤为重要。只统计厂商用户的前五个 APP 真的能客观展现整体的用户群的数量?

2 我也算熟读过国内外各种的 SaaS 报告,一般统计移动端会把「移动网站」与「移动应用」一起进行计算,为何易观智库在这里混淆模糊概念?

3 我咨询美洽团队成员后了解到,从未有易观的工作人员与美洽进行联系,1.7% 的数据从何而来?是否能公开样本?

怀着这些疑问,美洽联系到了易观智库参与制作本报告的工作人员,然而这三个问题都没有满意的答复。甚至还得到了如「你们美洽员工太低调了,我们尝试加你们一个员工的微信,但是他没有接受同意」这样的回答。

程艳冬指责易观称,关于市场占有率,SaaS 行业公认的衡量指标应是「付费用户数占比」,不应是自我意淫一个指标出来,号称自己市场占有率第一。同时,她质疑此报告从获取行业报告,到解读内容,再到决定发个稿件、撰写内容、图文编排、内部审阅、到联系媒体、媒体审稿,直至最终稿件发布,不到几小时完成,效率未免“太高”。

在数据这件事情上,中国的数据机构与企业之间,或者企业与企业之间一直都处于这样的状态:一份报告出炉,某项指标第一、第二、第三之类的排序明确之后,企业要么会质疑数据机构统计数据的方法、结果或者动机,要么质疑竞争对手与数据机构『合作』进而导致数据不公平。

钛媒体作者罗超记得,最令人印象深刻的案例是UC浏览器和QQ浏览器之间的『数据之争』,俞永福某次看到数据之后同样表示震怒,拍桌子指责某数据机构和腾讯,并找一堆媒体去澄清自己才是移动浏览器老大…这两家关于谁是移动浏览器『老大』的争夺,持续了两三年,现在倒还好,大家都不屑于去争了。

类似的争议还发生在搜索、电商、地图、视频、音乐、输入法、应用分发、外卖、电影票、机票诸多业务之中…如果一个领域没有数据之争,只有两种可能:一是这个行业太小了,数据机构报告都不屑于出;二是这个行业差距太大了,你看过谁去跟微信或手Q争社交老大吗?

为什么会这样,以下是钛媒体作者罗超的进一步分析,这就是中国数据公司的四个死穴:

为什么互联网企业这么在乎数据呢?运动员需要裁判。数据证明自己的实力,这会影响到公司融资、股价,会影响到广告主投放决策…就是说,数据事关利益。但一个公司,哪怕是大公司,自己站出来说有多少数据,总会有人来质疑你:每一次阿里巴巴双十一结束后的数据总会有人说里面有多少是刷的,小米每一次公布手机销量之后都会有人说里面有多少水分……这就需要『第三方中立、权威、专业』机构来证言了,所以就诞生了『第三方数据咨询机构』这个商业模式。

但这种若要完全保持独立性的商业模式在中国却步履维艰:

第一,数据机构的结果如何得来的本身不够透明。

说某家公司市场份额这么多,使用时长这么多,是如何得出结论的?如果是抽样调查,样本选择是否科学;如果是自动化工具,覆盖用户是否足够大,原始数据和数据统计过程是否有漏洞…这些都是企业可能会质疑的点,所以数据源来自哪里,如何统计的,方法论,都要足够透明,经得起第四方、第五方的检验才有说服力。

第二,机构要数据与企业商业机密之间的矛盾。 

第三方机构如果想要基于原始数据而不是抽样调研去做报告,就必须想办法拿到数据。但是,这些数据在企业或者少数平台手里,例如Android系统、友盟开发者平台,这些平台也在基于数据做报告或者不做报告,不大可能分享给第三方机构。现在数据机构为了做报告也开发了接口,但企业不一定愿意接入。

在移动互联网时代,数据统计更难了,大家都知道的『信息孤岛效应』,App是一个封闭的体系,它自己最清楚数据情况。如果涉及到交易额之类的机密数据就更难公开了。现在数据机构希望与企业合作去拿到数据,但企业因为自身考量又不一定开放数据出来,这就是矛盾。

一个形象的比喻就是,一个男人被『某机构』发布报告说你性能力不如另一个男人,但这个男人又不大可能或者不愿意证明给大家看,所以最后就只能嘴巴扯皮了……

第三,假如数据开放出来,又有一个『刷数据』问题。

在微信公众账号没有开放『阅读数』的时候,是没有『刷阅读数』这门生意的,现在有了。同样,App Store上有庞大的刷榜生意。如果榜单和数据会影响利益,就会有人去给数据注水。所以就算某数据机构拿到了各个应用的全量数据,这些数据究竟有没有水分,企业究竟有没有给自己的数据注水,又是一个大家要扯皮的事情,而这一点,企业是永远无法自证清白的。

第四、不同机构数据指标口径严重不统一的问题。

在过去一年发生了许多大公司合并案例,并且经常出现合并之后,两家公司市场份额加起来大于100%甚至200%的情况…这是因为之前两家公司可能找了不同的数据机构做报告,并且,这些报告采取了不同口径:有的统计的是渗透率,有的是用户市场份额,有的是活跃用户份额…总之,五花八门的指标让人眼花缭乱。精细化的统计并不是没有必要,但很多时候数据机构是为了给企业做一份能够拿到『第一』的报告而努力设计指标,结果就是,A企业用数学去跟B企业比语文,大家根本就不是在对比同一个指标。『第一』『第二』『第三』已经让企业着魔了……但这也是没有办法的事情,因为市场需要。

有企业不Care数据吗?当然是有的,比如苹果,你去做一份报告说它在智能手机排名最后一位,人家也不Care;再比如微信,它说日活跃是多少,也没多少人会质疑。这些企业没有『数据』的烦恼,处在一个很安逸的状态。但大部分企业都是要努力奋斗,去追逐数据和名次,所以当张一鸣说『以后都不会给数据机构给钱』时,有人说张一鸣何必呢,毕竟今日头条还没到微信这个level——但今日头条自认为到了,张一鸣说『我们自己就是数据公司,我们更清楚行业数据』。

数据机构和企业之间的问题很多是无法解决的,例如『数据注水』问题,再就是企业为何要把数据给到机构审计?

当然,像指标口径统一、统计方法论更透明这类问题,是可以解决的,只是利益攸关,也没那么容易。

我想这个问题最切合实际的,还是要靠数据机构自律,如果只有一家数据机构,行业的选择太少,但如果有许多数据机构,如果你数据总是不靠谱,品牌没了、数据也没人信了,大家会选择去相信有品牌的数据机构。就好像电影评奖,为什么大家信任奥斯卡?因为它有自己的品牌,人们相信它。

钛媒体作者魏武挥还提到了另一个特别核心的“死穴”,那就是中国在数据研究和用户在数据思维上的习惯。“我们喜欢数据,这点不假。但我们喜欢的是作为结论的数据,而不是作为方法的数据,所以,中国商业文明特别难孕育出类似麦肯锡、Gartner这种公司。”

以下就是魏武挥的自述:

08年我在某个网络公司做COO的时候,曾经找来一个survey机构(名字就不说了),做一份博客行业的调研报告。我算是甲方,出钱订制的嘛。不过好歹知道点轻重,说自家在BSP(博客服务托管商)里排名第一,这牛皮吹太大了。怎么办呢?

细分指标啊。

我要求在这份报告里,显示出几个细分指标我们最强。比如说,三高人群中,俺们家的服务最受欢迎;比如说,文章的转载量,俺们家的服务最多;比如说,停留时间,俺们家的最长。

这几个细分指标然后一一截图,写在我们的PPT里,专供忽悠甲方用。现场聆听的甲方经理们信不信不重要,重要的是他们愿意向总监向VP汇报:诺,这公司还行,给他们个案子做做吧。

所以,搞定甲方,私人交情很重要,这类数据也很重要。总是要让他们有个东西可以说服他们的上司。是吧?

什么价格搞定的什么机构?我不会告诉你们的。

Mary Meeker的报告,最早的一份中文版,毫不羞涩地告诉各位,我干的。

后来这位互联网女皇的报告,各门户科技频道都抢时间搞翻译版,我一个人斗不过这些机构化的团队,就放弃了。

我是精读过Mary Meeker的报告的人,坦白讲,看个热闹就好。

为什么呢?

没有方法论。

这话的意思就是:这数据您从哪里得到的?

有两种调研机构。

第一种是商业公司。商业公司的细分行业报告,特别值得怀疑一下,因为他们有商业利益。Mary Meeker其实也有她的商业利益。KPCB可不是什么慈善机构。

第二种是大学。大学的调研报告值不值得怀疑?

太值得了!

一般说来,就是教授领衔,带上一帮学生去做。这些学生怎么做调研的呢?做个网络问卷,以前是微博里求填表,现在是微信里求填表。

这种依附在人际关系上进行传播的问卷,压根没有随机性,就算发了十万张,也不说明问题。缺少随机性的调研报告,是只能当探索性研究的。

一个真正意义上的调研报告,方法论这块是非常重要的。

你要告诉我样本量有多少,样本是怎么取得的,SPSS里是怎么run数据的。

但这些东西很枯燥。

香港有本《传播与社会学刊》,我做过两三回匿名编审,所以每期都会寄我(实体版以及电子版)。实话说一句,看起来真头疼——到底不是搞学术的底子,哈哈哈。

这么枯燥的东西,当然没有传播性。你见过什么SSCI的论文有十万加的访问量么?

一个调研报告的传播量大比例上,取决于它的形式——请记住这句话。

形式有:PPT、静态信息图、交互式信息图(可以用H5来呈现)

形式够炫,就有传播性。至于方法论不方法论,重要吗?

对于传播者来说,不重要。

对于大学教育来说,至少在我的新闻传播学科里,方法论这门课有,但不是特别重要的课。

很多人已经养成习惯:看结论不看方法。

这话往大里说,就是农耕社会造成的。农耕社会是注重结果的。

我们整个商业文明都是注重结果的。

所以,中国商业文明特别难孕育出类似麦肯锡这种公司。

我们喜欢数据,这点不假。但我们喜欢的是作为结论的数据,而不是作为方法的数据。

实情如此。

你怎么看,不妨给钛媒体来留言。

发表回复