吆喝：他搭了套测试系统把产品致命BUG危害减至最小

铅笔道 01-13 17:50

分类 :互联网+

阅读:

国内产品的更新升级，大多先线上发布，遇到问题再修改，重新上线，若出现BUG就会损失大量用户。A\/B测试可以解决。比如某APP上线了新功能，通过A\/B测试，可以把新功能只展示给1%、5%的用户。去年，

看上去忠厚老实的王晔，其实相当极客。

文| 铅笔道记者薛婷

►导读：

国内很多产品的更新升级，往往是先线上发布，遇到问题再修改，重新上线，一个没有预料的BUG就会损失大量用户。

有一种灰度上线方法，可避免事故发生，它就是A/B测试。比如某APP上线了新功能，通过A/B测试，可以控制把新功能只展示给1%、5%的用户。即便出现BUG，影响也是小范围。

国内能单独使用A/B测试的互联网企业可能不足10家。去年，王晔从Google回国，他要改变这一现状，将其在Google使用的最先进的A/B测试服务带进中国。

14年9月，王晔获得李丰和蒋涛领投的100万美金天使投资，创办了吆喝科技。王带着团队花了半年时间，搭建了一套通用A/B测试系统，为各类企业提供A/B测试云服务。

今年4月底，王晔的AppAdhoc优化平台测试版低调上线。

注：王晔已确认文中数据真实无误，铅笔道愿与他一起为内容真实性作背书。

生于83年的王晔个头不高，有些婴儿肥的脸上始终挂着微笑。

忠厚的模样让人很难与他极客范儿的工作勾起联系。

王晔与计算机的渊源要追溯到小学。学会编程的他拿了当年安徽省小学生计算机比赛一等奖，奖品是一台386电脑；初中时就写过一个GO语言的解释器，偶尔会被身边人冠以“神童”称号。

14年前，王晔刚进入清华。课余时间，他都在做“黑客”，喜欢钻研操作系统和硬件。曾和师兄陈茂科做了中国最早的IPV6实验床，还动手做扫地机器人、服务残疾人的声控机器人等。那个年代，IPV6、智能机器人实现商业化并非易事，却让王晔爱上了科研，看上去有些枯燥，他一头扎进去就是10几年，自得其乐。

在微软的两个月实习，改变了他的轨迹。“在微软实习了两个月。觉得商业里的很多技术是成熟的，再去做这个不好玩，也不需要我去做，我应该去研究那些未来的东西。”王晔说走上科研路是一场“错误”的幻觉。清华研究生毕业后，王赴美在耶鲁大学读PHD，主攻网络系统研究。

耶鲁的5年学习，让他有幸进入谷歌。王晔凭借发表的一系列论文及在微软研究院申请的“QoS即服务”国际专利，进入Google总部AdWords部门工作。AdWords是Google的创新营收部门，王晔享受到了自由与研究的快乐。

Google是技术为主导的企业文化。比如怎么把社交里的信息加到广告里，怎么把图片加到广告里，怎么把第三方认证加到广告里来提升广告效果和用户体验，都是工程师为主导来实施的。”

在Google两年，王晔开始接触A/B测试系统。“我参与的项目，大概每年为Google带来4亿多美元的营收增长。”这要归功于王所在部门的工作利器——Google的A/B测试系统。

□ A/B测试图解

Google的A/B测试系统主要用于广告和搜索部门。从04年开始研发，07年成型，后期系统改进，他都曾贡献过代码。“Google广告产品的每一个新改动都是要经过严格的在线A/B测试来验证效果，在保护用户的搜索体验的同时提高广告的转化营收。”

王的同事，原来不少都是和他一样闷头搞研究的，在Google深入业务后，慢慢地，不断有人离职去创业，或去做自己喜欢的事儿。

去年，借着各种名义，王晔回国了好几次。“走访了好多耶鲁回国的师兄，发现他们创业都做得很好。”王晔被触动到了。“你回国创业绝对是最正确的决定。”LeanCloud创始人江宏的一句话在他脑海回荡。

王晔感觉，这一次他要从科研绕回商业了。

去年5月，他又与FreeS基金李丰会面。“李丰就说大家都是聪明人对吧？所以你会知道怎么选择。”内心蠢蠢欲动的王晔坐实了回国的念头。“Google在移动端已经落后了，我要抢占移动产品优化这个方向。国内还没人做专业的第三方A/B测试平台，蓝海一片。”

9月，王晔获得来自李丰和蒋涛（极客邦创始人）领投的100万美金天使投资。“前前后后，李丰也找我聊了一年了。”王晔笑称。

次月，王成立吆喝科技，四位核心合伙人到位。“有两个是从美国跟我回来，两个是国内找的，都有丰富的to B项目经验。”

A/B测试在国内应用不多。 “国内独立使用A/B测试的公司可能不超过10家，像知乎、大众点评等。很多大型互联网公司还没有做到所有产品都能使用高密度高频率的A/B测试，例如腾讯地图、百度糯米。”

更多的产品处于裸奔状态。“国内很多产品的更新换代往往没有保护措施，没有做实验。往往是先线上发布，遇到了问题程序员再加班加点修改，然后再过一次苹果审核再上线。这种很容易造成‘线上事故’。”

曾有一个案例。王晔曾听说13年时，一家做电商的App，当时做产品升级，但是没想到对某一部分安卓手机注册的地方有BUG。当天花了10万块钱打广告，只留下几千用户，40%的用户因为这个BUG流失了，损失4万块钱。

APM监控在国内有一定的使用量，王晔认为，相比之下A/B测试更具科学性。“APM的核心是后端数据累积和分析，而A/B测试的意义在于它改变了人们对产品迭代和优化的思维方式。

例如Google请自己的员工测试某项功能，得到的结论很显然不能代表普遍用户。因为采样用户很可能本身就具有倾向性。所以A/B测试的价值在于如何把在线用户的流量很好地分割，让他们用这些流量进行有目的性的测试，并通过科学的方法进行分析实验结果。”

借鉴Google的A/B测试系统，王晔独立开发出一套新的通用系统。“Google的只能用在搜索和广告，通用系统使用于所有的移动产品。”Google的A/B测试系统是用C++写的，王晔用新语言从底层框架搭起。

到年底，王自己用2个月时间搭好了系统骨架。“花了小半年时间，5、6位工程师才把产品丰富起来。”

期间，最难解决的问题是系统稳定性。“要实现对各种应用正确的分流，正确的数据统计，比只是单纯做统计，或者单纯做推送类工具要复杂很多。比如说分流的部分升级了，升级之后和后端的匹配可能有问题，就是说两边都要升级。”王晔坦言为了使系统更加可靠，他们有自己的长线测试，上线部署有自动测试、人工测试等。

4月底，AppAdhoc优化平台测试版低调上线。王晔采取用户邀请式参与。“首先审核资质，然后给用户发送邀请码，用此码可以注册平台，即可使用A/B测试云服务了，更准确的我们提供了一套saas服务软件。”

A/B测试对用户技术水平要求较高，很多初创公司的水平达不到。目前，被邀请体验A/B测试的公司已有近百家，包括技德科技（Remix平板生产商）、小红书、野糖网、爱投资等。

用户体验A/B测试的流程如下：“注册完成，在网站下载SDK，集成到他的代码里，比如说他是做操作系统，可直接集成到ROM里。集成完毕，就可在AppAdhoc优化平台在线地去控制流量切割。”

用户使用过程中，王晔受困于国内的网络环境以及应用市场的碎片化。不同应用在不同市场上会产生不同的版本，版本控制较为麻烦。王晔构建了一套自己独特的API，开发者不需要提供统一的版本，API通过模块开关的方式来帮助开发者管理不同的版本。

传统的做法已经不可行。一些应用为检验更新的版本有没有BUG，会选一个较小的安卓市场实验，反馈没问题再决定上其市场。但安卓市场之间也会做同步，因此价值已不是很大。

而王晔在产品中设置了许多“开关”，能让开发者控制产品里的某个功能。“可以控制只有一小部分用户能看到这个新版本，如果有问题，可马上关闭该实验，直接在线操作，不需要通过应用商店审核。”

凭借自己圈子的传播，加上A/B测试本身的刚需（百度搜索A/B测试，几乎全是吆喝科技贡献的内容），AppAdhoc吸引了不少人注册。

让他头疼的是小一半用户不会用。“蓝海最困难的是如何打开市场、教育用户。”为此他们即将推出易用版，实现所见即所得功能。比如可以直接看到App改版后长什么样；可以直接拖拽、修改，设置放多少流量进行实验，或者发布某一个特定的版本，都可以动态实时地看到数据报表。“让技术成熟的用户可以直接使用，技术稍差的经过教育就能上手。”

王晔的重头戏是其将推出的商务版测试平台，提供的是一整套功能，不光是APP层面，还包括后端的数据参数，都可以用A/B测试来测。

“比如说，可以让50%的流量看到0.5的参数效果，令50%看到1.0的参数效果，对比一下哪个参数值更好，后端的参数、代码、逻辑等都可以进行A/B测试。”

王晔表示，商务版是专门给高端用户服务的。“目前已有十几个用户使用后，营收得到提升。电商类客户能提升10%或者以上的营收。”

为教育市场，王晔推出了广告代理优化服务。“用户的广告投放，我们全权代理。用户点了广告，落到一个页面，这个页面如果设计不好，不用A/B测试去优化的话，用户流失率很高。”王晔已服务滴滴出行，达到司机注册率提高3倍的效果。此外，服务对象还包括五粮液、民生银行、斗山机械等。

广告代理优化服务已为王晔带来了收入。但在王眼中，这块业务只是在趟一条路，相当于把用户直观的需求转换成了自己用A/B测试来优化的服务。