相关阅读:
ABI Research:Intel移动处理器已经比高通、三星更好
安兔兔节操碎了一地?Intel Atom跑分高的”真相“谜团
Intel处理器跑分后续:安兔兔3.3.2版RAM得分下降一半
前一段时间有安兔兔引发的测试程序跑分与优化的问题沸沸扬扬,备受争议的安兔兔也做了官方回应,并在本月19日推出了V4.0版安兔兔程序,虽然跑分还是最重要的部分,但是安兔兔也在努力寻求救赎,大谈应用体验,希望借应用体验得分改变大家对他们只会跑分的印象。
作弊与优化的问题在基准测试行业由来已久,这个行业中比安兔兔更有资历的公司都曾遭遇过这样的质疑,比如芬兰的Futuremark公司,现在他们的业务也从PC平台伸向了Android、iOS及Windows RT、WP移动平台,3DMark的跑分也有过这样的争议(高通CPU在跑分中无比强大),他们是如何看待这个行业,如何评价安兔兔事件,又如何保证基准测试的公平性的?VR-Zone最近在台北采访了Futuremark老总Oliver Baltuch,后者谈到了这些问题。
原文内容比较多,我们捡有关基准测试的部分来看。
Oliver Baltuch回答的第一个问题是“他们如何确保不出现安兔兔门事件?”,他详细解释了Futuremark是如何设计3DMark这样的基准测试软件并保证公平性的。Futuremark内部负责运营的团队和负责技术的团队之间有中国墙隔离。首先他们会面向所有成员起草一份规格说明书提议介绍测试程序,然后收集成员们的反馈形成最终的规格说明书,3DMark的说明书提议就有25页之多。
中国墙:Chinese Wall,证券行业用语,这个词与我朝实际上毫无关系,是美帝先用的,详见百科。
Futuremark的driver审批原则非常明确地宣布了你不能自己定义、改变测试程序。一旦我们发现有人没遵守我们的规则,我们并不会向世界大张旗鼓地宣传这事,我们会悄悄地与这些人沟通,让他们知道这些跑分是不会公开在我们的网站上的,除非他们改变自己的作为。通常情况下,他们都会认识到自己的错误,改正之后我们才会接受。
安兔兔只是简单地跑分,人们也就简单地用这个跑分,就像使用某个设备一样。对我们来说,我们不相信基准测试是某个产品,它需要包含一整套的评测者指导、驱动规则、批准政策及完整的后端服务器,这样才可以对比测试结果,检查是否有什么猫腻。我们有服务,我们有(品质保证),我们确保我们的产品是完整的产品。
另外,很多人都没有意识到芬兰这个国家对企业监管有非常严苛的透明度,就算我们是个私人企业,任何人只要花欧元就可以查询到过去五年中我们的账簿和财务信息。我们与其他公司的商业合作是无法隐藏的,也没有什么秘密交易是可以隐藏的。(喂,你黑安兔兔也就算了,这是把我朝都顺带着黑了啊,不想混了啊)
这就是我们所拥有的一个非常透明的监督系统。规格书中涉及的任何改变都是公开的,所有的参与者都能看到这些。你们可能听到一些“天啊,xxx的跑分这么高,一定是收钱了!”,但这并不是真的。
VR-Zone又接着问了Baltuch一个尖锐的问题,“你这样说是不是意味着你们比安兔兔更诚实?”,Baltuch也很狡猾,说他不是这个意思,他只是解释了Futuremark做基准测试程序一以贯之的准则。他说安兔兔的情况是独立的问题,是他们自己的事。他并不知道其中有什么内幕工作(inner workings),Futuremark只能做好自己的事。
采访中还有其他问题,比如iOS版为什么这么晚还没发布之类的,不过都是些小问题了。
Oliver Baltuch的回答都很官方化,也很巧妙,多多少少也在打安兔兔的脸。另外,VR-Zone原文的标题是“世界上最诚实的基准测试业务公司?”,这个问号加的很好,Futuremark是不是真的那么小纯洁大家都有自己的看法,至少去年Virtu MVP被揭露跑分作弊、Hwbot封杀Virtu跑分之时,Futuremark依然接受Virtu MVP跑分,即使他们强调了Virtu MVP开关跑分不具可比性。
游客 2016-03-30 14:59
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
71#
游客 2014-09-28 16:46
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
70#
超能网友终极杀人王 2013-08-25 14:01 | 加入黑名单
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
69#
游客 2013-08-25 13:07
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
68#
游客 2013-08-25 10:39
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
67#
我匿名了 2013-08-24 17:31
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
66#
游客 2013-08-24 17:08
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
65#
游客 2013-08-24 17:06
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
64#
游客 2013-08-24 14:48
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
63#
超能网友终极杀人王 2013-08-14 15:25 | 加入黑名单
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
62#
超能网友终极杀人王 2013-08-14 14:26 | 加入黑名单
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
61#
游客 2013-07-19 08:27
该评论年代久远,荒废失修,暂不可见。
支持(90) | 反对(0) | 举报 | 回复
60#
游客 2013-07-19 06:50
该评论年代久远,荒废失修,暂不可见。
支持(90) | 反对(0) | 举报 | 回复
59#
游客 2013-07-18 14:35
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(1) | 举报 | 回复
58#
游客 2013-07-18 11:45
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(213) | 举报 | 回复
57#
游客 2013-07-15 21:31
该评论年代久远,荒废失修,暂不可见。
支持(87) | 反对(6) | 举报 | 回复
56#
游客 2013-07-15 21:27
该评论年代久远,荒废失修,暂不可见。
支持(90) | 反对(0) | 举报 | 回复
55#
游客 2013-07-15 21:17
该评论年代久远,荒废失修,暂不可见。
支持(95) | 反对(1) | 举报 | 回复
54#
游客 2013-07-15 21:06
该评论年代久远,荒废失修,暂不可见。
支持(92) | 反对(0) | 举报 | 回复
53#
游客 2013-07-15 20:58
该评论年代久远,荒废失修,暂不可见。
支持(1) | 反对(1) | 举报 | 回复
52#
游客 2013-07-15 20:18
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
51#
游客 2013-07-15 17:10
该评论年代久远,荒废失修,暂不可见。
支持(80) | 反对(224) | 举报 | 回复
50#
游客 2013-07-15 16:47
该评论年代久远,荒废失修,暂不可见。
支持(2) | 反对(222) | 举报 | 回复
49#
我匿名了 2013-07-15 16:13
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
48#
游客 2013-07-15 11:53
该评论年代久远,荒废失修,暂不可见。
支持(1) | 反对(0) | 举报 | 回复
47#
游客 2013-07-15 08:33
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
46#
游客 2013-07-14 19:45
该评论年代久远,荒废失修,暂不可见。
支持(2) | 反对(0) | 举报 | 回复
45#
游客 2013-07-14 19:41
该评论年代久远,荒废失修,暂不可见。
支持(0) | 反对(0) | 举报 | 回复
44#
游客 2013-07-13 16:10
该评论年代久远,荒废失修,暂不可见。
支持(5) | 反对(0) | 举报 | 回复
43#
游客 2013-07-13 15:17
该评论年代久远,荒废失修,暂不可见。
支持(1) | 反对(1) | 举报 | 回复
42#
加载更多评论