论文中的实验的目的是验证论文提出的理论或方法的正确性、可行性和有效性。有一个阶段我不太同意把仿真叫做实验,但随着仿真技术的进步,至少它可以成为一种验证的手段。
理论的正确性并非总是要用实验来验证的。那些用公认的定理证明的新定理就不需要验证。方法可行性的验证相对简单一些,实验只要说明所用的方法解决了问题即可。
方法(特别是算法)有效性的验证在很多论文里做得不好。所谓有效性,应该是比别的方法更快或更简单地解决了问题,或是计算复杂性低,或是计算速度更高,或是占用的内存小。要说明有效性,一是要有比较,不能老王卖瓜;二是要有相应的数据。
从这个意义上来说, 论文中的实验往往是一种为说明问题而专门设计的实验。实验的设计是非常重要的。要说明某一因素的作用,就要设法将它孤立起来。
我曾连续审了四篇关于构建机器人仿真球队的 论文。这四篇 论文除了叙述性的内容偏多以外,写得还是不错的。文章的内容涉及个人技巧、决策机制及整体协调,并不重复。而且,球队两次参加了机器人足球世界杯仿真组的比****,都取得亚军的好成绩。这就是说,在构建球队时代所采取的技术措施还是有成效的。但是,这四篇文章都用参****对阵的得分来说明技术措施的有效性,这是不合适的。因为,足球****的成绩只是一种排名,只说明参****队实力的相对强弱。
如果对手的实力太低,即使己方取得冠军,也不能有效地说明自己所采取的措施是正确的。而且,如前所述,一个队能否取得胜利与个人技巧、决策能力、整体协调等多种因素有关,取得较好成绩倒底是哪个因素起了作用往往是说不清楚的。作者在最近的两篇文章中用了相同的比****结果来说明不相同的技术措施的作用,显然也是没有说服力的。如果对同一对手以采取论文中的措施和不采用这种措施进行两次比****,则比****的结果就能较好地说明这种措施的作用。