科学不是万能的，因为科学是用来解释当下客观世界的假设。正是因为它是一种假设，所以在将来的某个时候，这个假设可能会被更好的假设所取代，于是新的理论产生。科学的理论（或称为假设）是可以通过一系列的观察来证实的。可观察、可检验、可证伪，是科学的基本特征。科学的长处不在于它是一个不会犯错的过程 ，而在于它提供了一种消除错误的方式。
哲学家波普尔称其为“本质主义”的观点认为：从内在本质或者本质属性的角度对现象做出最终解释，才算得上是好的科学理论。但科学家并不企图获得本质主义者所追求的那类知识，也不试图回答关于宇宙的“终极”问题。自称完美或绝对知识的主张及做法，往往会阻碍人们的探索，自由而开放地探索知识是科学活动的一个先决条件。
本质主义者的态度通常有一种表现：在探求知识之前，过于关注术语或概念的定义。当一个词被当做理论中的概念使用之前，我们必须对这个词所涉及的所有潜在语言问题，有一个全面而且清晰的理解，事实上这正好与科学家的工作方式相反。在科学领域，确定某概念的意义，是在与该术语有关的现象得到一定程度的研究之后，而非研究之前。一个精确的概念性术语来自科学过程中固有的那种数据和理论间的相互作用，而不是关于语言用法的辩论。科学家的目的是解释现象，而非对措词进行分析。神经病学家诺曼·格什温德将这种区别描述如下：“我认为，从医学发展的历史中，你能够了解一件事 ，那就是：许多人认为 ，研究一个问题的方式就是首先定义这个问题，然后再去研究它。这种想法被一次次地证明是错误的，因为你发现，只有先知道了答案，才能正确定义问题”。在所有的科学学科里，进步的关键在于放弃本质主义，接受操作主义。
操作主义的核心思想是：科学理论里的概念必须立足于可观测事件，或与可观测事件相关联，而这些可观测事件是可以被测量的。将概念与可观测事件相联系的是概念的操作性定义，这使概念公开化了。操作性定义使得概念从个人化的感觉和直觉中分离出来，并且允许任何实施可测量操作的人对概念进行检验。
在科学领域里，定义一个概念靠的是一系列操作，而非单独的行为事件或任务，意识到这点非常重要。相反，一些差别细微的任务和行为事件通常聚合在一个概念上。例如，教育心理学家根据利用诸如“伍德库克阅读能力量表”之类的标准化工具测得的成绩，来定义“阅读能力” 这个概念。该量表测出的阅读能力总分包含了一些不同分量表测得的能力指标。这些分量表测查的能力稍有不同，但全都与阅读相关。例如，阅读一篇文章、想出一个合适的单词在文章中填空、写出一个词的同义词、独立拼读一个较难的词，等等。所有这些任务上的表现综合地定义了“阅读能力”这个概念。
概念的操作性定义要想有用，必须同时具备信度和效度。
信度指的是测量工具的一致性，如果你对同一概念进行多次测评，是否能够得到相同的测量结果，用一句话来概括就是：任何总能够产生相同结果的系统所具备的一种属性。
在科学领域中，一个操作性定义的信度以类似的方式来评估。如果我们多次测量同一概念得到的结果是近似的，那么我们就说测量工具表现出较高的信度。信度仅仅是指前后一致，而不包括其他内容。对于一个操作性定义而言，仅有信度是不够的，信度是一个必要而非充分条件。作为一个好的操作性定义，操作必须被证明对于概念来说是有效的测量。
“结构效度”这个术语是指一个测量工具（ 操作性定义 ）是否测量了它本应测量的内容。
一个科学概念的定义并不是固定不变的，而是随着相关观测结果的不断丰富而发生变化。意识到这一点非常重要，如果一个概念的原始操作性定义在理论上被证明是无效的，那么该定义就会被抛弃，以另外一套定义的操作取而代之。这样，随着相关知识的积累，科学概念不断演进，其抽象性逐渐增加。
人类记忆理论中的概念也以同样的方式发展。现代心理学家很少使用类似“记忆”或“遗忘”这样的笼统概念；相反，他们测量那些可以进行明确定义的记忆子过程，如短时听觉记忆、符号存储、语义记忆以及情景记忆。传统的“记忆”或“遗忘”的概念通过更加明确的操作性概念得到了细化。
因此，理论术语的用法在科学实践中不断演进 ，而不是在针对文字意义的争论中获得发展。这是科学的操作态度和本质主义者，在追求绝对定义之间最显著的区别。
随着科学概念的演进，概念常常与许多不同的理论体系交织在一起，并且获得多种操作性定义。这种情况的出现并不是因为概念本身出了问题。例如，许多人认为心理学不可信，因为心理学中许多重要的理论概念——例如智力，可以用不止一种方法来操作化和概念化。事实上，在科学领域里，这种情况是普遍存在的。例如，“热”既可以从热力学理论，也可以从动力学理论的角度来概念化。
心理学所面临的一个难题就是，公众要求心理学去回答本质主义问题，而通常其他科学家并不需要回答类似的问题。这类要求常常导致人们贬低心理学领域已经取得的进步。尽管这类要求不能阻止心理学领域自身的发展——因为就像其他科学家一样，心理学家无视本质主义问题并继续他们的工作——但那些问题成了公众理解心理学的障碍。
深刻理解操作主义的原则，有助于我们识别不具备科学意义的问题。例如，有一篇标题为《动物会思考吗？》的文章，讲述了动物行为方面最新的实验，文章中所引述的研究没有任何错误，但是，显然这个标题仅仅是一个玩笑。这个标题的问题在于没有科学意义，没有关于“思考”的操作性标准。许多报纸的标题中存在类似的问题，比如 “计算机会思考吗？”。
尽管大部分人对会思考的计算机这一设想表示强烈反对，但他们并没有认真思考这一问题，也没有对“思考”做出一个更好的定义。预设偏见让许多人不愿承认机器思考的可能性。几乎每一个人都认为思考是发生在自然世界中的一个过程。但是请注意，我们在讨论其他过程时，并不涉及“起源”的问题，比如这个问题：“起重机能举重吗？”我们的答案是否为“起重机不会举重，因为起重机是由人造出来的。因此，我们只能说是“人”在举重。起重机真的不能举重”？当然不能这么说。一些事物的起源与它执行某一特定任务的能力是完全不相关的。思考的过程也是如此。
因为人们无法理性地接受机器有思考的能力，艾伦·图灵设计出著名的“计算机能否思考”的操作性实验，这对于我们的讨论是非常重要的。他的想法是：如果计算机能够进行智能对话的话，那么就可以说它是有思考能力的。图灵这一设想的创造性在于，他提出了一种能将问题变得可操作化的方式，同时又防止了“预设偏见”的干扰。
图灵测试启发我们，如果我们想要理性地讨论一个概念，那么操作性定义是必需的。我们要以一种有条理的方式进行判断，而不仅仅根据我们自己对某个问题的偏见。
观察人们讨论人工智能问题时所展示的思维方式，就能发现科学和非科学思维方式之间的区别。科学的方式是先发展一种合理的操作性定义，然后看我们可以从中得出哪些关于思考、计算机和人类的结论。与之不同的是，预设偏见主导了大多数人的思维，它对于计算机和人类表现出来的差异并不感兴趣。相反，一旦形成定势，他们就会绞尽脑汁地去找出各种理由，来巩固自己的这些想法，避免发生改变。正是这种预设偏见和非操作性的本质主义态度，让人们认定他们“就是知道”思维到底是怎么回事。持这种态度的人很多，说明了科学的普及远未达到应有的高度！
此文对我们将来的评估工作有较大的启发。尽可能用科学的态度和方法开展评估工作，才更有现实意义。
