为了检验专家系统的有用性，你必须能够展示出专家系统能够解决复杂的实际问题，否则，这些复杂的实际问题将需要大量的人类专家去解决（如果不是这样，你就仅仅制造出了一个没有价值的系统，这一系统将没有实际的用处）。这些系统必须在大多数时间，或是至少像人类专家那样能够经常地做到精确地给出正确的结果。我们在前面所看到的XCON的例子中XCON能够以98%的时间精确地解决问题，而没有XCON的帮助则只有65%的时间能够精确地解决问题。这是对XCON的有效性的一个很清楚的表示。通常，如果没有在领域中全面的应用则很难说明专家系统的性能，在这些领域中专家系统要解决人类专家需要面对的问题。

如果缺乏全面的应用，专家系统的开发者可能希望进行一些实验研究去评估专家系统的性能。在一种类型的评估中，你将产生一组问题，这些问题具有足够的复杂性去表示在领域中人类专家会面临的典型问题。将把这一组问题展示给（1）专家系统和（2）一组人类专家。如果专家系统能够取得与人类专家所能取得的结果一样好，那么专家系统就可以通过性能测试（这种评价与图灵测试的有点相似，这种评价意味着将专家系统与人类专家进行对比。）

事实上，在1979年对MYCIN进行了这种实验评价。这一研究证明在治疗患有菌血症和脑膜炎的患者时，MYCIN的性能可以与医生诊断平分秋色。斯坦福大学（Stanford University）将十个真实的病例分别给专家系统和一组医生，要求他们给出诊断和治疗建议。要求另外8名医生对10种治疗建议进行评价，这8名专家不知道治疗建议是来自MYCIN还是来自医生。结果显示在MYCIN的工作与斯坦福医生所完成的工作之间的差别很小，但是MYCIN的工作实际上已经超越了非专家的医生（这些医生并不是专攻细菌感染的）^[14]。(www.daowen.com)

总之，专家系统在超过40年的存在到现在已经变得成熟，今天在实际的环境中专家系统能够解决复杂的问题。在一些情况中，不同的组织通过提供更快速的决定，提高产出，提供更好的客户服务，或通过与技术的成功实施带来的利益有关联的应用，去寻求改善专家系统的方法。另一方面，如果系统需要在组织的环境中取得成功，那么对于需要精心管理的技术就存在着一些问题。它们不能够解决所有的问题，它们也不能在组织中取代人类专家。此外，除非专家系统能够被正确地检验和验证，否则它们将不能够像人类专家一样去解决复杂的问题。

专家系统具有三个弱点——不灵活，人们对其缺乏信任，并且解释能力有限（通过改善用户接口可以提高这一能力）。使用图表可以使专家系统更加透明和灵活，并且更可能使用户对专家系统更加信任。在下一章中将全面探讨这一问题。