人工智能安全可信的可验证问题之探讨

人工智能要达到安全可信的要求就需要考虑可验证问题。所谓可验证问题即第三方保障和背书问题。第三方需要评估智能模型安全可信性的衡量指标和评测标准，尤其是对边界性和可回溯性的验证和测试。相应地，设计者也需要一个能够验证智能模型安全可信性的平台，对模型的改进提供反馈指导。

可验证技术路径1：面向智能算法的测试验证平台解决大型神经网络测试和验证

智能算法测试不同于传统的软件测试，使用软件测试的方法来验证智能算法是不合适的。智能算法不仅仅涉及逻辑正确性的问题，还有性能如何测定的问题。在普通的软件测试中，软件是固定的程序，但智能算法是可以调节的，新的训练数据会引起程序的参数变化，最后导致输出的变化。在这种情况下，即便智能算法的逻辑没问题，但是由于结果是不固定的，这种直接检查输出的软件测试方法并不适用。

同时，使用软件硬件测试的方法无法解决智能算法验证的可扩展性问题。神经网络原本是个连续的系统，需要将它转化为离散的基于规则的系统。为原始神经网络的整个推断过程寻找一个等价的形式，可以用基于逻辑的软件测试方法进行验证。现有基于软件硬件测试的方法往往只能验证最多上百个神经节点，尚无法处理大规模神经网络模型。

目前利用软件测试理论和方法对智能算法进行测试验证的基本思路是将连续系统转换为一个离散系统，于是朴素的基于规则的验证近乎于对所有的可能组合进行穷举，出现组合爆炸的困境，只能处理输入维度较低以及非常小型的神经网络的验证。

为了应对这个挑战，两个可行的思路值得去尝试。第一个是对目前的神经网络的输入和计算逻辑进行合理的聚类划分，使得每一类具有类似的验证特点，从而避免穷举带来的高计算复杂度问题；另一个思路是通过设计对验证友好的神经网络结构，同时兼顾智能决策和验证复杂度。

可验证技术路径2：智能系统模块化既是功能需求也是测试需求

未来的智能系统很有可能是模块化的，而不是靠一个结构、一个算法解决所有的问题。很多智能系统的智能在模块层次上体现了出来，因此模块化设计在一定程度上是为了满足功能性需求。模块和模块之间如何融合以实现比较复杂的智能任务，是未来重要的考察方向。另一方面，模块化将为解决智能系统的验证问题提供便利。目前，智能系统验证的可扩展性和可验证性都是待解决的问题。特别 是较复杂的智能系统，很难对其进行直接验证和测试。而对于模块化智能系统验证，如果能验证好每一个小组件，再以此为基础验证大的组件，则可以形成可实现、可扩展的一种验证方式。因此，在安全可信的意义上，模块化是为了解决验证测试，以及事后的归因定位。