类人驾驶学习系统主要包括人类驾驶策略学习模块和纵向速度控制模块。其中，人类驾驶策略学习模块的仿真模型在MATLAB/Simulink中建立并与PreScan中的交通场景进行联合仿真，用以完成模型测试。类人驾驶系统的仿真模型包括人类驾驶数据处理模块、外部环境信息计算模块、状态量转换模块、人类驾驶策略学习模块、纵向速度控制模块和显示模块。

外部环境信息计算模块提取环境信息特征，将其传递给各个所需模块；人类驾驶数据处理模块将从外部环境获取的人类驾驶数据转换为一个可以在线单步更新的变量，其中一部分与前车信息、本车信息一起传递给状态转换模块，通过状态转换模块将环境信息转换为学习系统所需状态量信息；另一部分用于初始化人类驾驶策略学习模块中的相应量。人类驾驶策略学习模块的输入为状态信息，包括无人驾驶时的本车速度、本车与前车相对距离以及人类驾驶时本车速度、本车初速度和两车初始相对距离，输出量为本车期望速度。

人类驾驶策略学习模块规划出的期望速度传递给纵向速度控制模块，由于此处仅考虑纵向速度规划控制，所设置的试验场景不考虑弯道情况下的跟驰，故选择PreScan驾驶模式中的PathFollow模式，该模块提供PID控制器，并负责将期望速度转换为油门和制动控制量，并通过动力学模型控制车辆运动。显示模块模拟真实车辆的码数表，用于显示速度、油门量和制动量。(www.daowen.com)

为了验证NQL方法对于纵向速度规划控制问题的适用性，并演示其作为连续化强化学习在解决连续问题时的优势，设计了NQL与Q Learning的定距离跟驰仿真对比试验。