随着海洋研究和开发的日益扩大，高速自主水下航行器（AUV）作为重要的无人水下工作平台引起了广泛关注。然而，由于其模型具有多输入多输出、强耦合、欠驱动和强非线性等特点，传统的依靠精确模型的控制方法在实际应用中往往受到限制。为了解决这个问题，本文提出了一种不依赖于精确模型的强化学习姿态控制器。通过姿态环和位置环的配合，该控制器不仅可以实现高速AUV的快速姿态稳定，还可以更快地完成潜水到指定深度的动作。同时，为了降低训练强化学习控制器的数据获取成本，结合神经网络技术，提出了一种改进的高速AUV状态估计器。该估计器可以在已知当前AUV的状态和控制量的情况下，估计下一次AUV的状态，从而为强化学习控制方法提供大量的训练数据。仿真结果表明，该估计器具有较高的估计精度，由状态估计器训练的基于神经网络的强化学习控制器能够实现对原AUV的稳定快速控制，验证了该方法的可行性和有效性。