线性方程组与矩阵的概念大家应该都知道，这里简单回顾说明一下。所谓一个方程是线性的，意思是说方程里包含的未知变量的项的幂次不超过1次。如以下为一个线性方程组：

其中，x_i为未知变量。有些人觉得，未知变量仅仅是一个记号而已，可以不用明确写出来。那么，把未知变量的系数单独拿出来写成矩阵形式看看，有没有什么发现？把上面的线性方程组的系数写成矩阵形式为

表面上看，不觉得有什么特别的，也没觉得矩阵比线性方程组形式表示了更多的信息。但是，后来在矩阵上定义各种变换花样，玩来玩去，还真让人玩出了个名堂。矩阵现在变成了最基本的概念和表示形式，也是一个非常重要的研究分支。下面回忆几个关于矩阵的特征：

定义A-4矩阵的秩（Rank）一个m行n列的矩阵A（或记为A_m×n），A中每一行作为一个n维的向量，每一列作为一个m维的向量。所有行向量中能找出来的包含向量个数最多的无关向量组中向量个数称为矩阵A的秩；或者，所有列向量中能找出来的包含向量个数最多的无关向量组中向量个数称为矩阵A的秩。显然，这两种方法确定出来的秩应该相等。

定义A-5矩阵的迹（Trace）一个矩阵A_n×n中对角线上元素之和称为矩阵的迹。

定义A-6矩阵的逆（Inverse）一个矩阵A，如果存在另一个矩阵B，使得它们的乘积为单位阵I(www.daowen.com)

AB=I那么，矩阵A和B互为逆矩阵，记为A=B^-1，B=A^-1。还有，矩阵的乘法一般不满足交换律，即一般有

AB≠BA在矩阵乘积上取逆，取转置，取共轭转置等等，展开后都是颠倒顺序的，即

（AB）-1=B^-1A^-1，（AB）T=B^TA^T，（AB）H=B^HA^H（A-6）再说说，线性方程组（A-4）有解是什么意思。线性方程组有解，表示式（A-4）右边列向量[…，b_i，…]可以表示成左边每个未知数对应的列向量的线性组合；有解时，可以有多个解；当仅有唯一一个解时，即唯一表示时，前面也讲过，此时式（A-4）左边列向量必构成一个线性无关组。当线性方程组无解时，表示右边列向量[…，b_i，…]不能表示成左边每个未知数对应的列向量的线性组合。

注意到，线性空间里的元素可以是数组、函数、矩阵等任何形式。并且，上面讲到的“+”运算，“·”运算，基表示等，都主要是把线性空间作为一个整体来研究，这些运算的输入是线性空间里的元素形式，输出还是线性空间里的元素形式。那么，线性空间里每个元素作为一个个体有什么特性，有什么值得研究的吗？或者，和概率空间到随机变量的转变想法一样，研究的时候最好还是能把不同的形式统一成某个数域上的数，从而才有一些量化关系，更利于研究。因此，下面我们就在线性空间上再定义一个运算——内积（Inner Product），用来引入量化特征。