在视觉模态文本中，语言、图像、色彩等符号资源与文字符号一样可以传递意义。例如，加粗的字体往往表示突出强调，而红色的文字常表示危险。非语言符号虽然可以表达某种意义，具有类似语言的词汇作用（张德禄，2009：26），但我们认为，目前还很难断定这些符号也具有类似语言的语法系统，可以把同类符号进行组合，并赋予不同组合以不同意义。例如，生日蛋糕和圣诞树这两幅图可以分别表示祝贺某人生日快乐和庆祝圣诞节，但把这两幅图放到一起，无论怎么组合，也很难明确传递某种特定含义，所以图像之间不具有类似语言的语法系统。正如朱永生所说：

“多模态话语分析中的语法分析由于缺乏严格语法意义上的标记和线性关系，因此带有很强的主观性，即在很大程度上依靠分析者本人对不同组成部分之间语义关系的理解。在面对同样两个或更多的成分时，不同的人可能会因为文化背景不同、知识结构不同，甚至解读动机不同进行不同的分析，从而得出不同的结论。”（2007：85）

虽然不同模态符号传递意义的方式不尽相同，但它们在表达意义过程中的相互关系却是确定的。张德禄认为，“不同模态的话语实际上都是为了体现讲话者的整体意义。”所以不同模态之间的关系可分为“互补关系”与“非互补关系”（2007：26）。前者指“一种模态的话语不能充分表达其意义，或者无法表达其全部意义，需要借助另一种来补充”，而后者指“第二种模态对第一种在意义的体现上并没有大的贡献，但仍然作为一种模态出现”。（2007：26-27）

关于互补关系，他还进一步区分出强化关系与非强化关系。前者指“一种模态是主要的交际形式，而另一种或多种形式是对它的强化”。强化关系可以包括突出、主次和扩充三种关系。后者表示“两种交际模态缺一不可，互为补充的关系”，又分为协调、联合和交叉几种形式。(www.daowen.com)

非互补关系又分为交叠、内包和语境交互。

总之，多模态符号之间的关系可以由图2-1来表示。

图2-1　多模态符号之间的关系