苏轼所建的黄楼中原有许多碑刻，其中最著名者要数《黄楼赋碑》。碑文是苏辙撰写的，苏轼亲笔书写，毕仲询篆额。碑型为四方石柱，每面宽窄不同。一面宽二尺四寸四分，几十行；一面宽一尺五寸七分，共七行。四面都刻满了字。相传当年徐州官妓马盼盼聪明秀丽，善学苏字。苏轼写《黄楼赋》时偶然停笔，她偷偷续写了“山川开阖”四字。苏轼见后大笑，略加润色不再重写。因而碑中这四个字便为马盼盼笔迹。

但是，这块石碑与苏轼的遭遇一样，屡遭厄运。公元1100年，宋哲宗赵煦死了；宋徽宗赵佶即位，大赦天下，被称为“元祐党人”的大臣们全部获赦，苏轼亦被贬到海南居住，后又得到随处定居的许可。此时的苏轼已近晚年，政治上虽然一再遭贬，但其特有的人格魅力，非凡的艺术才华，再加上坎坷的人生际遇，赢得了人们的敬仰，他的诗文仍然盛传不衰。宋人的一则笔记载：“东坡诗文落笔辄为人传诵。崇宁大观间海外诗（指苏轼贬居海南时的诗作盛行，是时朝廷禁止，赏钱增至八十万。禁愈严而传愈多，往往以多相夸。士大夫不能诵东坡诗，便自觉气索，而人或谓之不韵。”许多富贵人家以藏有苏轼真迹为荣，便有人去黄楼捶印那块《黄楼赋碑》的拓片，叮叮当当，彻夜不止。陈师道写《黄楼绝句》讽刺道：“楼上当当彻夜声，予人何事有枯荣？已传纸贵洛阳市，更恐书留后世名”。苏轼的声望愈高，政敌们对他愈嫉恨，迫害也就愈烈。公元1102年，宋徽宗改年号为崇宁，大投机家蔡京、赵挺之把持朝政，小人当道，君子遭殃。这些政客小人“一朝权在手，便把令来行”。对“元祐党人”，穷追不舍，将苏轼、司马光、文彦博、秦观等309人的名字刻在两块黑碑之上，一块立于文德殿东墙，一块立于端礼门，并规定这些人及其子女永远不得在朝为官等等。崇宁二年，皇帝又颁下圣旨：“应天下碑碣榜额，系东坡书撰者，并一例除毁。”立于黄楼内的《黄楼赋碑》自然在“除毁”之列。然而当时州官既没遵旨，也没抗旨，只是将此碑投入城濠之中，将黄楼更名为“观风楼”了事。此时苏轼在常州去世已有一年。(www.daowen.com)

到了北宋末年，徐州又来了个太守叫苗仲先，他先是利用职权将《黄楼赋碑》据为已有，拓印了几千本。然后，像突然想起什么似地对属僚说：“皇上的禁令没有解除啊，这个碑怎么还留在这里？快派人砸碎！”《黄楼赋碑》就这样被毁掉了。几千本苏墨成了绝版，自然身价大增。苗仲先带到京城兜售，狠狠地捞了一把！不过，钱苗仲先在历史上留下的却是人人涶骂的臭名！苏公美名成盛传不衰，后又有人依照拓片翻刻成碑，重竖于黄楼之中。碑的一角有缺，相传为雷击所致。