词上片“浪涌孤亭起”，就起得突兀奇谲，显出了垂虹亭的气势。翻滚江涛，孤亭屹立，巨浪腾空涌起。这样有气势的建筑，在词人眼里，“是当年、蓬莱顶上，海风飘坠”。蓬莱山是海上三神山之一，当年秦皇、汉武都曾派臣前往寻访仙人，可惜都未能找到，但却有亭子飘落到了人间。可见重虹亭来历非同寻常。仙山上飘来的亭子，还有谁能来上持它。“帝遣江神长守上，八柱蛟龙缠尾。斗吐出、寒烟寒雨。”八根柱子上有八条蛟龙环绕，并能喷烟吐雨，显示出亭子外观极为壮丽。
“昨夜鲸翻坤轴动，卷雕翚、掷向虚空里，但留得，绛虹住。”但来自仙山神力的亭子也遭劫难，昨夜巨鲸翻动了地轴，把飞檐抛到天空，只把垂虹桥留了下来。这个巨鲸实指人间的巨怪，这里是指蒙元贵族。元兵于德祐元年（1275年）攻宋，平江府通判王矩之、都统制王邦杰迎降于常州，元丞相伯颜进入平江府。垂虹桥是必经之路。说重虹亭毁于此时，也非无根之果也不至纯属垂虹亭的被毁，象征着国家灭亡。
下片“五湖有客扁舟舣”，转写词人吴江之行。从太湖里驾着小舟停靠在垂虹桥边，目睹亭子残破，作者都积于心中多时的愤懑，便喷发出来。“怕群仙、重游到此，翠旌难驻。”垂虹亭本来是蓬莱山上群仙的聚会之所，但飘坠到这里，仙人们如果重来，目睹亭子被毁，恐怕他们无法留驻。借群仙的难驻，表明了山河改易使神仙也不再留恋人间。这里安排得匠心独具，不直抒感慨，比直接抒发感慨要委婉得多，深刻得多。
“手拍阑干呼白鹭，为我殷勤寄语；奈鹭也惊飞沙渚。”词人想借白鹭为群仙报信，但白鹭也被惊飞。此处思维之奇，亦难以片言卒说。把沙洲飞鹭等拉进了神奇境界。“星月一天云万壑，览茫茫、宇宙知何处？”词写至此，真情流露出来。“万重乌云遮蔽”，四海茫茫，何处是容身之地。词人的亡国之痛，从这两句里集中地表现出来。词人在入元之后，始终不肯出仕，终老竹山。是其一贯思想使然。词中在易代之后，俯仰身世，无所寄寓，与古代诗人契合。结语“鼓双楫，浩歌去”，展现了词人遗世独立的风貌，读来让人意犹未尽。
这首词语言凝炼，意境奇幻，是一首极具特色的佳作。
上片感慨“往事”千留不住。集中表现主人公对于时光流逝、好景美事永远消泯的无奈和怅恨。首二句，言季节变换如此之快，春来又秋去，“往事”却不知到何处寻觅。叹日月不居，时序循环，时间流逝，前事难寻。“往事”（从下片所述可知，这是指去年今日黄叶西风之中与情人在酒宴上的欢会）不可追，伊人不再来。这已经暗伏本篇的抒情主旨在内。后二句，承“春来秋去”而来，言秋光将逝，眼见燕子往南飞，幽兰带露，像是因悲秋而哭泣，主人公也黯然神伤，从心底无数次地发出挽留秋光的呼唤，但是毫无用处。“燕子归飞兰泣露，光景千留不住”，燕子于秋而飞归了，兰叶上凝聚露珠如泣泪，美好的光景即使千百次的挽留也牵不住，主人公深切地怀念“往事”，或许是佳人见不得，“燕子归飞”形象的比喻；深情地挽留秋光，时光更是留不得。那份怅恨与无奈，仿佛跟“兰泣露”似的。挽留“秋光”，正是要留住“往事”，留住“燕子”，期盼再与佳人相会。然而这一切都成空，能不愁吗。
下片，定格于闲阶梧桐下独自感伤的抒情主人公的特写镜头，既写其感伤的形貌，亦托现其感伤的内心。前二句补足上片，由景入情，穷形尽相，写其孤独之状，徘徊之态。喝酒，是为了留住景光，消释哀伤，可是，酒阑人散后，更感到空虚和惆怅。后二句直探心灵深处，揭示其心事重重的原因——对景怀人。表现了词人心灵深处长久的忧伤，黄叶西风，年年如是，自然界代谢是必然的规律，对着无法挽回的事物，他体认到人生的无常了。“去年今日”，“黄叶西风”，以今比昔，平添几分厚重之感，颇有几分耐人寻味之处。
这首词抒写别愁。此词特写镜头：“酒阑人散忡忡，闲阶独倚梧桐。”酒宴已经结束，热闹的场面不复，令人忧愁不安，无可奈何地倚靠着台阶旁的梧桐树发呆。这一孤独情景，既感慨从酒宴上得到的暂时慰藉，竟如此快就没了，反而加重了愁怨；使自己忆起“往事”，陷于深深的忧虑不安之中。于是，结尾直接抒写：“记得去年今日，依前黄叶西风。”脑子里清楚地记得，也是去年的今日，依然是秋季，西风劲吹，黄叶凋零的时候，与佳人相会分别，点出“秋愁”——惆怅情怀，是因忆旧怀人的缘故。