首联点明地点、时令和心绪。蔡州辖境大致相当于今河南淮河以北、洪河上游以南的地区，当汴、洛、淮、沔交通孔道，故作者用“水国”代称之。秋风飒飒，万物萧瑟，被秋风轻轻“摇落”的自然是片片黄叶。望着在秋风中回旋、挣扎、最终还是落地化作尘泥的黄叶，联想到自己如同黄叶般枯萎飘零的身世和命运，“日暮依杖水”的诗人，怎能不思潮如涌、心乱如丝呢？这一联，出句是因，对句是果；前句写景，后句抒情，写景具体，抒情概括，使人迫不及待地想了解被秋风拂动的、郁结在诗人心底的“羁绪”究竟是什么。
以下六句，是作者蓄积心底已久的愁思怨意的总爆发，每一联又单独表达一层意思。颔联引伟大的爱国诗人屈原和唐代著名诗人白居易以自况，作者的用意是显而易见的：正直爱国如屈原，忧民忧时如自居易，皆不免被贬逐黜放的命运，何况自己？不过，自己虽然不像屈原、白居易那样含冤至深，但他们所具有的高尚品德、博大胸怀、坚贞节操，自己也同样仿佛一二。因此，颈联就直接怒斥那帮专门罗织罪名、陷己于不义之地的奸佞小人，尽管他们费尽心机，陷害贤良，并且得逞于一时，然而天理自在，道义犹存，鬼神可鉴，苍天有知。如果说，“大夫泽畔行吟处，司乱江头送别时”是作者借古人写出了自已遭受冤屈、谪官异乡这一事实的话，那么，“尔辈何伤吾道在，此心惟有彼苍知”两句，则是作者对这一既成事实的不满、愤恨情绪的直接流露，其中既包含了对陷入于罪的小人的轻蔑，也表达了对自己人格品德的自信。但现实终归是严酷的，尾联即明白无遗地坦露了作者在奸佞当道、君主寡恩、伸冤无望、前途渺茫的事实面前暗悔当初的低沉心绪。自古官场皆为是非纷争之地，有人飞黄腾达，有人含冤受屈，若要解除这些烦恼，辞官归隐、寄情山水不失为一条出路。然而如今的作者宦海沉浮，几经折磨，“苍颜华发”，垂垂老矣。经历了这样身心俱瘁的痛苦后，即使是辞官归隐，作者也嫌太晚太迟，何况获罪之人，羁绊在身，并无辞官之自由呢？作者更深一层地写出了自己贬官失意后的懊悔心情，同颔联，颈联相比，虽然显得压抑沉闷，令人有迟暮之感，但同时也能激起人们对身陷不幸且又衰老憔悴如此的作者更多的同情。
从诗题来看，西下的夕阳映照着波光鳞鳞的水面，作者倚杖伫立水边，映入眼帘的景色当远远不止“水国西风小摇落”这一句所能概括。然而作者却无心观景，除了这一句外，全诗几乎没有接触到任何其实就在他眼前的具体景物，由此可知，充塞在他心底的“羁绪”该有多么复杂，多么深沉，以致稍微被外物触动，便同决堤的江河般一泄而出，滔滔不绝。
上片，追忆歌妓、侍女的深情与作者的思念。“昨夜渡江何处宿，望中疑是秦淮”，点明即将渡江的时间与行踪，突出描绘想象中的繁华秦淮。秦淮有歌女成群的黄金河畔楼台。唐代诗人杜牧《泊秦淮》唱道：“烟笼寒水月笼沙，夜泊秦淮近酒家。商女不知亡国恨，隔江犹唱后庭花。”宋代诗人贺铸《秦淮夜泊》也唱道：“楼台见新月，灯火上双桥。隔岸开珠箔，临风弄紫箫。”忆起王胜之昔日秦淮之风流，更加深恋今日秦淮的韵事。接着写宿处“月明”时，笔锋一转，突然有人吹起悲哀的笛声。这是受主人之爱而又得不到真情的凄楚之音，难言之音。吹笛者不知是谁，最后两句，引用六朝“王谢女”故事，作了回答。唐代文学家刘禹锡《金陵五题》写道：“朱雀桥边野草花，乌衣巷口夕阳斜。旧时王谢堂前燕，飞人寻常百姓家。”正是这“旧时王谢堂前燕”，烘托出了欢送王胜之上任之歌妓深情：既吹笛“多情”，又“相逐过江来”。
下片，写情势不许，情爱成影，有难言之隐。第一、二句，点化活用宋玉《高唐赋》中神话。巫山神女比喻“相逐过江来”的歌妓与侍女；将其神话比作情爱，尚未成真而今又分离了。作为歌妓，就是歌妓，官人无论如何喜爱，但要成为真正情爱是难越过封建社会等级观念障碍的，自然“相逐过江来”的歌妓与侍女，只能“云雨未成还又散”，令人“思量好事难谐”。第三、四句，从两个方面点明“云雨散”，“好事难谐”的原因：一是“凭陵”逼迫，情势不允许；二是“急桨”人催促开船不容犹豫。所以“两相催”成了这种不得不分离的现状和难言之隐的伤痛，“妓婵娟，不长妍”（孟东野《婵娟篇》）。最后两句“想伊归去后，应似我情怀”，为点题之笔，道出了东坡十分同情歌妓的心底之言：将心比心，心心相印，悔而又晚，隐痛难言，此恨绵绵无尽期。
这首词原本为送王胜之龙图至南都之作。只因即歌妓与侍女陪送之事，而转到写这些底层女性无主的命运。在官人当政春风得意时，这些歌妓与侍女就是“王谢女”；当官人贬谪或迁移不得志时，这些歌妓与侍女则成为“归去”女。作者批判昔日的秦淮韵事，同情眼前吹奏哀笛的歌妓的凄凉命运，就充分反映了他不为世俗传统观点束缚的新型妇女观。
小令在“废圃”的“废”字上做足文章。要表现出废园的光景，当然得让事实来说话。于是作者以八句的大篇幅，来列举出种种例子。这些例示并无一定的排列规则，隐示了“触目皆是”、“信手拈出”的含义。而在具体的表现方式上，又时出变化，避免了獭祭的单调。
起首两句，以断语的形式出现。一是地上的苔藓，厚厚地铺了一层，颜色已现苍黑；一是壁上的题诗，墨迹隐约可辨，显示了陈年的特征。苔上着一“古”字，而题作则重于其“痕”，一苍一旧，呈现着荒凉残败的气象。前者反映自然，后者关合人事，这一起笔就定下了全曲的基调。
三、四两句是另一种写法，出现了动作的形象。花卉无人照料，自开自谢，所余者稀，故曰“疏花”；落叶本已枯凋，飘坠日久，用上一个“老”字，妥帖传神，几无他字可易。“照水”、“沉沟”虽含有动词，到头来却归于静止。这又在荒败的景象上增添了几分沉寂。
“蜂黄”两句是互文见义，作者有意运用“蜂黄”和“蝶粉”的近义词，也可说是一句分作两句表达。“罗袖”在诗歌中多属女性的服饰，在该曲中显然是指绣屏上残存的仕女图像。“绣屏”是室内的布置，而蜂蝶竟纷纷登堂入室，“废圃”的残破不堪，就更不在话下了。
七、八两句为垂杨写照，则用了拟人化的移情手法。前述种种都是作者的观察，虽是着意细绘，却未有直接表达情感的机会。而此两句则表现了强烈的主观感情色彩，推近了作者的主体。这就是王国维在《人间词话》中所谓的“有我之境，以我观物，故物皆着我之色彩”。这就为下文诗人的直接出场安排了过渡。
结尾作者出了场，却已是在离开废圃之后。他甚而没有就此行发表进一步的感想，因为列示的景象本身已经说明了一切。他只是以“寻村问酒”的举动来坐实自己的感伤，而“湖上”竟也是一片无人的死寂。这一结笔更加重了废圃的悲剧气氛。值得一提的是，诗人在作品中有意识地选择了足与废圃前身引起联想的景物，如花叶蜂蝶、绣屏题痕、东风垂杨等。作者虽未言明它们变化衰残的成因，但作品感慨盛衰无常的主题，却在字里行间中表现了出来。
