此词可分三层。
上片为第一层，由江行沿途所见山川引起怀昔游，痛惜年华之意。长江中下游地区山川秀美，辛弃疾南归之初，自乾道元年至三年，曾漫游吴楚，行踪遍及大江南北，对这一带山水是熟悉的。乾道四年通判建康府，此后出任地方官，调动频繁，告别山水长达十年。此时复见眼中川“都似旧时相识”了。“溪山”曰“过眼”，看山却似走来迎，这是江行的感觉。“怪”是不能认定的惊疑感，是久违重逢的最初的感触。往事虽“还记得，却模糊、记不真切，真象一场旧梦。
“还记得、梦中行遍，江南江北”，“梦中”云者不仅有烘托虚实之妙，也是心理感受的真实写照，这种恍惚的神思，乃是多年来雄心壮志未得实现。业已倦于宦游的结果。反复玩味以上数句，实已暗伏“尘劳”、觉非之意。官场之上，往往如山水一般旧曾相识虚如幻梦不如远离，同时也就成了一种强有力的召唤，来自大自然的召唤。所以，紧接二句写道：“佳处径须携杖去，能消几两平生屐？”要探山川之胜，就得登攀，“携杖”、着“屐”（一种木底鞋）是少不了的。
《世说新语·雅量》载阮孚好屐，尝曰：“未知一生当着几量（两）屐？”意谓人生短暂无常，话却说得豁达幽默。此处用来稍变其意，谓山川佳处常在险远，不免多穿几双鞋，可这又算得了什么呢！所以结尾几句就对照说来，“笑尘劳、三十九年非”乃套用蘧伯玉（春秋时卫国大夫）年五十而知四十九年之非的话（语出《淮南子·原道训》），作者当时四十岁，故这样说。表面看，这是因虚度年华而自嘲，其实，命运又岂是自己主宰得了的呢。“长为客”三字深怀忧愤，语意旷达中包含沉郁。实为作者于四十年年来之感慨，年已四旬，南归亦久，但昔日的志愿，却无一件得以实现，感慨，今是昨非，一生劳碌，原来“长为客”无丝毫是自己左右的。
这片六句另起一意为第二层，由山川地形而引起对古代英雄事迹的追怀。扬州上游的豫章之地，历来被称作吴头楚尾。“吴楚地，东南坼”化用杜诗（《登岳阳楼》：“吴楚东南坼”），表现江行所见东南一带景象之壮阔。如此之山川，使作者想到三国英雄，尤其是立足东南北拒强敌的孙权，最令他钦佩景仰。曹操曾对刘备说：“今天下英雄，唯使君与操耳。”（《三国志·先主传》）而孙权堪与二者鼎立。此处四句写地灵人杰，声情激昂，其中隐含作者满腔豪情。“被西风吹尽，了无陈迹”二句有慨叹，亦有追慕。恨不能起古人于九泉而从之的意味，亦隐然句中。
结尾数句为第三层，是将以上两层意思汇合起来，发为更愤激的感慨。“楼观才成人已去”承上怀古，用苏轼诗“楼成君已去，人事固多乖”（《送郑户曹》）意，这里是说吴国基业始成而孙权就匆匆离开人间。“旌旗未卷头先白”承前感伤，由人及己，“旌旗”指战旗，意言北伐事业未成，自己的头发却先花白了。
综此二者，于是词人得出一个无可奈何的结论：人间哀乐从来循环不可琢磨（“转相寻”），“今犹昔”。这结论颇带宿命色彩，乃是作者对命运无法解释的解释。更是作者对命运不如已愿，人事多乖的感叹。
词中一方面表示倦于宦游——“笑尘劳、三十九年非”，另一方面又追怀古代英雄业绩，深以“旌旗未卷头先白”为憾，反映出作者当时矛盾的心情。虽是因江行兴感，词中却没有着重写景，始终直抒胸臆；虽然语多含蓄，却不用比兴手法，纯属直赋。这种手法与词重婉约、比兴的传统是完全不同的。但由于作者是现实政治感慨与怀古之情结合起来，指点江山，纵横议论，抒胸中郁闷，驱使古人诗文于笔端，颇觉笔力健峭，感情弥满。所谓“满心而发，肆口而成”，自具兴发感人力量。
中唐诗人窦巩有《南游感兴》七绝云：“伤心欲问前朝事，唯见江流去不回。日暮东风青草绿，鹧鸪飞上越王台。”而窦诗显然又源于李白的《越中览古》：“越王勾践破吴归，义士还家尽锦衣。宫女如花满春殿，只今唯有鹧鸪飞。”本曲的前五句，化用窦巩的诗意，而“鹧鸪啼处”云云，则明显地流露出了霸业不存、风流事散的兴亡之感。倪瓒生活在元代的中晚期，无所谓遗民思想，曲中的“前朝事”是将越王台沿经的历史一网打尽，并不专指宋朝；但历史的盛衰、岁月的无情，一样会引起怀古者的“伤心”。窦诗是“伤心欲问前朝事”，而小令却“伤心莫问前朝事”，一字之差，绝望和无奈的感情色彩就表现得更加强烈。
作者禁不住“怅然孤啸”。“啸”是感情激越、一舒抑塞的表现，而一个“孤”字，又有心事无人知会的意味。“青山故国，乔木苍苔”是登台的所见，它较之前片的“东风草绿，残照花开”更增加了悲凉的色彩。“当时明月”等三句又借助了唐诗的意境。刘禹锡《石头城》有“淮水东边旧时月，夜深还过女墙来”的诗句，李白《苏台怀古》也说“只今惟有西江月，曾照吴王宫里人。”明月是历史的见证，如今“依依素影”又高悬在越王台的上空。诗人独发一问：“何处飞来？”问得似乎突兀，但含意是十分显明的：“当时”的江山久已换主，那么“当时”的明月怎么又会飞来重临呢？这一笔同前引的《石头城》《苏台怀古》一样，是借助嗔怪明月的多事、无情，抒发怀古的幽思。作者起笔云“伤心莫问前朝事”，至此还是问了，并问得那样投入、那样悲哀。“依依”是依恋不去的模样，说明明月在天空徘徊已久。而诗人从“残照”时分直留到月夜，这“依依”两字也就成了一种移情手法，表现出了作者对故国山河的倦倦深情。
这首小令除了善于从唐人诗句中袭意外，在景物的描写上也深得风神。“东风草绿，残照花开”表现江山无主，“青山故国，乔木苍苔”表现世事无常。以此为陪主之宾，则“越王台”的悲凉寂寞自在意中。又诗人选取了亘古恒在的景物如东风、残照、青山、明月，与时过境迁的绿草、野花、乔木、苍苔交插在一起，在特定的空间中导入了苍茫的时间感，从而将抚今思古的主旨形象地表现了出来。