词以写景导入。“江水苍苍”三句是愁人眼中的秋色。江水浩渺而苍茫，秋天江潮常是最为壮观的，但在流放异乡的词人看来，江水仿佛离人之泪，纵使秋江都是泪，也流不尽许多愁。“倦柳愁荷”更是情景交融。秋霜以后，柳叶行将败落，已不是春夏时节的青翠欲滴，荷叶几个月来辛勤扶持着娇艳的荷花，这时花落叶老，往日的郁郁葱葱已不复存在，以至只留下听秋雨的“残荷”（别本“愁”即作“残”）。而这江、这柳、这荷，都感受到秋天的袭来。“废阁”、“古帘”与下文“清灯冷屋”都是写词人居所的。阁已“废”，却还住人；帘已“古”，却还挂着，可见词人生活的清贫。“雁程最嫌风力”句，“雁程”，指雁之行程。“嫌”，即怕。雁飞最怕风大，逆风飞翔，吃力而难停歇，自然也就不能捎来故园信息。史达祖原籍是北宋故都汴梁，但他生于高宗绍兴末年，一生大部分时间是在南宋都城临安度过的，其亲友也大都在那里。这里的“故园”，应指其西湖边葛岭一带的家园。“爱渠入眼南山碧”一句是忆旧。“渠”，即它。
“南山”在临安是实有的，大旗山北有一座高四十余丈的山即名南山，山上有杜牧墓。西湖周围尚有南屏山、南高峰，皆可谓之“南山”，但这里当是泛指居所南面的群山。词人身处贬所，故格外留恋过去临安的家居生活。一“爱”字，一“碧”字，与上文贬所景象之感情色彩成了鲜明对照。“念上国”一句，明白道出所念乃是京都。词人尽管身遭不幸，而忠君爱国之心并未改变。“谁是脍鲈江汉未归客”一句，乃反躬自问，这江汉未归之客实指词人自己。“江汉”指长江、汉水间的地域。如杜甫在江陵（今属湖北）作诗自称“江汉思归客”，即指旅居在江、汉之间。此词的“江汉未归客”字面亦当本于杜诗。“脍鲈”用晋人张翰的典故。张翰任齐王冏之东曹椽，因秋风起，思吴中菰菜、莼羹、鲈鱼脍，遂辞官，命驾归。
作者以张翰自诩，但却不能如张翰之全身远祸。宋代官员得罪流放远州，轻者送某州居住，稍重曰安置，又重曰编管，皆指定居住地，受地方官约束，不得自由行动。况且他是鲸面流放，身不由己，有家难归，并非留恋爵禄。词写至此，词情更为抑郁，便由伤秋怀乡转而感伤不幸身世。
过片句以“还又”二字作过渡，更进一层。苍苍江水，倦柳愁荷，已使江汉未归之客黯然神伤，又值“岁晚”，况是“瘦骨临风，夜闻秋声”，故倍增孤寂之感。“岁晚”，犹岁暮。俗话说：“年怕中秋月怕半”，中秋以后，一年过去大半，仿佛日之黄昏，无怪乎杜甫《秋兴》诗中“一卧沧江惊岁晚”即谓深秋为“岁晚”。“瘦骨”二字道出词人贬中体貌枯槁，精神憔悴。
“夜闻”二句写客中的所闻所感。秋时西风作，草木凋零，多肃杀之声，而称“秋声”。庾信《周谯国公夫人步陆孤氏暮志铭》谓“树树秋声，山山寒色”。秋声乃西风吹动树木所发。“岑寂”，为冷清、寂寞之意。词人孤身羁旅，对萧瑟之秋风，萌发寂寥之情。
此情既是触景而生，也是贬谪中的爱国志士无往而不在的身世之感的真实流露。词人一心报效祖国，他曾“每为神州未复”（《龙吟曲》）而忧心忡忡，也曾幻想“趁建瓴一举，并收鳌极”（《满江红》），更希望有一天能“办一襟风月看升平，吟春色”（《满江红》）。但他寄予厚望的开禧北伐失败了，主战者的头颅成了向敌人讨好的贡品，当时的形势诚如王夫之《宋论》指出的：“侂胄诛，兵已罢，宋日以坐敝而讫于亡。”国事一日不如一日，有着报国之心的词人不能无动于衷。但眼前的现实却如此冷酷：“露蛩悲、清灯冷屋，翻书愁上鬓毛白。”蛩即蟋蟀，秋露降下，蟋蟀悲鸣，仅有冷屋中的一盏孤灯与词人相伴，只能以“翻书”来打发这漫漫长夜。屋是冷的，阁是破的，词人的心也是碎的。他忧国伤时，故愁得鬓发都白了。曾几何时，公元1201年（嘉泰元年）张镃为他的词集作序时还称他“郁然而秀整”，且“须发未白”，时间过去不多几年，他竟然已“瘦骨临风”、“鬓毛白”。其实他这时还不到五十岁，却已早衰。他早年也曾到过江汉一带，当时正值青春年少，与好友们相约嬉游的情景还历历在目，犹如昨日。可是此时贬谪故地，却是万般无奈，惊魂不定。史弥远政变的刀光剑影仿佛还在词人眼前晃动。继韩侂胄遇害后，丞相陈自强也被贬死雷州，北伐主帅苏师旦被处斩于韶州。史弥远虽对外只会腆颜事敌，但对政敌的迫害却从不手软。这时，史达祖在贬所会不会受到新的迫害只有天才知晓，但这种威胁是无时不在的。他既无辛弃疾那样的雄才大略，性格上也缺少稼轩的英雄气概，在这首词中也不难看出。
“苒苒”二字乃柔弱之意，“苒苒魂惊”，正透出他性格上软弱的一面。故当其客中送客之际，只能一洒志士之泪，却无一壮语赠别，连牢骚也不敢发。后结二句，为送别寄远之辞。“南浦”指南面的水边。《离骚》有“送美人兮南浦”之句，又江淹《别赋》云：“春草碧色，春水渌波，送君南浦，伤如之何！”这里借“南浦”而点出送别之意。“烟驿”，指词人之居所，与前文之“废阁”、“冷屋”同义。“剪梅”乃寄远常用之典。据《荆州记》载，“陆凯、范晔相善，自江南寄梅花一枝诣长安与晔，并赠诗曰：‘折梅逢驿使，寄与陇头人。江南无所有，聊赠一枝春。’”因无所有而折梅寄远已属可叹，何况词人身处贬所，寄远之际更多一番不足为外人道的苦情。词即在这哀怨之中结束了，更显得一往情深。
从这首词的艺术表现手法看，也是颇具特色的。词人身遭不幸，家国之恨、身世之感郁积于胸，不可不言而又不可明言，故形成了一种沉郁苍凉的风格和回环往复、虚实相间的抒情结构。词人深沉哀怨之情是历历可感的。“雁程最嫌风力”、“无奈苒苒魂惊”等语，都写得沉郁深挚，颇为感人。梅溪词受清真影响，在章法结构上常常通过种种回忆、想象、联想等手法，前后左右，回环吞吐地描摹出他所要表达的东西，看到的和想到的融于一篇。这一特点，在他被贬流放后的作品中表现得尤为突出。这首词正是如此。词中之江水、柳、荷、废阁、古帘、清灯冷屋，都是实景，而“受渠入眼南山碧”，“年少俊游浑断得”则是回忆与想象，全词以伤秋怀归贯穿全篇，虚虚实实，欲言又止，摇曳生姿，朦胧而不晦涩，这就比直抒胸臆更感人肺腑、耐人寻味。
含蓄蕴藉是沉郁风格的又一表现。结尾数句，既点明是送别友人，又将未了之情引起读者遐想，不尽之意见于言外，显得含意隽永，余音不绝。清人对此词非常推崇，推它为《梅溪词》的杰作，显然是有见地的。
这首词的上片写对杭州的怀念，下片想象归后同游共饮的情景。全词表现了作者对时光飞逝，今是昨非的一种感叹。
词的上片写对杭州的怀念。
开端从自身宦游的行踪说起，并倾注了对杭州的怀念之情：“蜀客到江南，长忆吴山好。”“蜀客”，表明了客籍的身份。“江南”、“吴山”，借指杭州，前者从地理位置说，后者则从山水美景说。“长忆”，是就行役在外而言，一个“好”字则概括了对杭州的总体印象。
事实上，词人从熙宁四年（1071年）十一月到杭州通判任开始，就与杭州结下了不解之缘。他赞美“余杭自是山水窟”（《将之湖州戏赠莘老》），甚至说“故乡无此好湖山”（《六月二十七日望湖楼醉书五首》之五），他拿起多彩多姿的诗笔，尽情地歌颂和描绘美丽的西湖风光，留下了《饮湖上初晴后雨二首》之二、《六月二十七日望湖楼醉书五首》之一、《有美堂暴雨》等精美的诗篇。因此，词人说他“长忆吴山好”，完全是出于真诚，虽然年近不惑，而不失其赤子之心。他又把吴、蜀作了比较，表达了早归的愿望：“吴蜀风流自古同，归去应须早。”所说的“归去”是指归杭州或是归故乡（蜀地），叙“自京口还钱塘道中”一语说得很清楚，当然是指眼前要去的目的地。既然“吴蜀风流自古同”，那么归吴（杭州）也就形同归蜀，与上文怀念杭州之意相承。
下片想象归后同游共饮的情景。
过片承上“归去”句，展开了与陈襄同游西湖的想象：“还与去年人，共藉西湖草。”两人坐在西湖边碧绿的草地上，共赏大自然美景，这是富有诗意的赏心乐事。妙在词人不作平平叙写，而是将温馨的回忆与对未来的想象“迭印”在一起，这就平添了诗的意蕴。两句既表达了友情，又扣住杭州美景来写，与上文“吴山好”、“吴蜀风流”相照应。篇末两句进而想象共饮的情景，要友人在宴会上仔细看一下，怕是自己容颜变得衰老了。这两句扣合着自身行役在外、数月未归的经历，流露出岁月流逝、羁旅劳苦的感慨。出语坦率而略带诙谐，这是真挚的友情一种自然的表露。
这首诗由夜游、昼游及感受三部分组成，每部分各占六句。按游览的时间顺序说，是昼游在先，夜游在后，而诗中却将夜游部分置于昼游之前。诗的首二句即从日暮写起，言暮时继续行游，至月夜而泛舟江上。次二句写水面如镜，风波不起。上有月光清朗，下有微波荡漾，水天一色，交相辉映，浸淫在一派闲静轻柔的氛围之中。而“沫”、“涉”二字又透出游者的情态，二字以工整的对仗，表现了主人公在江上纵情嬉戏的欢快情趣。五、六两句写夜行所见的奇异景色以应题。这两句以“竦”字描摹巨石的突起耸立之状，以“倒”字形容飞瀑的倾泻直下之势，仿佛石破天惊，蔚成壮观。以上六句，写出了夜游由陆路到水行，最后抵达目的地的全过程，而所见江水的平静和三山两溪的奇崛又情味迥异，生动地再现了景观的不同风神，可谓摇曳生姿。
“亦既穷登陟”以下六句，以倒叙笔法追忆昼游的所见之景。登山眺览，惟见一片莽莽苍苍的景象。“荒蔼”句为总写，概括了幽僻深杳的总体印象；“窥岩”和“披林”两句则分写山高、林密。重岩叠嶂、树林茂密，以至连天日都仿佛被遮蔽不见了。这里是用夸饰的手法极写环境之艰险，以为下文的张本。接下来“阳乌”两句，为记忆中的白昼游程摄下最后一个镜头：行者披着夕阳的余晖，正在幽深的竹林之中穿越而行。这两句中的“尚倾翰”、“未为邅”，与上两句的“不睹景”、“岂见天”似相牴牾，其实一为记实，一为描写，盖因用笔虚实之不同也。这六句从登山写到返程，最后以“阳乌倾翰”回顾照应到诗的首句，遂以“日垂”为契机，把昼游和夜游、山行和水行连成一气。全诗的写景纪游部分以后一段行程的起点发端，以前一段行程的终点收煞，拦腰说起，首尾承接，不仅使整个纪游部分显得神固气完，而且也使诗的章法布置别开生面，颇有奇观意外之妙。
诗的最后六句抒写感受。诗人由此番登陟的亲身经历，联想到巢居穴处的岩栖之难。巢穴的不蔽风雨固然可忧，然而更可忧的，是没有可以一吐衷肠的知己。这里或指诗人的“方外交”昙隆和法流二法师，这两位友人都是“辞恩爱，弃妻子，轻举入山”而作“高栖之游”的。诗人在《山居赋》中曾说：“苦节之僧，明发怀抱。……虽一日以千载，犹恨相遇之不早。”意谓：朋友相得之欢，一日胜似一千年。志同道合的朋友总是相见恨晚，此日如能同游，应该是十分欢欣雀跃。谢灵运在其吟咏石门的篇什中，每多抒写寂寞之感，如“惜无同怀客，共登青云梯”、“美人竟不来，阳阿徒晞发”等。此诗亦然。诗中的感受既是在登山过程中直接触发的，因而诗人将昼游部分移后，也就不难理解了。因为只有如此才便于使情景相关处连成一体，而避免了将情与景截分两橛的弊病。这种在章法布局上的缜密用意，正是大谢诗惨淡经营的一个重要方面。