词的上阕在写景物，“雾失楼台，月迷津渡”一出语便已入哀景之中，从后句“桃园望断无寻处”可以想到，楼台、津渡都是因情所设之景，可能现实中并不存在。是由词人内心的不被人理解的情怀，无处宣泄所生出无人问津之感。桃花一语又让人联想到了桃花源记一文，诗人也正是想表达出一种离世厌俗的情感。常常文人在政治上不得志后的第一反应大多数也是出世，出离。浸淫于佛道的太虚，更是如此。在其稍晚些的作品《宁浦书事》中就提到了“我岂更求荣达”之语。在《反初》中也流露出了对田园隐居生活的向往。
“可堪孤馆闭春寒，杜鹃声里斜阳暮”则又将情景拉入到了悲凉之谷底，可堪孤馆和一个寒字，写尽了词人心中的孤苦凄凉，杜鹃啼血，本就凄凉又怎堪残阳日暮。自古日暮是归途，词人或许是在感叹自己生命将暮，或许在感叹仕途将暮。独在异乡，偏听子规，子规子规，何时子归。诗人或许又在感叹自己离别亲人，远离家乡的哀愁吧。在《题郴阳道中一古寺壁》中，少游哀叹“行人到此无肠断，问尔黄花知不知”，“北客念家浑不睡，荒山一夜雨吹风”从景物之凄凉，过渡到了内心之凄凉。在《宁浦书事》“骨肉未知消息，人生到此何堪”一语中，他更加直白地流露出了对远方亲人的思念之感。有理由相信，词人此时听到子规啼夜的心情是无比惆怅的，再加上孤身一人，念及家乡也是情理之中。
下片由叙实开始，写远方友人殷勤致意、安慰。“驿寄梅花，鱼传尺素。”连用两则有关友人投寄书信的典故，分见于《荆州记》和古诗《饮马长城窟行》。寄梅传素，远方的亲友送来安慰的信息，按理应该欣喜为是，但身为贬谪之词人，北归无望，却“别是一般滋味在心头”，每一封裹寄着亲友慰安的书信，触动的总是词人那根敏感的心弦，奏响的是对往昔生活的追忆和痛省今时困苦处境的一曲曲凄伤哀婉的歌。每一封信来，词人就历经一次这个心灵挣扎的历程，添其此恨绵绵。
故于第三句急转，“砌成此恨无重数。”一切安慰均无济于事。离恨犹如“恨”墙高砌，使人不胜负担。一个“砌”字，将那无形的伤感形象化，好像还可以重重累积，终如砖石垒墙般筑起一道高无重数、沉重坚实的“恨”墙。恨谁？恨什么？身处逆境的词人没有明说。联系他在《自挽词》中所说：“一朝奇祸作，漂零至于是。”可知他的恨，与飘零有关，他的飘零与党祸相联。在词史上，作为婉约派代表词人，秦观正是以这堵心中的“恨”墙表明他对现实的抗争。他何尝不欲将心中的悲愤一吐为快？但他忧谗畏讥，不能说透。于是化实为虚，作宕开之笔，借眼前山水作痴痴一问：“郴江幸自绕郴山，为谁流下潇湘去？”无理有情，无理而妙。好像词人在对郴江说：郴江啊，你本来是围绕着郴山而流的，为什么却要老远地北流向潇湘而去呢？关于这两句的蕴意，或以为：“郴江也不耐山城的寂寞，流到远方去了，可是自己还得呆在这里，得不到自由。”（胡云翼《宋词选》）或以为词人“反躬自问”，慨叹身世：“自己好端端一个读书人，本想出来为朝廷做一番事业，正如郴江原本是绕着郴山而转的呀，谁会想到如今竟被卷入一切政治斗争漩涡中去呢？”（《唐宋词鉴赏辞典》）见仁见智。
依笔者拙意，对这两句蕴意的把握，或可空灵一些。词人在幻想、希望与失望、展望的感情挣扎中，面对眼前无言而各得其所的山水，也许他悄然地获得了一种人生感悟：生活本身充满了各种解释，有不同的发展趋势，生活并不是从一开始便固定了的故事，就像这绕着郴山的郴江，它自己也是不由自己地向北奔流向潇湘而去。生活的洪流，依着惯性，滚滚向前，它总是把人带到深不可测的远方，它还将把自己带到什么样苦涩、荒凉的远方啊！正如叶嘉莹先生评此词说：“头三句的象征与结尾的发问有类似《天问》的深悲沉恨的问语，写得这样沉痛，是他过人的成就，是词里的一个进展。”（《唐宋词十七讲》）与秦观悲剧性一生“同升而并黜”的苏轼，同病相怜更具一份知己的灵感犀心，亦绝爱其尾两句，及闻其死，叹曰：“少游已矣，虽万人何赎！”自书于扇面以志不忘。是以王士祯云：“高山流水之悲，千古而下，令人腹痛！”（《花草蒙拾》）
综上所述，这首词最佳处在于虚实相间，互为生发。上片以虚带实，下片化实为虚，以上下两结饮誉词坛。激赏“可堪孤馆闭春寒，杜鹃声里斜阳暮”的王国维（静安），以东坡赏其后二语为“皮相”。持论未免偏颇。深味末二句“郴江”之问，其气格、意蕴，毫不愧色于“可堪”二句。所谓东坡“皮相”之赏，亦可谓“解人正不易得”。全词以委婉曲折的笔法，抒写了失意人的凄苦和哀怨的心情，流露了对现实政治的不满。