上片是写张平甫所纳小妾别家的情景。“双螺未合，双蛾先敛”，言小妾束妆待发，准备出嫁的嫁头尚未做好，眉头就紧收起来，表明心情有些矜持和悲凉。“家在碧云西”，点出女子家乡幽远。接着“别母情怀，随郎滋味，桃叶渡江时”三句从三个层面来写姑娘的愁源。一是离开母亲的怀抱，二是跟随一个不熟悉的、无感情基础的人生活，三是不确定从自己去后能否有传说中的桃叶与王献之那样生活幸福。王献之爱妾桃叶的典故也映衬出张平甫的身份高雅和小姑娘的柔美可爱。
下片“扁舟载了，匆匆归去，今夜泊前溪”三句，写小姑娘坐上小船被载去张平甫的前溪别墅，一路上春意浓烈，更衬托出小姑娘无心去欣赏春光，自己心已无春情，愁绪满胸。“杨柳津头，梨花墙外，心事两人知。”一路上行经绿杨垂荫的津渡，梨花高出墙外的园林，各自的心绪感想，只有两人知道。结句很有意味。“心事两人知”这样的情景，不能不让人发愁。
姜夔以“桃叶渡江时”句，即点明张平甫纳妾之意，又在说小姑娘自己想是否有桃叶的幸福生活。用“泊前溪”交待张平甫把小姑娘纳去的地方。写“梨花”开出墙外，一是说明张平甫纳妾时间是在春天，二是反衬小姑娘心中已无春意，只有愁绪在心头。“匆匆”二字则体现对小姑娘的不尊重，有强行之意。“扁舟”用得又非常恰当，有偷偷摸摸，不是大张旗鼓之意。开拍就是“双螺未合，双蛾先敛”，很有不情愿，愁绪满心头之状。
姜夔在此词里反映了男尊女卑的社会问题，男的娶妾，女的被迫嫁出。姜夔不一定意识到妇女要解放的道理，但他就在此词中写出了男女不平等的现状。小姑娘有苦有愁不敢言，只留心头，只能表现在眉头紧收。姜夔的笔下描写得细致，把一个大的社会问题，用一场“纳妾”过程揭露得淋漓尽致。或许也是有许多这样“男女不平等”的呼声，给后来“妇女解放”奠定了理论基础。若如此，姜夔此词当是许多“呼声”中的一种，而且是比较早的呼声。
此词以一个仙凡恋爱的故事起头，写词人与情人分别之后，旧地重游而引起的怅惘之情。整首词通篇对偶，凝重而流丽，情深而意长。
首句“桃溪”用东汉刘、阮遇仙之事典。传东汉时刘晨、阮肇入天台山采药，于桃溪边遇二女子，姿容甚美，遂相慕悦，留居半年，怀乡思归，女遂相送，指示还路。及归家，子孙已历七世。后重访天台，不复见二女。唐人诗文中常用遇仙、会真暗寓艳遇。“桃溪不作从容住”，暗示词人曾有过一段刘阮入天台式的爱情遇合，但却没有从容地长久居留，很快就分别了。这是对当时轻别意中人的情事的追忆，口吻中含有追悔意味，不过用笔较轻。用“桃溪”典，还隐含“前度刘郎今又来”之意，切合旧地重寻的情事。
第二句用了一个譬喻，暗示“桃溪”一别，彼此的关系就此断绝，正象秋藕（谐“偶”）断后，再也不能重新连接一起了，语调中充满沉重的惋惜悔恨情绪和欲重续旧情而不得的遗憾。人们常用藕断丝连譬喻旧情之难忘，这里反其语而用其意，便显得意新语奇，不落俗套。以下两句，侧重概括叙事，揭出离合之迹，遥启下文。
“当时相候赤阑桥，今日独寻黄叶路。”三四两句，分承“桃溪”相遇与“绝来无续”，以“当时相候”与“今日独寻”情景作鲜明对比。赤阑桥与黄叶路，是同地而异称。俞平伯《唐宋词选释》引顾况、温庭筠、韩偓等人诗词，说明赤阑桥常与杨柳、春水相连，指出此词“黄叶路明点秋景，赤阑桥未言杨柳，是春景却不说破。”同样，前两句“桃溪”、“秋藕”也是一暗一明，分点春、秋。三四正与一二密合相应，以不同的时令物色，渲染欢会的喜悦与隔绝的悲伤。朱漆栏杆的小桥，以它明丽温暖的色调，烘托往日情人相候时的温馨旖旎和浓情蜜意；而铺满黄叶的小路，则以其萧瑟凄清的色调渲染了今日独寻时的寂寞悲凉。由于是“独寻黄叶路”的情况下回忆过去，“当时相候赤阑桥”的情景便分外值得珍重流连，而“今日独寻黄叶路”的情景也因美好过去的对照而愈觉孤孑难堪。今昔之间，不仅因相互对照而更见悲喜，而且因相互交融渗透而使感情内涵更加复杂。既然“人如风后入江云”，则所谓“独寻”，实不过旧地重游，记忆中追寻往日的缱绻温柔，孤寂中重温久已失落的欢爱而已，但毕竟寂寞怅惆中还有温馨明丽的记忆，还能有心灵的一时慰藉。今昔对比，多言物是人非，这一联却特用物非人杳之意，也显得新颖耐味。“赤阑桥”与“黄叶路”这一对诗歌意象，内涵已经远远越出时令、物色的范围，而成为一种象征。
换头“烟中列岫青无数，雁背夕阳红欲暮”两句，转笔宕开写景：这是一个晴朗的深秋的傍晚。烟霭缭绕中，远处排立着无数青翠的山峦。夕阳的余辉，照映空中飞雁的背上，反射出一抹就要黯淡下去的红色。两句分别化用谢朓诗句“窗中列远岫”与温庭筠诗句“鸦背夕阳多”，但比原句更富远神。它的妙处，主要不景物描写刻画的工丽，也不景物本身有什么象征涵义；而于情与景之间，存着一种若有若无、若即若离的联系，使人读来别具难以言传的感受。那无数并列不语的青嶂，与“独寻”者默默相对，更显出了环境的空旷与自身的孤孑；而雁背的一抹残红，固然显示了晚景的绚丽，可它很快就要黯淡下去，消逝一片暮霭之中了。
结拍“人如风后入江云，情似雨馀粘地絮。”两句，收转抒情。随风飘散没入江中的云彩，不但形象地显示了当日的情人倏然而逝、飘然而没、杳然无踪的情景，而且令人想见其轻灵缥缈的身姿风貌。雨过后粘着地面的柳絮，则形象地表现了主人公感情的牢固胶着，还将那欲摆脱而不能的苦恼与纷乱心情也和盘托出。这两个比喻，都不属那种即景取譬、自然天成的类型。而是刻意搜求、力求创新的结果。但由于它们生动贴切地表达了词人的感情，读来便只觉其沉厚有力，而不感到它的雕琢刻画之迹。“情似雨馀粘地絮”，是词眼，全词所抒写的，正是这种执着胶固、无法解脱的痴顽之情。
此词纯用对句，从而创造了一种与内容相适应的凝重风格。整首词于排偶中，仍具动荡的笔墨，凝重之外而兼流丽风姿。《白雨斋词话》评此词云：“美成词有似拙实工春，如玉楼春结句云：”人如风后入江云，情似雨余粘地絮。“上言人不能留，下言情不能已。呆作两臂，别饶姿态，都不病其板，不病其纤，此中消息难言。”以这段话评价此词的工巧深沉和灵活轻捷，应该是精当的。