这首词借写深秋萧瑟之景以抒发作者相思之愁绪，表达了作者对旧日恋人的深厚情意。全词写景多采用以情设景之法，在布景中运用多种方式渲染愁情。
词的发端“残叶翻浓”一韵，布出秋景，以渲染今之愁情。言秋风阵阵，残叶翻转，秋意更浓，残荷馀香，苦意栖存，一派秋声蕴含着幽怨之情。此是景中情，更是情中景。“云影摇寒”一韵，点出爱姬离去。先以景物铺染，白云舒卷满蕴着寒意，碧波摇荡不见伊人的倩影。“销腻”化用《阿房宫赋》：“渭流涨腻，弃脂水也。”以美人胭脂消失，暗写姬之离去。“动房人去深扃”明点姬去，绣门紧锁。此韵的“云影”“波尘”亦是情中景。昼成凄黯”一韵，写时光荏苒，更觉伤感。“雁飞过”言秋去。“垂杨转青”言春来。“昼成凄黯”为倒装句，言不管秋去还是春来，悲愁使人白天也是满目晦暗，满耳凄清。此非眼中景，而是以景抒情的情中景。歇拍“阑干横暮”一韵，眼前的凭栏处，只有暮霭横陈，昔日爱姬已远去不返。“酥印痕香”言爱姬玉腕香迹。“酥”形容皮肤洁白柔软如脂。“玉腕谁凭”此以设问句出之，带出无限伤感。
换头继写姬之离去。“菱花乍失娉婷”一韵，写菱花镜内再也照不见爱姬姣美的身影，“别岸围红”一韵，以设想之景作反衬，言他处是红花绕岸，美女如云，欢声笑语，而我这里，即或真的“重洗清杯，同追深夜”，也只能是“豆花寒落愁灯”，这里以“寒”“愁”修饰一灯如豆，可见“重洗清杯”“同追深夜”是设想之词，实不可能。此以虚写实，加浓了愁情的深度。上韵中的“千艳”“倾城”映树此韵中的“愁灯”，这正是以乐景写愁情，倍增其哀也。“近欢成梦”一韵，继写姬去之悲，“断云层、巫山几层”化用巫山神女的故事，言两人相爱已成梦幻。宋玉《高唐赋序》：“昔者先王尝游高唐，息而昼寝，梦见一妇人曰：“妾巫山之女也，为高唐之客，闻君游高唐，愿荐枕席。王因而幸之。去而辞曰：‘妾在巫山之阳，高丘之阻，旦为行云，暮为行雨，朝朝暮暮，阳台之下。’”最后“偷相怜处”一韵，亦设想之辞，表达了对姬之挚爱深情。言如果我另有新欢，岂不辜负你，使你伤情消瘦。黑尽金篝”指熏笼之香燃尽，既从夜达旦意。“云英”化用歌妓云英未嫁的典故。《唐才子传·罗隐》：“隐初贫来赴举，过钟陵，见营妓云英有オ思。后一纪，下第过之。英曰：‘罗秀才尚未脱白？’隐赠诗曰：‘钟陵醉别十余春，重见云英掌上身。我未成名英未嫁，可能俱是不如人。’”
此词写景多采用以情设景之法，在布景中渲染愁情。渲染法多种多样，有用烘托法，如首韵以苦景烘托悲情；有用映衬法，如二、三韵以凄寒、黯淡之景映衬悲情；四韵以虚拟的玉腕印香不存之景映衬愁情；八韵以梦幻之景映衬惆怅之情；有的用对比法，如六、七韵以红艳之景反村豆灯寒愁之悲情。其二，此首词语锤炼极精。如“残叶翻浓”以“翻浓”修饰“残叶”，赋予“浓”字以深深的愁意，而且“浓”在“翻”字之后，使愁意不断加深加浓，词非静态，而是富有动感。“馀香栖苦不仅写出荷香尚留，而且以“苦”来形容“香”，运用通感手法，将味觉和嗅觉统一起来，而且还说“苦”是“梄”留在荷花上，此运用拟物法，将荷香比拟成禽类，赋予了活泼泼的生命。“云影摇寒”写“云”着一“影”字，加浓了云的朦胧感，再著一动词“摇”字，似乎那“寒”是“云影”为之，如此将无生命物赋予生命，富有动态美。再如“雁飞过、垂杨转青”言秋去春来，以雁、杨写季节变化，增加了色彩与动感，将“春”“秋”赋予形象。“豆花寒落愁灯”以“寒”“愁”二字修饰“灯”，用拟人法，将姬走后，人之悲情托出。在词语锤炼中还表现在对仗上，如“残叶翻浓”对“馀香栖苦”，“云影摇寒”对“波尘销腻”，不仅词性相对，而且平仄相对，甚至名词中的事类亦相对。无怪张炎说：“吴梦窗善于炼字面。字面亦词中之起眼处，不可不留意也。”（《词源》）陈廷焯则说：“梦窗才情横逸，斟酌于周秦姜史之外，自树一帜，亦不专师白石也。”（《白雨斋词话》）
从诗中可知，胡逸老此人为人不慕荣利，雅有山水之趣。黄庭坚在敬慕的同时，也表明了自己的高雅情怀。
诗人先发议论：诗书传家能使后代成才，而遗金满篓往往给子孙招来祸害。这里用了韦贤的典故。据《汉书·韦贤传》，韦贤号称邹鲁大儒，教育了四个儿子，都很有成就。赞美了胡逸老的诗礼传家，显示其品格的清高，令人仰慕。首联二句劈空而来，气势惊挺。
颔联承上，进一步赞美庵主的仁爱之心。说他在灾年能拿出粮食与贫人共享，和气必能致祥，后代必得佳子弟。这里用了韦康、韦诞兄弟的典故。据《三国志·魏书·荀彧传》裴松之注，孔融赞扬韦端的两个儿子韦康与韦诞为一双明珠。诗人意谓，胡逸老必能像韦端那样，明珠出于蚌胎，佳子弟出于门庭。
颈联转到正面写致虚庵。白天闲坐庵中，眼前的山景如一幅幅图画映出；入夜倚于窗前，只觉风雨飒飒而来。这是脍炙人口的名句。诗评家认为这两句“奇”。之所以奇，是因为：第一，化静为动。将致虚庵依山傍水的位置，作了动态描写。“出”、“来”二字，将山水写活。第二，化实为虚。什么样的“画图”，尽可让读者去想象；夜来风雨是隔窗听到，并非眼见，也是虚写实事。第三，情景交融。五句写视觉，六句写听觉，整联都有能视能听的主体存在。宴坐的闲适，听雨的从容，都在不言之中。庵主高雅的人格、广阔的胸襟，与前两联一脉相承。只不过前两联是直叙，这里是衬托。
尾联总收全诗，照应开头。以闲逸之心观山观水，山水的妙境能常现于心目之前。而山水的清淑之气又能涤荡肠胃，使此心澄清无滓，一尘不染。这里一方面说胡逸老，另一方面也披露了诗人自己的胸襟。
