首联写崇让宅荒凉景象。崇让宅有过繁华的、令诗人感到无限温馨的过去。这里有亭台池榭、桃竹荷花的美丽景色，更有水亭月幌、夫妇联袂吟诗的亲切记忆。而今重来旧地，但见重门紧锁，青苔掩地，如同废宅，往日热闹的回廊楼阁，由于空寂无人，显得特别深远。诗人不但用密、掩、深、迥等字重叠渲染，着意表现荒寂凄凉之感，而且在联末缀以“此徘徊”三字，传达一种寻寻觅觅、恍恍惚惚、若有所失的情绪。往日的繁华温馨与今日的凄凉冷落的强烈对照在诗人心中引起的感喟，也统于无语徘徊中包蕴。
颔联写室外景象。月亮朦胧含晕，预示明天又是风天；庭花怯于夜露，犹此瑟缩未开。“花未开”，切题内“正月”。花与月这两种通常以恬美明丽之感的景物，如今都笼罩着一层朦胧黯淡、凄寒惨淡的色调，表现出诗人“风露花月，不堪愁对”的心态。“先知”、“尚此”二语，尤见作意，暗透出畏惧风寒而风寒频仍、盼望温煦而温煦迟迟的凄寒心理。这种心理与其悲剧性与诗人一直穷愁潦倒，生计艰辛的遭遇有潜在的联系。
颈联由室外而室内，选择两种最能显示宅室空寂荒凉的事物——蝙蝠与老鼠，写它们的动态，以及诗人的反应。蝙蝠飞旋，掠动门帘上端的横沿（帘旌）；老鼠窜走，翻动窗檐下的丝网。这一片空寂荒凉中不见阳光的蝙、鼠的动态，反过来更衬出了宅室的荒寂。诗人栖宿如此空寂的室内，既思虑万千，又心存怵惕，在沉思默想中听到蝙、鼠的声响，不觉惊疑怔惧，更加辗转难寐。“小”字形容心中微微一怔，措词极有分寸。一“惊”、一“猜”，连下两个动词，体物精细入微。这两句以动写静，因为如果在风雨喧嚣的不宁静的夜里，是不会觉察出“蝙拂帘旌”、“鼠翻窗网”这样微细的声响的。而夜愈是寂静，愈是感到寂寞孤独，愈是加深加重对亡妻的忆念，因而才“展转”、“惊猜”，终夜不能成眠。
尾联由“惊猜”进入恍惚的状态。在黯淡朦胧的环境中，诗人的精神状态更加恍惚迷幻。衾枕之间，竟似还残存着妻子的一缕余香，宛然伊人犹在，遂情不此禁地与“余香”共语，并在不知不觉中轻声唱起《起夜来》的歌声。《乐府解题》：“《起夜来》，其辞意犹念畴昔思君之来也。”是妻子思念丈夫之辞。此诗不说此己忆念妻子，却说亡妻思念此己，这样从对方来说，其言更加沉痛，更见出作者的忆念之深沉，思情之惨苦。
这首诗的前三联写崇让宅荒凉景象和诗人极清寂的心情，在悼亡妻子的同时，又隐约透露崇让宅兴衰荒败的时世交故之痛。尾联将极端痛苦的感情化为绮罗香泽的欢喜，写出了恍惚迷离的精神状态，以痴情写悲痛，更觉凄惨。情节上层层推进，环环相生，寓情于景，借景抒情。全诗从白天到夜晚，由门外到宅内，再到室中，通过种种环境的层层描写，衬托出诗人悼念妻子的悲痛心情和复杂的内心活动。整首诗歌神韵凄婉，迷离冷清，情景交织，富有意境。
首联入题，点明杭州的黑暗政治现状。残酷压迫人民的钱大王，虽然死去千年，但他的幽灵还在杭州游荡；而效忠吴国的伍子胥，却落得葬身鱼腹，尸骨不可寻的悲惨结局。这两句诗寄托史事，影射现实， “仍如在”是点睛之笔，强调指出国民政府在杭州的暴虐统治。含蓄而尖锐地提出一个值得深思的问题：是在当今的“钱王”治下当顺民，还是步伍子胥后尘。这是从政治上暗示郁达夫，不要对浙江的国民政府当局抱任何幻想。
颔联从杭州的风光景色来说。“平楚日和”和“小山香满”，借对杭州幽美风景的描写，象征一种安乐、闲适的生活境界。 “憎”于“平楚日和”的“健翮”，“蔽”于“小山香满”的“高岑”，意思是说，翱翔云天，搏击风雨的雄鹰，厌恶风和日暖、平林漠漠的小天地；革命者如果陶醉在花香四溢的小山里，那就会遮蔽自己的政治视野，而不明革命的大理。鲁迅1928年去杭州时说：“至于西湖风景，虽然宜人，有吃的地方，也有玩的地方，如果流连忘返湖光山色，也会消磨人的志气的。”事隔几年，他把这一观感融进了诗句中。语重心长，严肃地提醒郁达夫：不要迷恋这样的生活环境；又热忱地鼓励郁达夫：要像“高岑”，要学“健翮”，做一个有抱负的革命者。
颈联又从杭州的名胜古迹来说。西湖畔，抗金名将岳飞，生前遭奸臣陷害，壮志未酬，死后留下一座坟坛，冷冷落落；孤山上，避世隐居的林逋，留下了梅林鹤冢，寂寞凄凉。这两句诗借两个历史人物的命运，暗示郁达夫，纵然你有爱国之心，然而国民政府当局推行的是卖国政策，你也无所作为；退一步说，若是像林逋那样结庐自守，种梅养鹤，也只是孤寂无聊地度过一生，岂是出路，对郁达夫进行又一次恳切的劝告。
尾联从正面引导。既然杭州不是久留之地，那么又该到哪里去，鲁迅明确指出：“何似举家游旷远，风波浩荡足行吟。”“足”字联结社会生活和文艺创作，形象而深刻地揭示了作家和社会关系：“风波浩荡”的生活和斗争，给作家提供充足的“行吟”的题材；也只有“风波浩荡”的生活和斗争，才足以供作家“行吟”。鲁迅希望郁达夫到辽阔广大的地方去，经受大风大浪的锻炼，汲取丰富的创作源泉，写出对人民、对社会有益的作品。篇末点题，为郁达夫指明正确的生活道路和创作道路。