这篇文章一共可以分为三段。第一段引述白居易文章中的相关语句，表明自己的心态。第二段以江州山水之美与邢州环境作比较，体现了自己的感情波澜起伏。第三段具体写自己住处的恶劣环境和以书史自娱的心境。全文合理运用对比的方式，摹仿白居易的笔触，通过将自己与白居易作对比来表达了自己内心压抑的情感以及不满的情绪。
第一段的开头有如神来之笔，引出唐代曾被贬为江州司马的白居易，作者正是读了他的《江州司马厅记》。这一段的文字是不动感情的，但“同是天涯沦落人”的潜在意思已经不言而喻了。第一段引述白居易文章中的相关语句，说明自己主管的马政是无所事事、独奉文移的闲职。并用“司马之职尽去”之语，点明了自己的处境与千年前的江州司马何其相似。
第二段是以江州山水之美与邢州环境作比较，说明自己所处的自然环境“犹有赵之风”，不类江州之佳山水，所以也不能和江州司马那样“养志忘名”，只能心仪其“襟怀夷旷，能自适”。第二段感情波澜起伏。白居易谪居江州，犹有匡庐江湖之佳境可供养志忘名，可自己却是什么也没有，与之相比处境更差。但是，白居易虽然是个迁谪者却没有无聊不平之意，胸怀夷旷，能怡然自得，是归有光所赞同的。因此，“虽微江州，其有不自得哉”一语，既是说自居易，也是在说作者自己。
第三段具体写自己住处的恶劣环境和以书史自娱的心境，实是以干载之下江州司马白居易的同志自居而自表心迹而已。结尾处点睛之笔说得很明白：儒家的“乐天知命”的思想，是白居易和归有光所共有的。
这首词上阕伤春，而伤春中处处有怀人之意，下阕怀人，而怀人中处处有伤春之情，将伤春与怀人打成一片，词境圆融。此词用笔曲折，善于转折收放，词句清丽，情致缠绵，将天涯做客、伤春怀人之意娓娓道出。
上片首句点明时令。古时寒食节禁火，取榆柳之火为新火。“新烟初试”写寒食清明之景。“花如梦”写春未百花凋零之状。苏州古属楚国，故而称“楚峰残雨”。清明一过，春雨渐收，春光渐老，则春花凋零可知。“如梦”“疑收”又作揣测之语，词人心中尚有将来重聚之一线希望。“茂苑人归”三句指诗人回到苏州，而当时女子所住之地已人去楼空，空有燕在。词人不是苏州人，与秦楼燕皆是天涯为旅，因而有同病相怜之意。“游情最苦”承接“天涯为旅”而来。从“早柔绿迷津”至“半汀鹭”，细写“游情”之苦，而以一“早”字点出春归匆匆之恨。“柔绿迷津”既有“春草绿色，春水碧波，送君南浦，伤如之何”之离别意，又有情缘断绝、无路可通之感伤意。昔日所游之圃已成荒烟乱草之地。梨花也被风吹落汀州，与白鹭同飞，再不可见。梨花暗喻别离，又绾合次句之“残雨”，有“玉容寂寞泪阑干，梨花一枝春带雨”之意，想见情人离别之难。“柔绿迷津”“乱莎荒圃”“晚风吹堕”皆呼应起首“花如梦”三字。人在旅途，烟花如梦，春末人孤，唯有芳草连天，迷津荒圃，秦楼燕飞，梨花满地，故而“游情最苦”。
换头“流红江上去远”一句，明点“去”字，仍写姬去的感受，“翠尊曾共醉”二句，逆笔追溯往日两人共居时的欢乐，曾在别墅内共同酣饮。“云外”一词体现了二人自由自在的幸福生活。此韵共三句，倒含有今昔两境，可谓极尽转折跌宕之能事。“澹月秋千”一韵，平出，写姬去后的伤情。言自姬去之后，不管见到皎洁月下的秋千，还是闻到千陌万巷的幽香，都令词人愁结于此，伤春于彼。“听歌看舞”一韵，又逆笔写到昔日共居时，爱姬轻歌曼舞，多么令人惬意。“驻不得当时”一韵，转笔回到现实，姬人已去，歌舞消逝，不复存在。“柳蛮樱素”化用白居易二妾樊素善歌，小蛮善舞的典故，以此再度点出姬已去，欢已失。最后“睡起恹恹，洞箫谁院宇”平出，写自己今日之状。“洞箫”承上之“歌舞”行针颇密。“谁”字表达两层意思，一则写姬人已去，歌舞不在；二则，更表达了对姬的思念。
“醉云”两句，言词人因为与恋人别离，精神颓唐，整常借酒浇愁，以致神志恍惚，常处在梦幻之中。而在梦幻中，词人正好追寻到恋人的倩影，和她亲亲热热，恰如楚襄王之云雨巫山也。“倦蜂”四句，以物拟人，聊解相思。“双桨”，这里是借代船。言词人的内心经常激发起倦阵阵动荡的情思，他非常希望能获得倦个温馨甜蜜的居处，但如今却像倦只疲倦的蜜蜂，刚停到倦朵洁白的梨花上想要吮蜜，却被倦阵狂风吹得四处飘荡，无法存身。因此这种想要能与恋人长守倦起过着平静的生活，只是自己的倦厢情愿的单相思罢了。眼前见到的只有秋水中随风哆嗦的枯荷及倦两朵蔫萎的荷花，和送人离去的行船。而词人的单相思和眼中所见的“冷波叶舞愁红，送人双桨”却又适成对照：倦边是词人深深的相思苦；倦边却是落花无情随流水，无知双桨送人去。上片是词人自伤别情。
“暗凝想”三句，倦转而为别离中的恋人设想。言恋人冥思苦想，两人将要天各倦方，重聚的机会像这残秋的景象倦般灰暗、渺茫，惟有朱雀桥畔的野草紧锁着我所居住的深巷旧居。“朱桥”句，用刘禹锡《乌衣巷》：“朱雀桥边野草花，乌衣巷口夕阳斜。旧时王谢堂前燕，飞入寻常百姓家”诗的意境，也是暗指恋人已经离他而去了。“会稀”四句，少妇所想。她想：我俩重新欢聚的希望已很渺茫，那轻易的分手，使我倦想起来就会感到惆怅难熬。这次你（指词人）离开以后，今后还会有什么人再来此弹奏这哀幽的琴曲？现在惟有那夕阳、秋风来陪伴“半妆楼上”的奴家了。下片是词人设想中的恋人哀分离的情景，但这也只是词人单相思所幻化出来的景象罢了。
“手风慵展一行书，眼暗休寻九局图。”中风，指四肢风痹。八行书，指信札。暗，是形容老眼昏花，视力不明。九局图，指棋谱。“手风”和“眼暗”，都写自己病废的身体。“慵展”和“休寻”，写自己索寞的情怀。信懒得写，意味着交游屏绝；棋不愿摸，意味着机心泯灭。寥寥十四个字，把那种贫病潦倒、无所事事的情味充分表达出来了，正点明诗题“安贫”。
“窗里日光飞野马，案头筠管长蒲卢。”就室内景物略加点染，进一步烘托“安贫”的题旨。野马，指浮游于空气中的埃尘，语出《庄子·逍遥游》。筠管，竹管，这里指毛笔筒。蒲卢，又名蜾蠃，一种细腰蜂，每产卵于小孔穴中。两句的意思是：闲居无聊，望着室内的埃尘在窗前日光下浮动，而案头毛笔由于长久搁置不用，笔筒里竟然孵化出了细腰蜂。这一联写景不仅刻画入微，而且与前面所说的“慵展”、“休寻”的懒散生活正相贴合，将诗人老病颓唐的心境展示得淋漓尽致。
“谋身拙为安蛇足，报国危曾捋虎须。”中“安蛇足”，即寓言“画蛇添足”，此处用以讽刺精心谋私。“捋虎须”，典出《庄子·盗跖》，孔子游说盗跖被驱逐后说：“丘所谓无病而自灸也。疾走料虎头，编虎须，几不免虎口哉!”比喻诗人忠于唐王室，敢于与权倾朝野的篡逆之臣进行抗争。如《新唐书》本传载：一次，权高震主的强藩朱温同崔撤“临陛宣事，坐者皆去席，握不动，曰：‘侍宴无辄立，二公将以我为知礼。’全忠(朱温)怒偓薄己，悻然出。”全联以表面上的谦逊之辞，叙述了诗人舍身为国的壮烈情怀。句中，前后两次用典，珠联璧合，情采熠然，丰厚的意蕴中，流动着刚直不阿的气势，突出地反映了诗人作为李唐王朝忠臣节士的形象。对此，元吴师道《吴礼部诗话》称之为“凛然有烈丈夫之气。”。
“举世可能无默识，未知谁拟试齐竽。”则又折回眼前空虚寂寥的处境。试齐竽，事见《韩非子·内储说上》：齐宣王爱听吹竽，要三百人合奏，有位不会吹的南郭处士也混在乐队里装装样子，骗取一份俸禄。后愍王继立，喜欢听人单独演奏，南郭处士只好逃之夭夭。这里引用来表示希望有人能像齐愍王听竽那样，将人才的贤愚臧否一一判别，合理使用。整个这一联是诗人在回顾自己报国无成的经历之后迸发出的一个质问：世界上怎会没有人将人才问题默记于心，可又有谁准备像齐愍王听竽那样认真地选拔人才以挽救国事呢？质问中似乎带有那么一点微茫的希望，而更多是无可奈何的感慨：世无识者，有志难骋，不甘于安贫自处，又将如何！满腔的愤懑终于化作一声叹息，情切而辞婉。
题作“安贫”，实质是不甘安贫，希望有所作为；但由于无可作为，又不能不归结为自甘安贫。贯串于诗人晚年生活中的这一基本思想矛盾以及由此引起的复杂心理变化，都在这首篇幅不长的诗里得到真切而生动的反映，显示了高度的艺术概括力。诗歌风貌上，外形颓放而内蕴苍劲，律对整切而用笔浑洒，也体现了诗人后期创作格调的日趋老成。前人评为“七纵八横，头头是道，最能动人心脾”（邵祖平《韩偓诗旨表微》），殆非虚誉。