这首诗的开头两句写中唐诗人李绅，并以李绅自况。自居易《拙集编成十五卷因题卷来戏赠元九李二十》云：“每被老元偷格调，苦教短李伏歌行。”可见时人称之为“短李”。首联所写就是这件事。这两句说，城南的矮小诗人李绅，经历坎坷，形容憔悴。他多愁善感、系念世事，乌黑的帽子上落满尘土。两句诗用粗线条钩勒出李绅，也是作者自己的形象，手法洗炼。颔联即从首联引申而来，展开“憔悴”、“多情”的含蕴，笔墨也从以李绅自比转向直接叙写自身。虽刻苦攻读，手不释卷，对平生所历世事却不甚了然；饱经风霜，阅尽世态，却只能眼睁睁看着大好河山任人践踏，一腔热血无从抛洒。这联的出句和对句的前后两部份，各自形成鲜明的对比。“读书”而“不了平生事”，“阅世”而“空有后死身”，出语舒缓，感情却十分愤激。颈联推开一层，是赋也是比。落日残照，是眼前实景，也象征着南宋王驯的没落凋零，飒飒西风则象征着笼罩在南宋国土上的萧瑟寥落气氛。“落日”、“西风”，景象悲壮，令人想起相传为李白所作的《忆秦娥》中的名句：靠西风残照，汉家陵阙。”不过，粱栋诗中“落日”、“西风”带有更为强烈的时代悲剧色彩。“唤酒”、“愁人”，与首联的“憔悴舻、“多情”相应，写出了在天下多故的南宋束年一个正直士大夫忧心如焚的心理状况，感情十分沉痛。前面三联，气氛沉重压抑，结尾两句却陡然一转，格调为之一振。蜂蝶黄花老，翻用苏东坡诗意。这里是说，尽管秋色愁人，然而在明月的照临之下，园林小春的景色还是十分动人的。农历十月间，阳光和煦，景色宜人，大有春意，故称小春。尾联让人想起鲁迅先生“躲进小楼成一统，管他冬夏与春秋”的诗句。尾联也是全诗的点睛之笔，肃杀中透露出生机，痛苦中孕育着希望，它表达了作者身处逆境泰然自若的人生态度。
这首诗以舒缓的笔调，似乎只写自己阅尽沧桑后与世无争的淡泊，而这种淡泊中，表现出作者的愤激和无奈。
唐时长安的菊花，尽管不象牡丹那样“花开时节动京城”，有“真国色”之誉，但毕竟曾盛极一时，为许多诗人所吟唱。至今，西安兴庆公园中的菊花仍繁衍不绝，声驰中外，唐代遗风依约可见。
本诗的作者思念京都长安，却将菊花特提，并满庭植菊，以寄托忆念之情。看来，诗人是有意将长安与菊连在一起，在婉转地透露其心曲。据有关资料载述，诗人性格疏旷，不拘小节，曾为西川宣谕和协使李询辟为判官，时常感慨唐末世之衰，对开元盛世追慕不已，谓：“游人记得承平事，暗喜风光似昔年”(《长安清明》)。诗人在这里忆念长安菊，或是藉以发抒追昔怀旧之情吧!开首的二句，一“因”一“果”，呼应成趣，章法细密谨严。而且．以对话的语势叙事抒情，也给人以亲切感，加强了，作品的表达效果。
而对红兰，诗人则是另一副态度，在告诫它：切莫因菊花的颜色素雅而恣意轻慢，菊花历来为人们所珍视，有过龙山泛酒的小凡经历呢。龙山泛洒，据《世说新语》注引《孟嘉别传》载，盂嘉为征西大将军桓温参军。九月九日桓温游龙山，官僚咸集，皆戎服。有风吹嘉帽落，初不觉。嘉薄饮，愈多不乱，自言得酒中真趣。并未述及采菊泛酒事，但是，古时有九月九日“登山饮菊花洒”(《荆楚岁时记》)的习俗，诗人盖将二事糅为一体，意在强调菊花的不同凡流。
本诗看去是平直叙述，无多机巧，实则寓曲于直，多弦外之音。大概诗人有过被人轻慢的经历，故而暗以菊相标榜，忆起“白马似冷朱绂贵，彩衣遥惹御炉香”(《寄右省李起居》)的京师生活，才有“龙山泛酒”之喻。借咏菊婉曲地表述了他郁闷不平的心理。
诗作前部分叙写古人事迹，以之为衬托表明自己坚决辞职隐居的意志与行为。诗作后部分写自己返家行程中的景象及感想。诗中抒发了去官还家、获得解脱的愉悦心情。诗中写景不多，却极为清丽动人。
一至十句自述隐居丘园之志。
先对几位古人加以评价：西汉的彭宣、薛广德、贡禹虽有高名，但只能说是优于贪婪奔竞之徒，还说不上是懂得养生缮性。彭宣和薛广德，班固《汉书》对他们评价颇高，称其“近于知耻”（《汉书·叙传》）；谢灵运却说他们“裁知耻”而已，并不十分推崇。贡禹曾为河南县令，因受上司责备，便辞官而去。后又出仕，元帝时为光禄大夫，以年迈求退，为皇帝所挽留，进为御史大夫。诗人认为他并未能遗弃荣华富贵。评论古人只是陪衬，目的是表明自己的志向不仅是不贪竞而已，而且要做到“达生”。《庄子》有《达生》篇，说“达生之情者，不务生之所无以为；达命之情者，不务知之所无奈何”，认为人之性分有定，不可勉强致力于性分之外的事。
篇中又说欲存生养性，莫如弃世而无所牵累。诗人正以此种思想作为隐退的精神支柱。其具体的打算，则是“庐园当栖岩，卑位代躬耕”。《山居赋》云：“古巢居穴处曰岩栖，传说古代隐士也有过此种原始生活者。但诗人毕竟做不到这样，故有所变通，以田园当作岩栖。他也不能真的耕稼自给，故欲学习古代一些达士的做法，安于卑位，以薄俸为生生之资。他说自己拙于仕宦，讷于言辞，故欲选择这样的生活道路，不过以往行迹尚未能与此种生活理想相一致。这可说是诗人对往昔生活的一个总结。
十一至二十句写去职。
先举周任、司马相如、尚子、邴生以自比。诗人说自己在种种方面都类似于上举那些淡泊明志的古人。自晋安帝义熙元年（405年）至景平元年（423年），实得十八年，说“二十载”是约略言之。二十年来做违心的事，心情是悒郁的；而今终于摆脱了送往迎来等等俗务，其快意可知。
二十一句至三十二句写初去郡途中的所见所感。
“理棹”以下四句写其水陆行程。为早日还家，乃疾速行舟。遄、鹜二字表现出心情之急迫。“理棹”二句已兼写水陆，“溯溪”二句又写水涉山行，但不觉累赘，因读者可由此充分想象其行进的画面，感受到行程的漫长辛苦。“野旷”二句是写景名句，景中其实有情。清旷无际的风景正与诗人心境相应。久被絷牵，一朝脱去，自感到无限的开朗、轻快，故触目皆成佳趣。
“憩石”二句写山林小憩情景，暗用《楚辞》典故：《九歌·山鬼》：“山中人兮芳杜若，饮石泉兮荫松柏。”又《离骚》：“朝饮木兰之坠露兮，夕餐秋菊之落英。”熟悉典故的读者可于言外获得一种清幽芳洁之感。“理棹”四句写疾速前行，途程漫漫，“野旷”四句写赏玩风物，途中小憩，形成情绪和内在节奏的对比；而其心情之急迫与愉悦，都得到了表现。由愉悦的心情、悠然的意绪，进而引发出一番情理相融的议论：高尚之志战胜了富贵之欲，胸襟旷然，则臞者可肥；以止水为鉴，则流荡不返者将归于宁静清明。（二句用《韩非子·喻老》和《庄子·德充符》典故）心灵获得了自由宁静，则即使处于纷乱奔竞之世，也等于是归真返璞，回到了伏羲、唐尧时代，可以无拘无束、怡然自得了。传说尧时百姓无事，有老者击壤而歌曰：“日出而作，日入而息。凿井而饮，耕田而食。帝力何有于我哉！”诗人用此典故，似有“人生如此自可乐，岂必局束为人靰”（韩愈《山石》）之慨，且使人隐约感到他与当权者关系之不和谐。
谢灵运去郡之志是坚定的。当时其堂弟谢晦等人都写信劝他不要离职，他执意不从。不过他并非一贯恬退之人。《宋书》本传说他“自谓才能宜参权要，既不见知，常怀愤愤”。其出为永嘉太守，正是与当权者矛盾的结果。他之去郡，乃是一种不合作态度的表现。明乎此，对于此诗的理解便可更深入一层了。