这首诗分三层。开头两句为第一层，诗人说自己疲于驰驱奔波，要移居栖遁。中间六句为第二层，通过描写秋季黄昏时分万籁俱寂的时刻，通过对大自然的细微观察和体验，传达了一种极其幽静的意境。最后六句为第三层，描写内容由庄园扩展到更广阔的大自然界，在内容上也由诗人的所见变为所思，由直接观察变为一种印象和体验。这首诗句法清新，结构严谨，写景细致，意境极富韵味。
诗题说是因病而告假回乡，诗的首句却说是因为“疲”于官场的奔波而离官的。做官虽是既荣华又富贵，但遇祸乱时便有危险。谢朓一生谨小慎微，今遇朝廷祸乱，自然害怕而想离官还乡。次句写“还园”。“敛性”二字承上启下，由“人世”官场转到“幽蓬”家园，生活环境和自己的地位都变了，原来为追逐名利而混迹俯仰于官场的贪欲邪念，此刻也必须随之而收敛，以适应“幽蓬”新环境。前句“倦”字以示无意于“人世”。下句之“就”，紧承“倦”字，点示“幽蓬”对诗人的无限吸引力。一“倦”一“就”，诗人厌恶“人世”，向往“幽蓬”之情表露无遗。
“停琴”以下，全写诗人处身“幽蓬”情景。诗人厌弃“人世”，迁“就”这梦寐以求的“幽蓬”，自然是怡然自得，陶然忘机了。“停琴伫凉月，灭烛听归鸿。凉薰琴暮晰，秋华临夜空”四句全写“幽蓬”月夜。古代，琴是最能表达诗人幽情的，明月则更与隐者结下不解之缘。“停琴”是说，诗人本来是在悠闲地弹琴自娱的，当一轮明月从东方冉冉升起时，他立刻为月所迷，而骤停手中之琴，伫立于明月之中。前一“停”字，中一“伫”字，后一“凉”字，传神地活画出诗人凝神忘情见月而痴的神态。唯其“伫”立，故有月“凉”之感。有了月，自然就该灭了烛。灭了烛，能使月光更满，蓬境更幽，因而更能清晰地听到远方传来的归雁的飞鸣。“听归鸿”，不但丝毫无碍于蓬境之幽，而且反有“鸿鸣蓬更幽”之感。诗人从“停琴伫凉月”的夜初，一直玩赏到“秋华临夜空”的深夜，左右不见一人，唯薰草与月光相伴，可见诗人对幽蓬夜月迷恋之深。再细味“停琴”、“凉月”、“灭烛”、“归鸿”、“凉薰”等种种景色，又无不隐约地寄寓着倦于“人世”“疲策”而归“就幽蓬”的诗人自身的倩影。
“叶低知露密，崖断识云重”，由夜转晨，写黎明景色。树叶因露水浓重而低垂，这是黎明所见近景；山崖因凝结的云雾横抹山腰，而看似断折，这是清晨所眺远景。“叶低”、“崖断”，是凭视觉直接看到的；“露密”、“云重”，是据生活知识间接悟到的。见“叶低”、“崖断”而见不出叶之所以低，崖之所以断，却以“叶低”、“崖断”提疑问，以“露密”、“云重”作答疑。以此自问自答，更得黎明朦胧景色之神趣。
“折荷葺寒袂，开镜盼衰容”，二句由展转昼。古代隐士常标榜以荷为衣，以象征自己雅洁、幽香、清寒。时临深秋，折荷制衣，以示隐逸之志洁而且坚。因清水亦能照见人形，故此句中之“镜”，实指荷塘水面。对镜自见形容憔悴，可知久处“人世”“疲策”，所付出的代价。言外之意是：我早该离开“人世”了。
“海暮腾清气，河关秘栖冲”二句，由白昼再转到傍晚。这二句是说：时临傍晚，宽阔的江面雾霭纷纷，河水关山把我的深山居处与外界隔绝了。“秘栖冲”与“就幽蓬”呼应。前句是“就”，是说刚来幽蓬，后句“秘”意在拒绝出山了。
末两句“烟衡时未歇，芝兰去相从”进一步写“敛性”。这二句意思是说：情操高尚的人时时都存在，我要随从他们而去。“芝兰”相从“杜衡”，暗合诗题诗人“还园示亲属”之意。
全诗十四句。先用粗笔概括交代诗人厌倦并离弃官场，回到自己故乡。再以细笔具体地描写故乡黄昏、月夜、黎明、白昼、再到傍晚的优美、幽静、高洁的景趣，以对比令人厌倦的官场。对官场的污秽不着一字，而其污秽自见于读者的心中。
上片，概写荔枝的悲凉身世，发出同情的感叹。“天与化工知，赐得衣裳总是绯。”与人一样，双荔枝与单荔枝，都是由天工造化出来的。所不同的是：双荔枝确实罕见难得。它是天特别赐予的。“总是”二字，特别传神。绯，在古代为一种特殊的颜色，所以这种特殊的双荔枝，便成了上贡的果品，平民百姓望而止步，于是置放“华堂深处”，每每望见，令人心酸。一个普通的双荔枝的地位，竟人为地抬到如此神圣的地步。谁知晴天霹雳，双荔枝在“华堂深处”遭到厄运。“怜伊”呀，“怜伊”的是可怜的双荔枝两颗核仁（“两副心肠”）竟要与肉分离了。上片，明在写双荔枝，却在写一对青梅竹马式的恋人如双荔枝同样的身世。开始，天赐良缘，情敦意笃，高洁纯真，后来，被人为地残酷拆心，成了罪恶社会的殉葬品。
下片，借回忆双荔枝苦难的经历，赞叹恋人生死不渝的坚贞品格。想当年，双荔枝与人一样， “自小便相随”，形影不离；就是作为“绮席歌筵”上的欣赏珍品，贵人只是欣赏欣赏，双荔枝在短时间内不分离（“不暂离”）。可是，双荔枝命途多舛。作为贡品已是命中注定，它自然地“苦恨人人分拆心、东西”。皇帝是贪婪的，又是残忍的。越是成双成对而相连的荔枝，越是被他凶“拆”凶噬，这是人世间的历史悲剧。“怎得成双似旧时”，无可奈何，让它随着时间的流逝而成为人间的遗憾。这一无答而问的设问结尾句，非常有力，提醒世人：在封建社会里，成双的荔枝永远不会有恢复“似旧时”的美梦的。下片，与上片一样，还是在继续感叹那对天然的少男少女的坚贞如一的精神。她爱，爱她们“自小便相随，绮席歌筵不暂离”的往日风流；她恨，恨那残酷的现实太无情。本是深闺无人识的少女，一旦被掠进宫里成为歌妓，情侣被活活“拆心”，你我“东西”。“在天愿作比翼鸟，在地愿为连理枝”，“怎得成双似旧时”，留恋只是留恋，终归只是英灵中的美愿而已。
这是一首咏物词，全词，以象征、拟人的手法，把双荔枝当人写，把人又当荔枝写。字字写人，语语双关，富有情趣。较之“花间”词有了根本性的革命，实为婉约词中的一朵奇葩。