这首诗分三层。开头两句为第一层，诗人说自己疲于驰驱奔波，要移居栖遁。中间六句为第二层，通过描写秋季黄昏时分万籁俱寂的时刻，通过对大自然的细微观察和体验，传达了一种极其幽静的意境。最后六句为第三层，描写内容由庄园扩展到更广阔的大自然界，在内容上也由诗人的所见变为所思，由直接观察变为一种印象和体验。这首诗句法清新，结构严谨，写景细致，意境极富韵味。
诗题说是因病而告假回乡，诗的首句却说是因为“疲”于官场的奔波而离官的。做官虽是既荣华又富贵，但遇祸乱时便有危险。谢朓一生谨小慎微，今遇朝廷祸乱，自然害怕而想离官还乡。次句写“还园”。“敛性”二字承上启下，由“人世”官场转到“幽蓬”家园，生活环境和自己的地位都变了，原来为追逐名利而混迹俯仰于官场的贪欲邪念，此刻也必须随之而收敛，以适应“幽蓬”新环境。前句“倦”字以示无意于“人世”。下句之“就”，紧承“倦”字，点示“幽蓬”对诗人的无限吸引力。一“倦”一“就”，诗人厌恶“人世”，向往“幽蓬”之情表露无遗。
“停琴”以下，全写诗人处身“幽蓬”情景。诗人厌弃“人世”，迁“就”这梦寐以求的“幽蓬”，自然是怡然自得，陶然忘机了。“停琴伫凉月，灭烛听归鸿。凉薰琴暮晰，秋华临夜空”四句全写“幽蓬”月夜。古代，琴是最能表达诗人幽情的，明月则更与隐者结下不解之缘。“停琴”是说，诗人本来是在悠闲地弹琴自娱的，当一轮明月从东方冉冉升起时，他立刻为月所迷，而骤停手中之琴，伫立于明月之中。前一“停”字，中一“伫”字，后一“凉”字，传神地活画出诗人凝神忘情见月而痴的神态。唯其“伫”立，故有月“凉”之感。有了月，自然就该灭了烛。灭了烛，能使月光更满，蓬境更幽，因而更能清晰地听到远方传来的归雁的飞鸣。“听归鸿”，不但丝毫无碍于蓬境之幽，而且反有“鸿鸣蓬更幽”之感。诗人从“停琴伫凉月”的夜初，一直玩赏到“秋华临夜空”的深夜，左右不见一人，唯薰草与月光相伴，可见诗人对幽蓬夜月迷恋之深。再细味“停琴”、“凉月”、“灭烛”、“归鸿”、“凉薰”等种种景色，又无不隐约地寄寓着倦于“人世”“疲策”而归“就幽蓬”的诗人自身的倩影。
“叶低知露密，崖断识云重”，由夜转晨，写黎明景色。树叶因露水浓重而低垂，这是黎明所见近景；山崖因凝结的云雾横抹山腰，而看似断折，这是清晨所眺远景。“叶低”、“崖断”，是凭视觉直接看到的；“露密”、“云重”，是据生活知识间接悟到的。见“叶低”、“崖断”而见不出叶之所以低，崖之所以断，却以“叶低”、“崖断”提疑问，以“露密”、“云重”作答疑。以此自问自答，更得黎明朦胧景色之神趣。
“折荷葺寒袂，开镜盼衰容”，二句由展转昼。古代隐士常标榜以荷为衣，以象征自己雅洁、幽香、清寒。时临深秋，折荷制衣，以示隐逸之志洁而且坚。因清水亦能照见人形，故此句中之“镜”，实指荷塘水面。对镜自见形容憔悴，可知久处“人世”“疲策”，所付出的代价。言外之意是：我早该离开“人世”了。
“海暮腾清气，河关秘栖冲”二句，由白昼再转到傍晚。这二句是说：时临傍晚，宽阔的江面雾霭纷纷，河水关山把我的深山居处与外界隔绝了。“秘栖冲”与“就幽蓬”呼应。前句是“就”，是说刚来幽蓬，后句“秘”意在拒绝出山了。
末两句“烟衡时未歇，芝兰去相从”进一步写“敛性”。这二句意思是说：情操高尚的人时时都存在，我要随从他们而去。“芝兰”相从“杜衡”，暗合诗题诗人“还园示亲属”之意。
全诗十四句。先用粗笔概括交代诗人厌倦并离弃官场，回到自己故乡。再以细笔具体地描写故乡黄昏、月夜、黎明、白昼、再到傍晚的优美、幽静、高洁的景趣，以对比令人厌倦的官场。对官场的污秽不着一字，而其污秽自见于读者的心中。
诗人在秋夜行舟于耒阳溪上。清幽的溪山景色，触动诗人的情怀，由此产生淡淡的旅愁。与《浈阳峡》相比较，诗人更着意融情入景。全诗几乎句句写景，结尾才以一个“愁”字，画龙点睛般点出题旨。但诗中的明月、溪声、岚气、霜华、猿啼，无不浸透着诗人的愁情。可以说，情与景高度融合，浑然一体，构成清幽的意境。张九龄这几首山水诗，写景状物精细工丽，侧重于客观的刻画，由景物触发的情思没有借直接倾诉和议论表达，而是融情于景。情景契合，在艺术技巧上，受谢灵运影响的痕迹较重，显示了六朝山水诗向盛唐山水诗过渡的迹象。
从写景的角度来看，这首《耒阳溪夜行》，体现了陶渊明对张九龄的影响。张九龄一生积极入世，他没有田园隐居的闲情逸致。但他却吸取了陶渊明田园诗对景物的描绘求神似而不拘泥形似，重意轻象、尚浑整不尚工细的艺术表现手法，将它们运用到山水诗的创作中。这首诗对明月、岭树、溪声、岚气、霜华，猿声的描绘，只以简练的笔触，轻淡地点染，并未作具体、细致、逼真的刻画，色彩也是淡淡的，却产生了高度传神达意的艺术效果。