这首诗作纵向展开，从过去写到现在。开头两句说过去，接着四句主要讲述到永嘉担任地方官以后的情况。中间六句具体写读书的情形。结尾四句直接说到诗人自己的政治态度与生活情趣。这首诗从大处落笔，委婉见意，通篇又具有感情深沉凝重、语调平易亲切的特点。
游京华”与“归山川”、“未尝废丘壑”与“心迹双寂寞”，隔句映衬，在文义上递进一层。这一表示递进关系的连词，更明白提示前后两个时期之间存在着的变化。诗人自述到永嘉以后，“心”不预世事，“迹”绝交以息游。
“虚馆”二句更具体描画出“心迹双寂寞”的景象。事实上，身为一郡之长，是不可能如此清闲的。《宋书》本传说：“郡有名山水，灵运素所爱好，出守既不得志，遂肆意游遨，遍历诸县，动逾旬朔，民间听讼，不复关怀。”可见“绝诤讼”并非真的没有“民间听讼”，而是由于心远地自偏，“不复关怀”，有意不闻不问罢了。以上几句，对于“斋中读书”的诗题来说，看似闲笔，实际上这是从大处落笔，委婉见意，显示的是读书时总的心态意绪与环境气氛。以下写“斋中读书”的正笔，正是从这一大背景上推出的。
从“卧疾丰暇豫”起，即转入“斋中读书”的描叙。“卧疾”就只能在“斋中”，有了许多空闲时间，为了排遣无聊，除了写诗作字以外，便轮到了“读书”。“怀抱观古今”等四句，具体写读书的情形。诗人读书的目的在于了解历史以增进对现实的认识，方法上有读有评。诗中论到的人物有消极避世的隐士长沮、桀溺和热衷仕进的文人扬雄。谢灵运对沮、溺则取批评的态度，认为隐居耕田是一“苦”事而予以非笑。扬雄在易代之际的言行，历来受人非议，如李善说他“露才以耽宠，诡情以怀禄”。谢灵运也不满于扬雄的屈节事人、钻营爵禄，故在非笑沮、溺的同时，对扬雄也采取了哂笑的否定态度。
结尾四句是在读书论书基础上的进一步发挥，由“既笑”二句引出，直接说到诗人自己的政治态度与生活情趣。“执戟亦以疲”，说明自己对于仕进已心灰意冷；“耕稼岂云乐”，又表示自己不愿过躬耕隐居的清苦生活。诗人让自己站到了三岔路口，是仕，是隐，无一理想，无可适从。故不由得叹道：“万事难并欢。”在仕隐矛盾的煎熬下，诗人为自己设计了一条慰藉心灵的人生道路：“达生幸可托。”以“达生”处世，就会避免贪多务得，不受物欲的困扰，摆脱世务的牵累，在精神上求得自我解脱，近乎陶渊明《归去来兮辞》结尾所表示的生活态度：“乐乎天命复奚疑。”
谢灵运为官时不理政事也是“达生”思想的表现，而“达生”思想的进一步实践，尚有待于绝意仕进，归隐田园，更远地离开尘世俗务。谢灵运出身大官僚地主家庭，广有田产，归隐而仍可免于沮溺的耦耕之苦，这大概是他的“达生”思想的最完美的实现了。不久，他果然踏上了归隐的道路。
全诗以“斋中读书”作为结构的中心，向前推衍，说到过去；往后演绎，谈及未来。读书是在斋中，说前道后的情事则及于斋外的广阔世界——京城的丘壑，永嘉的山川，执戟殿中，耕稼田间。仕隐矛盾的抽象主题，由于结合读书论书的具体内容提出，显得不玄不泛；又由于视野开阔，有回顾，有前瞻，联系长期以来的生活体验坦率剖白，通篇又具有了感情深沉凝重、语调平易亲切的特点。
作为一首宣扬老庄“达生”思想的记事说理诗，而能不落抽象说理的魔障，写得迥异于“平典似《道德论》”的“孙绰、许询、桓、庾诸公诗”（钟嵘《诗品序》），足见诗人艺术上的功力。至于诗中宣扬的所谓“达生”的消极避世、自得其乐的人生态度与生活理想，对于今天的读者来说，肯定是不足取的，但对于了解谢灵运全人及其创作演进的轨迹，则又有着不可忽视的重要意义。
此诗前两句“欲逐将军取右贤，沙场走马向居延”，热情鼓励友人从军，杀敌立功，写得很有气势，表现了昂扬向上的情调。这些豪迈激昂、慷慨雄壮的诗句，极具浪漫色彩，颇为震撼人心，既是对边塞将士的高度赞颂，也是诗人进取精神的生动体现。后两句“遥知汉使萧关外，愁见孤城落日边”则把笔锋一转，写塞外萧索悲凉的景象所引起的思乡愁情。其中“孤城”“落日”两个意象形象生动地展示出一片雄阔的景象，同时也描绘出边地的荒凉。其意境与“大漠孤烟直，长河落日圆”（《使至塞上》）甚为相似，充分体现了王维诗歌“诗中有画”的特点。
全诗这种突转笔锋的写法看似突兀，但作者把从军者立功边塞和思乡怀归这两种特有的心理统一在这首小诗里，用笔凝练，因而具有一定的代表性，并给人以一种悲壮的美感。
这首诗第一联是把一个景色分两句写。楚王宫和白帝城。都是夔州的古迹，诗人用来代表夔州。两句诗只是说夔州雨后斜阳的石候。第二联说斜阳返照到江水上，好像山壁都翻倒在江中，从四面八方聚拢来的云遮蔽了树林，使山下的村庄都看不见了。第三联写自己年迈病肺，只有高枕而卧，因身在这遥远的边塞，感伤石事的心情，也只好早早闭门。其言外之意是说：没有观赏晚景的心情。夔州是川东的门户，故称绝塞。“愁石”和“肺病”作对，应讲作“哀石”，哀伤石世，不能讲作忧愁的石候。最后一联是说自己想回北方却未能成行。“豺虎乱”是用王粲的《七哀诗》诗句。杜甫有《夔府书怀四十韵》长诗一首，其中叙述了当石夔州人民的困苦和军人的跋扈。到大历三年（768年），果然不出诗人所料，发生了杨子琳杀死夔州别驾张忠，据城夺权的乱事。末句意义比较隐晦，旧注以为此句“言在此屡遭寇乱，旅魂已将惊散也”（见《杜诗详注》）。这是臆解，没有扣上原句字面。“未招魂”不能讲作“旅魂惊散”。而且，“南方”二字也没有着落。“实”字是杜甫的特殊字法，有几处用得出人意外。《秋兴八首》第二首有一句“听猿实下三声泪”，和这里的“实有未招魂”，从来都是含糊读过，没有人讲出作者本意。
理解这两个“实”字的前提是弄清楚作者的思想基础。屈原被放逐在江南，形容憔悴。他的学生宋玉写了一篇《招魂》以振作他老师的精神。其中有一句“魂兮归来，南方不可以止些”。杜甫想到了这一句，用来比喻自己，所以说南方确实还有一个未招归的旅魂，用以表达自己想回北方去的意志。杜甫此句必须联想宋玉的《招魂》，就才能体会这个“实”字的来历。杜甫还有一首《归梦》诗云：“梦魂归未得，不用楚辞招”，可以作为此句的鉴证。吴昌祺释此句云：“南方非久居之地，何无人招我魂而去此土也。”（《删订唐诗解》）沈德潜注云：“己之惊魂，不能招之北归。”（《唐诗别裁》）这两个注都是仅仅阐发诗意，而没有联系《楚辞·招魂》，因而没有接触到“实有”二字的作用。
《水经注》在描写长江巫峡风景的一段中记录了两句渔民的歌谣：“巴东三峡巫峡长，猿鸣三声泪沾裳。”杜甫思想上涌现这个歌谣，所以说：听了巫峡的猿啼，真要掉下眼泪。“三声泪”是摘用原句中三个字。其实“三声”是猿啼三声，“泪”是行人旅客听了猿啼而下泪。如果杜甫思想上没有这两句歌谣为依据，“三声泪”本来不能成为一个词语。杜甫诗集中已注明了这首渔民歌谣，故这个“实”字容易理解。但是，除了《唐诗解》以外，都没有注出《招魂》二句，故“南方”与“实有”都使人不易了解。