这首诗作纵向展开，从过去写到现在。开头两句说过去，接着四句主要讲述到永嘉担任地方官以后的情况。中间六句具体写读书的情形。结尾四句直接说到诗人自己的政治态度与生活情趣。这首诗从大处落笔，委婉见意，通篇又具有感情深沉凝重、语调平易亲切的特点。
游京华”与“归山川”、“未尝废丘壑”与“心迹双寂寞”，隔句映衬，在文义上递进一层。这一表示递进关系的连词，更明白提示前后两个时期之间存在着的变化。诗人自述到永嘉以后，“心”不预世事，“迹”绝交以息游。
“虚馆”二句更具体描画出“心迹双寂寞”的景象。事实上，身为一郡之长，是不可能如此清闲的。《宋书》本传说：“郡有名山水，灵运素所爱好，出守既不得志，遂肆意游遨，遍历诸县，动逾旬朔，民间听讼，不复关怀。”可见“绝诤讼”并非真的没有“民间听讼”，而是由于心远地自偏，“不复关怀”，有意不闻不问罢了。以上几句，对于“斋中读书”的诗题来说，看似闲笔，实际上这是从大处落笔，委婉见意，显示的是读书时总的心态意绪与环境气氛。以下写“斋中读书”的正笔，正是从这一大背景上推出的。
从“卧疾丰暇豫”起，即转入“斋中读书”的描叙。“卧疾”就只能在“斋中”，有了许多空闲时间，为了排遣无聊，除了写诗作字以外，便轮到了“读书”。“怀抱观古今”等四句，具体写读书的情形。诗人读书的目的在于了解历史以增进对现实的认识，方法上有读有评。诗中论到的人物有消极避世的隐士长沮、桀溺和热衷仕进的文人扬雄。谢灵运对沮、溺则取批评的态度，认为隐居耕田是一“苦”事而予以非笑。扬雄在易代之际的言行，历来受人非议，如李善说他“露才以耽宠，诡情以怀禄”。谢灵运也不满于扬雄的屈节事人、钻营爵禄，故在非笑沮、溺的同时，对扬雄也采取了哂笑的否定态度。
结尾四句是在读书论书基础上的进一步发挥，由“既笑”二句引出，直接说到诗人自己的政治态度与生活情趣。“执戟亦以疲”，说明自己对于仕进已心灰意冷；“耕稼岂云乐”，又表示自己不愿过躬耕隐居的清苦生活。诗人让自己站到了三岔路口，是仕，是隐，无一理想，无可适从。故不由得叹道：“万事难并欢。”在仕隐矛盾的煎熬下，诗人为自己设计了一条慰藉心灵的人生道路：“达生幸可托。”以“达生”处世，就会避免贪多务得，不受物欲的困扰，摆脱世务的牵累，在精神上求得自我解脱，近乎陶渊明《归去来兮辞》结尾所表示的生活态度：“乐乎天命复奚疑。”
谢灵运为官时不理政事也是“达生”思想的表现，而“达生”思想的进一步实践，尚有待于绝意仕进，归隐田园，更远地离开尘世俗务。谢灵运出身大官僚地主家庭，广有田产，归隐而仍可免于沮溺的耦耕之苦，这大概是他的“达生”思想的最完美的实现了。不久，他果然踏上了归隐的道路。
全诗以“斋中读书”作为结构的中心，向前推衍，说到过去；往后演绎，谈及未来。读书是在斋中，说前道后的情事则及于斋外的广阔世界——京城的丘壑，永嘉的山川，执戟殿中，耕稼田间。仕隐矛盾的抽象主题，由于结合读书论书的具体内容提出，显得不玄不泛；又由于视野开阔，有回顾，有前瞻，联系长期以来的生活体验坦率剖白，通篇又具有了感情深沉凝重、语调平易亲切的特点。
作为一首宣扬老庄“达生”思想的记事说理诗，而能不落抽象说理的魔障，写得迥异于“平典似《道德论》”的“孙绰、许询、桓、庾诸公诗”（钟嵘《诗品序》），足见诗人艺术上的功力。至于诗中宣扬的所谓“达生”的消极避世、自得其乐的人生态度与生活理想，对于今天的读者来说，肯定是不足取的，但对于了解谢灵运全人及其创作演进的轨迹，则又有着不可忽视的重要意义。
这首词上片开篇即感慨人生，继而从自己的形貌憔悴以及故人的穷困潦倒进一步感叹时光易逝，毫无建树，处境艰难；下片笔锋转向写景，前半写自己与故人携手林间的南山之游，后半借眼前景色抒发万里归思之情。全词叙述条理分明，犹如一篇感人至深的叙事散文；词句多化用前人诗文，信手拈来，自然贴切；情景交融，音韵和谐，结构如行云流水，毫无生涩之感。
上片叙事抒情，一开始便感慨人生，继而从自己的形貌憔悴以及故人的穷困潦倒进一步感叹时光易逝，毫无建树，处境艰难。开头三句以“漂流江海”和“烟浪云帆”八字总结自己与故人分别数十年间的宦海浮沉，寄慨良深。“故人”二句以故人之“惊怪”眼写自己憔悴之甚。苏轼被贬后的生活是很穷困的，当时被贬为团练副使，官位是很卑微的。据史书记载当时是“无屋可居，无田可食，二十余口，不知所归，饥寒之忧，近在朝夕”。所以在才会说“憔悴老青衫”。“我自”三句以故作不解的问句写故人与自己品格相契，都因“疏狂异趣”而“强自取折”。也就是说他潦倒穷困，是因为不随波逐流，与众不同。“流年”三句补出与故人相见的时间地点和环境，与上面的议论和感慨情景相合，烘托穷途末路的羁旅之思。
词的下片笔锋转向写景，再转入抒情，一唱三叹。前半照应词序，写与故人携手林间的南山之游。过片“巉巉”二字，实写南山高大突起的形象，同时也表现了苏轼傲岸不屈的精神，暗示从舟中到山中的游踪变化，与上片结句的情境构成逆转，为下文写景抒情作铺垫。后半借眼前景色抒发万里归思。“莫上”二句语婉曲而意层深，结尾三句情愈转深，而情深仍不离景物。说自己因对方的询问而梦回故乡，其实作者的乡思根本不需要提醒。这样写既紧扣对方，也使措辞更显回环，行文平添曲折，余波杳渺，荡漾生姿。下片表达了作者对命运的豁达乐观，与老友的相知相得，对故乡的牵挂眷念。
此词情景交融，音韵和谐，结构如行云流水，叙述条理分明，犹如一篇感人至深的叙事散文。全词多处化用前人诗句。如：“万里烟浪云帆”，化用李白《行路难》“长风破浪会有时，宜挂云帆济抢海”和白居易《海漫漫》“云涛烟浪最深处，人传中有三仙山”；“憔悴老青衫”，语出白居易《琵琶行》“坐中泣下谁最多，江州司马青衫湿”；“我自疏狂异趣”，则是化用白居易《代书诗一百韵寄微之》“疏狂属年少，闲散为官卑”；“古寺空岩”，又是袭用杜甫《和裴迪登新津寺寄王侍郎》“蝉声集古寺，鸟影度寒塘”和杨素《山斋独步赠薛内史诗二首》“深溪横古树，空岩卧幽石”诗意；“云海相搀”，化用李白《关山月》“明月出天山，苍茫云海间”；“家何在”，则出自韩愈《左迁至蓝关示侄孙湘》“云横秦岭家何在，雪拥蓝关马不前”。这些化用，信手拈来，自然贴切，可谓此词的一个重要特色。
这首诗深刻地揭露了豪商富贾唯利是图、牟取暴利的种种手段和官商勾结的情形，表达了诗人对“高资比封君”的商贾的鄙夷，对“辛苦事寒耕”的农夫的同情。这首诗共有二十二句，可以分成四个段落。
“贾客无定游，所游唯利并。”两句是第一段。这段总写了商人的唯利是图。诗人只用十个字，既指出了商人的游无定所，又点明了商人游为利并，非常深刻地揭露了商人唯利是图的本质。
第二段共有八句，具体地描述了豪商富贾牟取暴利的种种手段。
《贾客词》中所披露的奸商牟利的手段有三：其一是“眩俗杂良苦，乘时取重轻”。这可以概括为“以次充好”。其二是“心计析秋毫，捶钩侔悬衡”。这可以概括为“短斤少两”。其三是“锥刀既无弃，转化日已盈。”这可以概括为“倒手转卖”。奸商就是用各种手段牟取暴利，使他们的财富与日俱增的。然而商贾是贪婪无厌的。
“微福祷波神，施财游化城”，他们乞求神明保佑发大财，念念不忘的唯有一个“利”字而已。这段纯用白描手法，没有丝毫的修饰，没有半点儿夸张，使人感到非常真实，非常自然。这八句诗中，没有一个字眼可以算作是对奸商的鞭挞的。诗人只是不厌其详地描写了商人牟利的手段。然而读者所感觉的却是诗人把奸商牟利的手段描写得越详细，对奸商的揭露就越深刻。诗人是用奸商自己的行动把奸商鞭挞得体无完肤的。这八句诗，虽然没有一个字眼可以算作是表达诗人的感情的，但是字里行闻无处不充满着诗人对奸商的无比憎恨。
第三段共有十句，详细地描绘了豪商大贾富逾王侯，穷奢极侈的生活和官商勾结，豪商肆行无阻的情景，揭露了官商勾结造成的危害。
“妻约雕金钏，女垂贯珠缨”，以商贾妻女装束的华丽，烘托了商贾的富豪。“高资比封君，奇货通幸卿”，一石二鸟，既讲明了豪商富贾家居“奇货”，资财无比，如何豪富，又揭出了他们致富的诀窍是以“奇货”通融“幸卿”。因为官府庇护豪商，所以豪商多有不法。奸商在官府的庇护下，象老鹰一样贪婪，使出一切手段抓钱，钱串子如条条盘龙，数也数不清。他们的巨大货船，航行在水路要道。他们的店铺高过高楼大厦。他们不论是行是止，时时都有歌舞音乐伴随，各地关卡，都不征收他们的税务。商之所以巴结官，是为了借助于官的“势”；官之所以庇护商，是为了捞点儿商的“财”。这对官商勾结的揭露非常深刻。
第四段是最后两句，紧接前段，在大肆铺陈豪商富贾如何奢华之后，提出了“农夫何为者”的发问，把“辛苦事寒耕”的“农夫”和“行止皆有乐”的“贾客”加以比较，卒章显志，表达了诗人对商贾的鄙夷和对农夫的同情，使诗的主题得到升华。农夫和贾客的比照是全诗的点睛之笔。有此一笔，这首诗便不同凡响，无此一笔，这首诗则了无新意。
这首诗所反映的“四方之贾，以财相雄”、“贾雄则农伤”的情况是真实的。这首优秀的现实主义的诗篇，对豪商富贾给予了无情的鞭笞，对茹苦含辛的农夫表示了深切的同情。这实在是难能可贵的。