诗的前八句纯以议论出之，点明此番出游的缘由。诗人借对前事的评述逐渐抽绎出自己的思绪来。头四句以齐景公和周穆王作为一反一正的比照：春秋时的齐景公，曾登牛山而流涕，哀人生之短促，而其用以补偿的却是加倍地贪恋宫室狗马之乐；周穆王为追求赏心乐事，则乘八骏西游，在昆仑瑶池与西王母尽相见之欢。前者沉溺于世俗的物质享受之中，未免辜负了那一瞬间对人生的感悟，所以说“牛山空洒涕”；后者在远游中实现了生命的延长，那才是精神上真正的欢乐，所以说“瑶池实欢悰”。这一“空”一“实”的用语，已逗漏出作者的主意所在。次四句归到自己身上，作进一步申说。“年迫”两句说岁月流逝，山望成空，惟有在与自然亲切晤对的远游中，才能使心胸豁然畅通。“大宝”两句说：即使贵为国君也不能摆脱“年迫”之苦，更何况像我这样被迁谪至海隅的失意者呢！言下则企羡远游之情已昭然可见。诗的前八句，用笔至为工稳细密：写齐景公事以“遄台”和“牛山”并举，因两者均在今山东淄博一带，位置相邻；写周穆王事以“紫宫”和“瑶池”并举，因两者原意指天帝和神仙的居所，字面相近。后四句虽已转入夫子自道，而在字面上，“年迫”犹承齐景公牛山之泣一事，“游远”犹承周穆王西游之事，“大宝”义兼二君。意虽转而语犹承，从中可见大谢诗的“法密机圆”（方东树语）之处。
诗的后八句写登临的所见和所感。“羁苦”、“观海”两句为承上启下的过渡。盘屿山在浙江乐清市西南五十里，滨海，故登山可以观海。而此番登临，原是因不耐客中寂寞故来寻求安慰，非同一般的流连玩赏，这就为下文的虚拟之笔预设了伏笔。诗人写景，只用了“莫辨洪波极，谁知大壑东”两句，从空际着笔，极写海之浩渺无涯。这两句在突出大海辽阔无际的同时，也写出了其吞吐无穷的容量和汹涌澎湃的动势；而置于句首的“莫辨”、“谁知”，又将诗人的惊异、赞叹之情倾泻无遗。诗人以大刀阔斧的疏朗之笔展示出极为恢宏的气象，不仅切合海的性格，也使全诗至此精神为之一振。而紧接着的“依稀采菱歌，仿佛含嚬容”，又在转眼之间将实景翻作虚景。按采菱曲为楚歌名，“含颦容”则从西施“病心而颦”的故事化出，这里借指越女，所谓“荆姬采菱曲，越女江南讴”（王融《采菱曲》），这楚歌越声在大谢诗中乃是和归思相联系的。谢灵运有《道路忆山中》诗云：“采菱调易急，江南歌不缓。楚人心昔绝，越客肠今断。断绝虽殊念，俱为归虑款。”可移用为此诗注脚。“依稀”、“仿佛”四字已明言这并非实有之景，而在眺望大海之际，忽闻乡音，忽见乡人，正是由思乡心切而生出的幻觉。这一神来之笔，把主人公深沉的情思呼之欲出。既然“羁苦”之情不能在观海之际释然于胸，那么也就只有在继续远游中才能聊以排遣，诗的末二句正是以展望未然来收束的。诗的这一部分以虚实交互为用的运笔烘托出内心的波澜，把主人公为苦闷所迫而又无计解脱的心绪表现得十分真切而自然。
这首诗大半都用对偶句组成，却无板滞迂缓之弊。原因是诗人的精心结撰之处，并不限于区区一联，而是将之置于全篇的结构之中，注意彼此之间的承接呼应关系。如首四句从字面看分为上下两联，而在用事上则以一三、二四各说一事，显得错落有致。五、六两句虽自成一联，而它们又分别和前四句勾连相承。“莫辨”以下连用六个偶句，而以句首的不同用词又可分为三组，这又是与内容的虚实转换互为表里的。
本曲共有四首，除末二句语句不变外，其余三首的起首分别是：“流水桃花鳜美，秋风莼菜鲈肥。”“鲲化鹏飞未必，鲤从龙去安知。”“藏剑心肠利己，吞舟度量容谁。”可见诗人的“有所感”，是从“鱼”上生发的。当然用意不在于谈饮食文化，其“所感”的内容还是社会的人事。
本篇起首使用羊续、冯两则与鱼相关的典故，“高高挂起”与“苦苦伤悲”相映成趣。两人的态度虽截然不同，但一为官吏，一为门客，都是仕途上的人物，在失去自由身这一点上又有共同之处，所以这两句都是铺垫，用来与接下的三句形成对照。在第三、四、五句中，未出现具体的人物，因为“多少渔矶”，隐于江湖的渔翁人数太多了。作者采用问句的形式，暗示“大海”、“长江”无处不可隐居，从而引出了末尾两句的感想。言下之意，羊续高高挂起是为官清廉，冯苦苦伤悲是怀才不遇，他们都比不上那些散隐各地的无名渔翁。利用“鱼”的内在联系，引出用世、出世的优劣比较，这种构思是颇为新奇的。
“荆公”即王安石。张光祖《言行龟鉴》：“介甫（王安石）在政事堂，云吃鱼羹饭。一日因事乞去，云世间何处无鱼羹饭。”但这是元人编的书，从他本人的《临川集》以及相关的宋代笔记中，找不到他“题”过这样的话。只见清人顾栋高《王荆国文公遗事》引《上蔡语录》，谓王安石“作宰相只吃鱼羹饭，得受用底不受用，缘省便去就自在”。《上蔡语录》为宋儒谢良佐的语录，同书还有王安石因荐人未遂，拂袖便辞去宰相职务的记述，可见都是出于传闻。徐再思小令《朝天子·常山江行》中，也有“得闲，且闲，何处无鱼羹饭”的曲句，看来已成为元代流传的习语，归于荆公名下，大概就同“杜甫游春”、“孟浩然寻梅”等一样，属于约定俗成。“鱼羹饭”在古人诗文中倒是出处颇早。五代李珣《渔歌子》：“水为乡，蓬作舍，鱼羹稻饭常餐也。”南宋戴复古《思归》：“肉糜岂胜鱼羹饭，纨绔何如犊鼻裨。”刘克庄《郑丞相生日口号》：“江湖不欠鱼羹饭，直为君恩未拂衣。”从这些例句中显而易见，“鱼羹饭”代表着“江湖”的“常餐”。推其本原，这三字实同西晋张翰那则思鲈鱼莼羹而决然辞官的著名典故（参看前选张可久《人月圆·客垂虹》注③）有关系，对于在官者来说，“何处无鱼羹饭吃”，也就是随时随地都不妨急流勇退、挂冠回乡的意思。
小令语言严谨，寓味深长，堪称当行。《录鬼簿续编》载时人对周德清有“天下之独步”的高度评价，想来就是对这样的作品而言。
开头四句语言颇艰涩费解。第一句，“羁心”指一个被迫远游为宦的人满肚皮不情愿的心情。这句意思说在秋天的早晨自己郁积着一种不愉快的羁旅者的心情。接下来第二句说，既然一清早心情就不愉快，那么爽性尽情地眺览沿途的景物吧。第三、四两句似互文见义，实略有差别。“逝湍”指湍急而流逝的江水，则“孤客”当为舟行之客；而“徒旅”虽与“孤客”为对文，乃指徒步行走的人，则当为陆行之客，故下接“苦奔峭”三字。夫舟行于逝湍之中，自然提心吊胆；但其中也暗用“逝川”的典故。《论语·子罕》：“子在川上曰：‘逝者如斯夫，不舍昼夜！’”因知此句的“伤”字义含双关，既伤江上行舟之艰险，又伤岁月流逝之匆遽，与下文“遭物悼迁斥”句正相呼应。第四句，江岸为水势冲激，时有崩颓之处，徒步旅行的人走在这样的路上自然感到很苦。不过从上下文观之，这句毕竟是陪衬，重点还在“伤逝湍”的“孤客”，也就是作者本人。所以“孤客”、“徒旅”是以个别与一般相对举，似泛指而并非全是泛指。
第二节的四句全是景语。这中间也有跳跃。开头明写秋晨，下文却来写“秋晚”，而用“日落山照曜”一句来代表。这种浓缩的手法是我国古典诗歌的特点之一，而谢灵运的诗在这方面显得尤为突出。但是缓是急，仍须研究。汉武帝《瓠子歌》（见《史记·河渠书》引）：“河汤汤兮激潺谖。”可见当训水流急貌。何况“石浅”则水势自急，必非缓流可知。此四句“石浅”句写水，写动态，“日落”句写山，写静态；水为近景，色泽清而浅；山为远景，色泽明而丽。“荒林”句写目之所见，“哀禽”句写耳之所闻。全诗景语，仅此四句，起到承上启下的作用，照理讲它们并非主要内容。只是若把这四句删掉，此诗即无诗味可言。可见情由景生，原是写诗要诀。
第三节从写景转入抒情，却兼有议论。“迁斥”有两层意思，一是主观上指自己被出为郡守，无异于受迁谪和贬斥，二是客观上感到节序迁改推移，时不待人。这二者都是值得伤悼的。但只要存有希望，就可以领悟精微玄妙的道理，不致因外来的干扰影响自己的情绪了。然而这种悟道的境界，只有太古时代的圣君贤哲才能心领神会，处于衰乱末代的人是无法理解的。所以作者说，“我既已持有上古时代的圣贤的一颗心，哪里还在乎当今世人的讥诮呢！”从这里，看得出作者同刘宋王朝的统治阶级是互相对立的，这是豪门世族与军阀新贵之间必然存在的矛盾。最后矛盾激化，谢灵运终于以谋反罪被杀害。从历史主义的观点来分析，这是丝毫不足为怪的。
最后一节，作者借古人以明志。“严子”和“任公”这是两种不同类型的古人。严光是避世的隐者，而任公则象征着具有经世大才的非凡之辈。作者意思说自己纵有经天纬地之才，由于不合时宜，宁可做个隐士。结尾两句，作者明确表示：即使不同时代的人也可以志趣相投，步调一致。言外隐指：本人知音寥落，当世的人对自己并不了解。从而可以推断，上文作者所伤悼的具体内容到底是什么了。
