首联扣题，从“悲往事”写起，述说往日虎口逃归时的险象。“胡正繁”有两层含义：一是说当时安史叛军势大，朝廷岌岌可危；二是说西门外敌人多而往来频繁，逃出真是太难，更能表现出诗人对朝廷的无限忠诚。颔联“至今”暗转，进一步抒写昔日逃归时的危急情态，伸足前意而又暗转下文，追昔而伤今，情致婉曲。章法上有金针暗度之效。
颈联转写今悲，满腔忠心却遭外贬，本是皇帝刻薄寡恩，是皇帝自己疏远他，可诗人却偏说“移官岂至尊”，决无埋怨皇帝之意，故成为杜甫忠君的美谈。但若仔细体会，杜甫在这两句中还是含有怨艾之情的，只不过是说得婉曲罢了。尾联在自伤自叹中抒写眷恋朝廷不忍遽去的情怀。感情复杂而深婉，虽然写得很含蓄，实际是在埋怨肃宗。
这首诗追忆了当年九死一生从胡尘中间道逃往凤翔的情景，痛定思痛，感慨万千。当年是“麻鞋见天子，衣袖露两肘。朝廷悯生还，亲故伤老丑。涕泪授拾遗，流离主恩厚”，本以为从此可以效忠王室、裨补国政，谁知却因正直敢言了遭奸按诽傍，天子疏远，从政一年多就被贬斥。诗人内心的怨望很深，却以“不怨之怨”的委婉笔法写出。篇末抒发自己眷念京国的深情，更加衬托出统治者的黑白不辨、冷酷无情。
诗的前八句纯以议论出之，点明此番出游的缘由。诗人借对前事的评述逐渐抽绎出自己的思绪来。头四句以齐景公和周穆王作为一反一正的比照：春秋时的齐景公，曾登牛山而流涕，哀人生之短促，而其用以补偿的却是加倍地贪恋宫室狗马之乐；周穆王为追求赏心乐事，则乘八骏西游，在昆仑瑶池与西王母尽相见之欢。前者沉溺于世俗的物质享受之中，未免辜负了那一瞬间对人生的感悟，所以说“牛山空洒涕”；后者在远游中实现了生命的延长，那才是精神上真正的欢乐，所以说“瑶池实欢悰”。这一“空”一“实”的用语，已逗漏出作者的主意所在。次四句归到自己身上，作进一步申说。“年迫”两句说岁月流逝，山望成空，惟有在与自然亲切晤对的远游中，才能使心胸豁然畅通。“大宝”两句说：即使贵为国君也不能摆脱“年迫”之苦，更何况像我这样被迁谪至海隅的失意者呢！言下则企羡远游之情已昭然可见。诗的前八句，用笔至为工稳细密：写齐景公事以“遄台”和“牛山”并举，因两者均在今山东淄博一带，位置相邻；写周穆王事以“紫宫”和“瑶池”并举，因两者原意指天帝和神仙的居所，字面相近。后四句虽已转入夫子自道，而在字面上，“年迫”犹承齐景公牛山之泣一事，“游远”犹承周穆王西游之事，“大宝”义兼二君。意虽转而语犹承，从中可见大谢诗的“法密机圆”（方东树语）之处。
诗的后八句写登临的所见和所感。“羁苦”、“观海”两句为承上启下的过渡。盘屿山在浙江乐清市西南五十里，滨海，故登山可以观海。而此番登临，原是因不耐客中寂寞故来寻求安慰，非同一般的流连玩赏，这就为下文的虚拟之笔预设了伏笔。诗人写景，只用了“莫辨洪波极，谁知大壑东”两句，从空际着笔，极写海之浩渺无涯。这两句在突出大海辽阔无际的同时，也写出了其吞吐无穷的容量和汹涌澎湃的动势；而置于句首的“莫辨”、“谁知”，又将诗人的惊异、赞叹之情倾泻无遗。诗人以大刀阔斧的疏朗之笔展示出极为恢宏的气象，不仅切合海的性格，也使全诗至此精神为之一振。而紧接着的“依稀采菱歌，仿佛含嚬容”，又在转眼之间将实景翻作虚景。按采菱曲为楚歌名，“含颦容”则从西施“病心而颦”的故事化出，这里借指越女，所谓“荆姬采菱曲，越女江南讴”（王融《采菱曲》），这楚歌越声在大谢诗中乃是和归思相联系的。谢灵运有《道路忆山中》诗云：“采菱调易急，江南歌不缓。楚人心昔绝，越客肠今断。断绝虽殊念，俱为归虑款。”可移用为此诗注脚。“依稀”、“仿佛”四字已明言这并非实有之景，而在眺望大海之际，忽闻乡音，忽见乡人，正是由思乡心切而生出的幻觉。这一神来之笔，把主人公深沉的情思呼之欲出。既然“羁苦”之情不能在观海之际释然于胸，那么也就只有在继续远游中才能聊以排遣，诗的末二句正是以展望未然来收束的。诗的这一部分以虚实交互为用的运笔烘托出内心的波澜，把主人公为苦闷所迫而又无计解脱的心绪表现得十分真切而自然。
这首诗大半都用对偶句组成，却无板滞迂缓之弊。原因是诗人的精心结撰之处，并不限于区区一联，而是将之置于全篇的结构之中，注意彼此之间的承接呼应关系。如首四句从字面看分为上下两联，而在用事上则以一三、二四各说一事，显得错落有致。五、六两句虽自成一联，而它们又分别和前四句勾连相承。“莫辨”以下连用六个偶句，而以句首的不同用词又可分为三组，这又是与内容的虚实转换互为表里的。
