开头四句写倦游江南，转游江北。诗人先用“江南倦历览，江北旷周旋”说明渡江北游的原因。后来用“怀新道转迥，寻异景不延”描述北游途中产生的心理感觉。道本不迥而党其远，景本不可延而怪其不延，空间、时间均在主观意念作用下出现不合理而合情的反差和变异，借主观与客观的矛盾突出为探寻新景异景而路欲其短、日欲其长的急切心情。在这心情支配下，乘船过江，不是顺流斜渡，而是“乱流趋正绝”，以缩短路程，争取时间，这就和上两句紧相绾合。此句又缘于下句”孤屿媚中川”而写。因为见到孤屿中流独峙奇绝之景，故而迫不及待地横流直渡。诗中正面写孤屿风景共三句，“孤屿媚中川”是登屿之前遥而望之的总体美。“媚”字极写孤屿山在清澈的江流中间秀峰耸翠，妍美悦人。
后面两句“云日相辉映，空水共澄鲜”，则是登屿之后所见景色。上句写云日同辉，下旬写江天一色。江中孤屿在白云、丽日、蓝天、澄江的烘托之下，有如一螺青黛，分外秀丽妩媚。正当诗人对孤屿赏爱不绝，忽然感情波动，为这新异之景的无人欣赏、无人传写而叹惜，于是写出“表灵物莫赏，蕴真谁为传”。这两句包含三层意思：一是为孤屿的灵秀无人赏爱、仙人的故事无人传写而叹惋。二是借“物莫赏”、“谁为传”，从反面说出自己为之传写赞美的意愿。三是与上文“怀新”、“寻异”相呼应，突出孤屿的美。可谓一石三鸟，意蕴深厚。这两句又点出孤屿的“表灵”、“蕴真”，已见灵气仙心，进而即景生发，驰骋神思，自然想及仙山仙术，因而顺理成章写出最后四句：“想像昆山姿。缅邈区中缘。始信安期术，得尽养生年。”在诗人想望中，江中孤屿表灵蕴真为神仙之奥区，它的灵异之姿、远绝尘缘之境，都与昆仑山有着某种内在的联系，因而冥想杏渺以虚作实，自谓道心契悟．始信安期之术得以养生尽年。这一方面是外放永嘉、心情苦闷的真实流露，渴望以遁世求仙得到解脱；另一方面则以神异灵秀的姿质去描写江中孤屿的美。
这首诗结构上也是按照叙事—写景—说理的框架写成。正面写景虽然只有三句，但全篇都以写景为中心。为景而游，因景而思，承转自然。全篇语言清隽，风韵秀雅。
此诗首先用了两个对比，以太行之路险能摧车和巫峡之水急能覆舟来与多变之人心相比，指出前者与后者相比实在是平坦之途，从而读者可想见人心之险恶了。
接着诗人连用四个典故来进一步说明人心易变的具体表现。一个是赵壹所说的当别人说你好时仿佛羽毛能从你的皮下生长出来，而当他不喜欢你时，同是这一层皮他却能说成是生疮溃烂。另一个则是家喻户晓的民间故事“牛郎织女”，牛郎织女虽然每年只能相聚一次，但却非常恩爱，但没有想到这样看似非常牢固的情感关系也会反目成仇，就像参、商两个星宿不能同时出现在天空一样，变成了“有你没我”势不两立的敌对关系。第三个典故也是古人非常熟悉的汉武帝与李夫人之事，是讲女人取悦于自己的男人是因为其青春貌美，而随着其年长色衰男人就不再宠幸她了，李夫人就是为自己这个遭遇而怨恨的。但这个典故还只是一个铺垫，下面的第四个典故“鸾镜”进一步说明，女人爱照镜子，当她还在为自己依然充满活力的形象而沾沾自喜之时，却没有想到她的男人就已经变心了。
接着诗人用了两个排比句，讲失去了男人恩宠的女人，无论她怎么做，都无法让其回心转意了：为男人用香兰、麝香熏衣服，但变了心的男人却不闻其香；为男人盛妆打扮修饰，男人看着这些金玉饰品却不见其色。
接下来诗人对上述表现进行总结，强调“行路难”，为女人的依附性地位及其遭遇发出了呼喊，并对诗一开头就提到的山、水之险进行回应。但这还只是诗人表面的目的。此诗的深层目的在于为君臣关系中处于弱势的臣子的遭遇而鸣不平。朝中的高官可以是早承恩而暮赐死的，可以说在朝做官是战战兢兢、朝不保夕的。诗人认为，行路难，其实不是说的那些平常的山水之路，而是那些君臣交往（当然也可以扩展为所有上下级交往甚至于一切人际交往）之中的难测的“圣心”。变化莫测的圣心就像上述典故中的男人一样，随时都有可能抛弃自己的臣子。
诗人在诗中毫不留情地对最高统治者展开了批判，其勇气可嘉，但也让人为其政治前途感到担心。当然诗人敢于这样写的原因在于在他写此诗时，与他想法相同的还大有人在，“法不责众”的侥幸心理也促成他敢于放言。另外诗人指出这一点的目的是希望最高统治者能设法改善君臣关系，对臣下多一些宽容和尊重，这样对唐王朝本身也是有利的。
这是一首在写作上很有特色的诗歌，诗人灵活地运用了对比、比喻、排比等手法，并且通篇运用比喻，结构紧凑、首尾相应，使全诗在展现批判力量的同时，还具有较强的可读性。可以想见此诗发表的当时，是颇能引起广大士绅的强烈共鸣的，但这也为其他不满诗人的一些保守官僚提供了最好的攻击借口。后来诗人遭到贬谪此诗可能就是一个导火索。