因为是送给僧人的诗，所以诗开头便云佛事：“枿坐云游出世尘。”这是写质上人的形象。诗人抓住他的特征，刻画了他的不同凡俗。
第二句进一步写质上人的形象。瓶钵是云游和尚喝水吃饭不可少的器具。可是质上人连应该随身携带的一瓶一钵都没有。这就更突出了质上人超出尘世的性格，成了飘飘然来去无牵挂的大闲人了。
第三、四句，“逢人不说人间事，便是人间无事人。”这是从质上人的精神境界去刻画他的形象。他不说一句有关人世间的话，这才写出精神上大解脱的悟道者形象。人们口上说的，都是心上想的，不说人间事，是他心里根本不想这些事，因为他把人间的名利富贵看做是虚幻、短暂、无意义的。“所谓“世缘终浅道缘深”（苏东坡语），在这位质上人身上表现得非常彻底，他完全游离于尘世之外。
他虽曾赞羡“万般不及僧无事，共水将山过一生”（《题道林寺》）的生活，但无论怎样也不能像质上人那样口不说一句人间事。所以“逢人不说人间事，便是人间无事人”，既有对质上人的称赏和羡慕，也有诗人自己复杂心情的流露，字面上意义虽然浅近，而诗人的感慨颇深。
杜荀鹤的诗在语言上通俗浅近，明白流畅，所以他把严于格律的近体诗通俗化了。正因为这样，他的许多诗句包括《赠质上人》在内都在长期流传中成了人们口头的熟语。
该诗回顾了诗人被流放到南方的经历，表现了他北归的兴奋之情，九死不悔的倨傲之心和坚强自信、旷达豪放的襟怀。全诗多次运用“比”的手法，韵味深远。
“参横斗转”，是夜间渡海时所见；“欲三更”，则是据此所作的判断。曹植《善哉行》：“月没参横，北斗阑干。”这说明“参横斗转”，在中原是指天快黎明之时的景象。而在海南，则与此不同，王文诰指出：“六月二十日海外之二、三鼓时，则参已早见矣。”这句诗写了景，更写了人。一是表明“欲三更”，黑夜已过去了一大半；二是表明天空是晴朗的，剩下的一小半夜路也不难走。因此，这句诗调子明朗，可见当时诗人的心境。而在此之前，还是“苦雨终风”，一片漆黑。连绵不断的雨叫“苦雨”，大风叫“终风”。这一句紧承上句而来。诗人在“苦雨终风”的黑夜里不时仰首看天，终于看见了“参横斗转”，于是不胜惊喜地说：“苦雨终风也解晴。”
三、四两句，就“晴”字作进一步抒写。“云散月明”，“天容”是“澄清”的；风恬雨霁，星月交辉，“海色”也是“澄清”的。这两句，以“天容海色”对“云散月明”，仰观俯察，形象生动，连贯而下，灵动流走。而且还用了句内对：前句以“月明”对“云散”，后句以“海色”对“天容”。这四句诗，在结构方面又有共同点：短句分两节，先以四个字写客观景物，后以三个字表主观抒情或评论。唐人佳句，多浑然天成，情景交融。宋人造句，则力求洗练与深折。从这四句诗，既可看出苏轼诗的特点，也可看出宋代诗的特点。
三、四两句看似写景，而诗人意在抒情，抒情中又含议论。就客观景物说，雨止风息，云散月明，写景如绘。就主观情怀说，始而说“欲三更”，继而说“也解晴”；然后又发一问：“云散月明”，还有“谁点缀”呢？又意味深长地说：“天容海色”，本来是“澄清”的。而这些抒情或评论，都紧扣客观景物，贴切而自然。仅就这一点说，已经是很有艺术魅力的好诗了。
然而上乘之作，还应有言外之意。三、四两句，写的是眼前景，语言明净，不会让读者直接觉得得用了典故。但仔细寻味，又“字字有来历”。《晋书·谢重传》载：谢重陪会稽王司马道子夜坐，“于时月夜明净，道子叹以为佳。重率尔曰：‘意谓乃不如微云点缀。’道子戏曰：‘卿居心不净，乃复强欲滓秽太清耶？’”（参看《世说新语·言语》）“云散月明谁点缀”一句中的“点缀”一词，即来自谢重的议论和道子的戏语，而“天容海色本澄清”则与“月夜明净，道子叹以为佳”契合。这两句诗，境界开阔，意蕴深远，已经能给读者以美的感受和哲理的启迪；再和这个故事联系起来，就更能让人多一层联想。王文诰就说：上句，“问章惇也”；下句，“公自谓也”。“问章惇”，意思是：你们那些“居心不净”的小人掌权，“滓秽太清”，弄得“苦雨终风”，天下怨愤。如今“云散明月”，还有谁“点缀”呢？“公自谓”，意思是：章惇之流“点缀”太空的“微云”既已散尽，天下终于“澄清”，强加于他的诬蔑之词也一扫而空。冤案一经昭雪，他这个被陷害的好人就又恢复了“澄清”的本来面目。从这里可以看出，如果用典贴切就可以丰富诗的内涵，提高语言的表现力。
五、六两句，转入写“海”。三、四句上下交错，合用一个典故；这两句则显得有变化。
“鲁叟”指孔子。孔子是鲁国人，所以陶渊明《饮酒诗》有“汲汲鲁中叟”之句，称他为鲁国的老头儿。孔子曾说过“道不行，乘桴浮于海”（《论语·公冶长》），意思是：我的道在海内无法实行，坐上木筏子飘洋过海，也许能够实行吧！苏轼也提出过改革弊政的方案，但屡受打击，最终被流放到海南岛。在海南岛，“饮食不具，药石无有”，尽管和黎族人民交朋友，做了些传播文化的工作；但作为“罪人”，是不可能谈得上“行道”的。此时渡海北归，回想多年来的苦难历程，就发出了“空余鲁叟乘桴意”的感慨。这句诗，用典相当灵活。它包含的意思是：在内地，他和孔子同样是“道不行”。孔子想到海外去行道，却没去成；他虽然去了，并且在那里呆了好几年，可是当他离开那儿渡海北归的时候，却并没有什么“行道”的实绩值得他自慰，只不过空有孔子乘桴行道的想法还留在胸中罢了。这句诗，由于巧妙地用了人所共知的典故，因而寥寥数字，就概括了曲折的事，抒发了复杂的情；而“乘桴”一词，又准确地表现了正在“渡海”的情景。“轩辕”即黄帝，黄帝奏乐，见《庄子·天运》：“北门成问于黄帝曰：‘帝张咸池之乐于洞庭之野，吾始闻之惧，复闻之怠，卒闻之而惑；荡荡默默，乃不自得。’”苏轼用这个典，以黄帝奏咸池之乐形容大海波涛之声，与“乘桴”渡海的情境很合拍。但不说“如听轩辕奏乐声”，却说“粗识轩辕奏乐声”，就又使人联想到苏轼的种种遭遇及其由此引起的心理活动。就是说：那“轩辕奏乐声”，他是领教过的；那“始闻之惧，复闻之怠，卒闻之而惑”，他是亲身经历、领会很深的。“粗识”的“粗”，不过是一种诙谐的说法，口里说“粗识”，其实是“熟识”。
尾联推开一步，收束全诗。
“兹游”，直译为现代汉语，就是“这次出游”或“这番游历”，这首先是照应诗题，指代六月二十日夜渡海；但又不仅指这次渡海，还推而广之，指自惠州贬儋县的全过程。1094年（绍圣元年），苏轼抵惠州贬所，不得签书公事。他从1097年（绍圣四年）六月十一日与苏辙诀别、登舟渡海，到1100年（元符三年）六月二十日渡海北归，在海南岛渡过了三个年头的流放生涯。这就是所谓“兹游”。下句的“兹游”与上句的“九死南荒”并不是互不相承的两个概念，那“九死南荒”，即包含于“兹游”之中。不过“兹游”的内容更大一些，它还包含此诗前六句所写的一切。
弄清了“兹游”的内容及其与“九死南荒”的关系，就可品出尾联的韵味。“九死”，多次死去的意思。“九死南荒”而“吾不恨”，是由于“兹游奇绝冠平生”，看到了海内看不到的“奇绝”景色。然而“九死南荒”，全出于政敌的迫害；他固然达观，但也不可能毫无恨意。因此，“吾不恨”毕竟是诗的语言，不宜呆看。这句既含蓄，又幽默，对政敌的调侃之意，也见于言外。