首联“石与人俱贬，人亡石尚存”从人石俱贬写到石存人亡，一开头就具有强烈的感伤色彩。诗人从“石”入手，自然浑成。石存人亡的衬托，突现了苏轼的不幸。当年，苏轼被贬南方，这块心爱的玩石，随其同往，可谓同病相怜；而如今人去石存，大有人不如石之慨。而赞美“石”质的“坚”与“重”，则暗含诗人对苏轼为人立世之本的钦佩。苏轼一生，在政治上从不因一己之利而朝三暮四，始终坚持独立的品行。石随人贬，一个“俱”字，道尽了当时的世态炎凉。更伤感的是，苏轼所欣赏的雪浪石虽“不闻”而“尚存”，雪浪斋还可重新“葺治”，而石和斋的主人苏轼却再也见不到了，充满了物是人非之感。
中间两联承“石尚存”生发。“坚重质”既是写雪浪石，又是苏轼的象征。苏轼一生爱石，在于石具有“震霆凛霜我不迁”的“节概”，也就是诗人所说的“坚重质”，而苏轼一生在险恶的政治风浪中正具有这种坚重不迁的高贵品质。颈联隐括苏轼《雪浪石》诗和《雪浪斋铭》入诗，写珍惜和复原友人遗物。“满酌中山酒”，是说诗人也要像当年苏轼那样“老翁儿戏作飞雨，把酒坐看珠跳盆”。“重添丈八盆”，是说要重做“玉井芙蓉丈八盆”以盛装雪浪石。珍重友人遗物正表现了思念友人的深厚之情。
尾联承“人亡”。“不归北”，语意双关，既指苏轼卒于常州，又指苏轼鉴于政治原因，决意“不归北”。苏轼本来“已决计从弟之言，同居颍昌”，但行至真州，“颇闻北方事，有决不可往颍昌近地居者，今已决计居常州。”所谓“北方事”是指宋徽宗上台仅一年多，就由调停新旧两党转为再次打击元祐党人。苏轼为“省力避害”，决意留在离京城较远的南方。不料突然卒于常州，失去了同弟弟和老友重见的机会，诗人也只能在遥远的定州为友人招魂而已。
这首诗在写法上别开生面，它睹石思旧，借物写人，以“贬”字领起全篇，以“亡”字，贯穿始终，层层递进，环环入扣，诗中无一“哀”字，而哀情则从隙缝中透露出来。
在古典诗词中，以渔父为题材的作品，从楚辞《渔父》起，多不胜数。古代诗人常把渔夫视为隐者形象。一般写渔夫的作品多客观描绘其飘然物外、自得其乐，而钱起这首五古却写了“与渔者宿”，别出蹊径，饶有新趣。
诗的前六句写爱渔者的居住地。诗人漂游在外，到了蓝田溪渔者的住处，觉得找到了自己追寻的理想境地。本来就是“独游屡忘归”的，何况此时到了一个隐者栖息的地方，则更感到得其所哉。这里有清泉明月，有隐逸高士，境合于心，人合于情，自然更是心惬神怡了。诗人描写对蓝田溪的喜好，层层推进，“况此隐沦处”，意为更加“忘归”，继而以水清可以濯发，月明使人留恋，进一步说明隐沦处的美好。
最后以“更怜垂纶叟”，更爱那老渔翁，归结到愿和渔者同宿的期望上。隐处的好，就在于这里“清”、“明”、“静”，作者将这些意念以特有的景物予以编织，构成了一幅世外桃源的美好图景。
诗的中间四句写与渔者宿的乐趣。诗人与渔者宿，并不是因为旅途无处可栖，而是清夜长谈，得到了知音。谈论之中，渔者飘然物外的情怀，千里沧洲的乐趣，使自己心向往之。“白云心”，用陶潜《归去来辞》“云无心而出岫”意，就如柳宗元《渔翁》中写“岩上无心云相逐”以喻隐者之意一样。“沧洲趣”，即隐居水边之趣。沧洲，滨水的地方。古代常作为隐士的居处。诗人与渔者同宿，纵谈隐居之道，遁世之乐，不觉野火烧尽，东方破晓。可见两人通宵煮水烹茗，畅谈不休，其乐融融。
最后两句写与渔者不忍分别之情。诗人为此时分手如飞禽各栖其枝而叹息，不知何时再得相遇，惆怅不已。由此又将与渔者宿的感情推进一层。
古代诗词中写隐士多写不遇。隐士隐姓埋名，遁世避居，要写时往往“以影写竿”，如唐代贾岛的《访隐者不遇》，丘为的《寻西山隐者不遇》，陆畅的《送李山人归山》，宋代魏野的《寻隐者不遇》等等。
如要写相遇之人，多写渔者、樵者、耕者，而很少如钱起这样写与隐居的渔者同宿的。钱起这样写，增强了人们对隐者的生活与情志的真实感，同时从诗人吐露的与渔者同宿的投契、眷念上，表现了他的胸襟。
上片，借赞扬古代贤明之士来表达对同情者的仰慕之情。 “徐邈能中酒圣贤”，是隐喻徐得之的直言相谅，秉性修甚，颇有徐邈能识酒的清浊（世道清浊），醉而不问公事的洒脱气质。“刘伶席地幕青天”，是隐喻刘唐年隐居乡间，简从陋出的生活和贤明放达的性格，如同“竹林七贤”之一刘伶“屋无室庐，幕天席地”的旷达胸怀。“潘郎白璧为谁连”，是隐喻诗人潘大临与挚友的友善。两者分离，苏轼发出“潘郎白璧为谁连”的哀叹。苏轼有意将古之徐、刘、潘三贤才与今之徐、刘、潘三贤才同姓偶合，为的是表达苏轼向慕贤明，追求旷达的处世观。
下片，直抒欲回朝不成，真做隐士又无奈的仕宦观。“无可奈何新白发，不如归去旧青山”，点明苏轼目前的“无可奈何”的政治处境和“新白发”的衰老生命。苏轼离开黄州友善的人后感到寂寞孤独。即是死后，不如归葬于家乡的青山秀水边。这是苏轼视死如归的坦荡的生死观。“恨无人借买山钱”，进一步写自己欲回朝不得，欲隐居不能的无奈愁绪。一个“恨”字道出了这种只能退步、安居现状的随缘心态。
全词，运用三个历史人物来隐喻三个现实人物，再由三个现实人物而联想到苏轼自己的政治处境与适应心境，可谓借古喻今的绝妙构想。文字含蓄精练，蕴涵着丰厚的思想情感，是苏轼感旧词作中的佳作。