诗前小序，交代诗人为庾肩吾补作《宫体谣引》的缘由，说明诗篇抒写庾肩吾“潜难会稽”后的悲伤感受。
诗的开头两句描写宫廷荒凉的情景，壁上的椒粉已经发黄，成为野粉，宫殿里飞满湿萤，已经荒废，一派凄凉景象，正是“国势沦败”的艺术写照。三四句梦忆东宫生活，我本是台城里和皇子唱和诗歌的人，现在秋夜里还常梦见太子的车辇。诗的后半首，叙述肩吾愁苦衰老的近况，表达出甘守屯贱的意愿。“吴霜”，应会稽地望，“塘蒲”，点身已衰老，回想起离开宫门时，依恋不舍，怀念君德，甘愿遭受危难贫贱，“心如砥柱”，绝不变心。全诗不言悲而悲意充溢字里行间。
诗人探寻梁代庾肩吾的前事，应是叹恨那些曾任东宫官而后遭贬斥的人。诗人生活的时代，曾震惊朝野而备受大家关注的事件，便是永贞革新，革新运动参与者之中，确有人曾任太子李诵的东宫官。诗人叹恨他们事业受挫败，命运困厄，不胜感伤，便运用“离绝远去笔墨畦径间”的诗句，抒发悲叹他们不幸遭际的情思。诗人不能无言，又不敢明言，便寓今托古，比物征事，从而形成长吉诗诡异独特的风貌。
杜牧为李贺诗集作叙，以此诗与《金铜仙人辞汉歌》为例，赞叹道：“贺能探寻前事，所以深叹恨古今未尝经道者。”这篇叙是诠解《还自会稽歌》的指导思想。李贺能从二百多年前的庚肩吾“潜难会稽”这件在别人看来极平凡的小事中，塑造了一个流落失意、但又不失刚劲之气的“羁臣”形象，并借以抒发了自己对世事多变的感伤和困顿潦倒中的悲愤之情，构思新颖，立意奇特。杜牧把李贺的这类诗作誉之为“古今未尝经道者”，评价是很高的。杜牧在叙中还说：“求取情状，离绝远去笔墨畦径间，亦殊不能知之。”但结合庾肩吾的遭遇和李贺的身世，还是能看出些端倪的。
这首诗写得含蓄深沉。庾肩吾是宫体诗的代表作家，但不能说这首摹想庾氏情事的作品就是继承了宫体诗的传统，也不能据此诗而说李贺对宫体诗作者的怀念和向往。李贺不过是借和晚年的庾肩吾“心有灵犀一点通”的处境，来抒发自己的忧愤罢了。
文章讲述了巢谷一生中的三件事情，一是改应进士考试为应武举；二是完成朋友的托付；三是不远万里看望苏轼兄弟。这几件事情都表现了巢谷为人的卓异之处，表明巢谷是一个急难之时可以托付的义士。然后文章引用高恭事赵襄子的历史典故来说明巢谷对于朋友的古道热肠，不因时势而变迁的豪侠性格。作者通过对巢谷这个人的描写也从侧面对于那些趋炎附势、落井下石者进行了批判。文章叙述生动感人，不用粉妆玉琢，自然平实，而于简洁文字中蕴含了厚重的知音友情。
从结构上看，这篇传记可分为四段：
第一段：弃文学武。首句依一般传记惯例，写被传者姓名、字、父名，籍贯、职业等。“眉山农家”四字不可忽视，“眉山”，指出传主巢谷与作者是同乡。“农家”指巢谷出身微寒，并非官宦人家或豪门贵族，尽管如此，作者愿为之立传，在等级森严的封建时代，实属不易。下面写巢谷曾经被举进士，到过京师。“见举武艺者，心好之”，这是他一生的转折点：弃文学武。这段以“业成而不中第”作结。“业成”指习武之业有所成就，理当“中第”，但“不中第”，隐含科举之弊。
第二段，金石之交，缓急可托。先写巢谷漫游西方边疆，结交当地秀杰为好友。接写巢谷与韩存宝二人结为“金石之交”。下面用具体事例加以说明：存宝得罪，自料必死，托后事于巢谷，谷许诺，重义如山。末句作者自言认识巢谷，并且知道他的“志节”，显示了文章的真实性，进而用“缓急可托”四字总结了巢谷重义的品德。
第三段，万里步行，以行其志。可分两个部分，第一部分写“予之在朝”做高官时，巢谷不曾来见一面。只短短一句话，就把巢谷不愿阿谀奉承，趋炎附势的人品表现了出来。第二部分写苏氏兄弟被贬谪后，巢谷“欲徒步访”，在道义上给以慰安、支持和力量。作者几乎用了整段的篇幅来详写巢谷不远万里，不辞辛苦，矢志不渝的大义大勇，与第一部分鲜明对比，在对比中显示出巢谷的义气和品德来。第二部分，先写苏氏兄弟被贬后，“士大夫皆讳与予兄弟游，平生亲友，无复相闻者，”这与平日不相闻，处于逆境时却坚决来访的巢谷形成鲜明的对比，文章多次用“对比法”，都很巧妙。接写“闻者皆笑其狂”。“闻者”指眉山县得知巢谷万里访苏氏的人们，他们都耻笑巢谷发了疯，十分狂妄，这说明他们与巢谷思想境界相差甚远，他们是无法理解巢谷的志节和行为的，他们与巢谷形成鲜明对比，而且从反面衬托出了巢谷的志节非凡。这里运用了“反衬”的手法：相见之前，巢谷梅州修书，予惊喜曰：“此非今世人，古之人也。”为下段引出古人“高恭”作了埋伏，这是伏笔。接着写“循州相见”，“握手相泣”，感情激动，场面感人。后写巢谷“将复见子瞻于海南”，中途病死于新州。时年七十三岁。元丰六年苏轼因“乌台诗案”被贬黄州，巢谷曾来拜访，馆于雪堂，并教苏轼之子迨、过二人读书，所以这里用“将复见”。巢谷虽然半道病死，但其义气、志节永存，苏辙“哭之失声”，读者也深受感动。
第四段，借古喻今。用“昔”字引出先秦时代赵襄王“晋阳之难”的故事。赵襄王被围困于晋阳，断绝粮草，“易子而食，群臣皆懈，惟高恭不失人臣之礼”，解围之后，“行赏群臣，以恭为先”。作者引用此典，是为了说明“谷于朋友之义，实无愧于高恭者”。这里借古喻今，正于上段“此非今世人，古之人也。”相照应，上文采用的伏笔，正在这里揭示、显现。从另一角度看，这里引古人高恭以比巢谷，从正面衬托出巢谷之“义”。最后用“惜其不遇襄子”发抒感叹，巢谷如遇襄子，必得首功之奖；而自己虽知巢谷之贤，但处在贬谪的逆境中，无权“以发之”，只能提笔写出这篇传记，颂扬巢谷的志节，将来有机会时交给巢谷在泾原军中的儿子，从而交代了写作这篇文的缘由，表现出作者对巢谷志节的崇敬和无力报答的惋惜。
从写作方法上看，首先是选材典型，紧扣主题。巢谷一生的事迹很多，作者只选择了三件事情：一、弃文学武；二、与韩存宝结为金石之交而且缓急可托；三、写苏氏兄弟处于逆境，士武夫及生平亲友都不再来往的时候，巢谷却徒步万里相访，结果死于途中。选取这三件有代表性的材料，足以表示巢谷一生重义笃志的人品。其次，作者在处理这三件典型材料时，不是平均使用笔墨，而是有详有略，详略得当。巢谷青少年时弃文学武，与众不同，作者叙述简约概括。第二件事描述稍详，第三件事是重点，详细描述，重点突出。而在描述这一重点部分时，也不一切都详，而能作到详中有略。譬如写苏氏兄弟青云直上时，巢谷不曾一见，作者只用了一句话，十分简略；当作者写到“予兄弟”处于逆境，巢谷万里步行而相访时，则不惜笔墨，不厌其详。这样写法给人一种疏密相间，详略得当的美感。再次，文章还采用了伏笔、照应，引用、对比、衬托等手法。
浙江桐庐，地处富春江畔。富春江上风景如画，历代骚人墨客咏叹不绝，南朝梁吴均就曾在《与朱元思书》中写他自富阳至桐庐一百许里“从流飘荡”所见之奇山异水，赞为“天下独绝”。本词作者也是泛舟于这段行程，其所见当与吴均略同。然而他对富春江上的绮丽风光似乎视而未见，没有着力于山川景物的描绘，即景抒情，而是捕捉舟里舟外某些寻常事物构成意境，抒发自己对人生的感受和追求，既有诗情又具理趣，不落前人窠臼。
词的上片写行舟江上。“浮家不畏风兼浪”，交代此次江上行舟的境与情——虽风急浪涌，然而“不畏”，以此境此情统摄上片。惟其“不畏”，故有“才罢炊烟，又袅茶烟”的雅兴。“才罢”、“又袅”是说用餐、品茗紧相承续，这颇富雅趣的生活细节，十分传神的表现了作者从容之态、闲雅之情，而舟中不绝如缕的炊烟和茶烟，又似是作者怡然自乐的心绪的外化，情趣盎然。“闲对沙鸥枕手眠”，进一层绘出作者行舟中的恬然豁达之状。所谓“闲对沙鸥”，即寄“闲情”于沙鸥，让“闲情”与沙鸥一同翱游冥冥长空，又在沙鸥翱翔中玩味自己的“闲情”，作者在情与物的回环往复的交流中，化我为物，化物为我，乃至枕手而眠，沉入忘情之境。然而这一切都发生在“风兼浪”中，在风流中见“闲情”，益见其情之“闲”了。
晋人陶渊明在《饮酒》诗中曾抒写过自己的超然物外的人生感受：“结庐在人境，而无车马喧，问君何能尔？心远地自偏。”本词作者于此抒写的“闲情”，其实就是身在风浪中，心远风浪外的情怀，与陶渊明的感受应是相通的。
下片写泊舟江边，“晚来人静禽鱼聚”点出泊舟的时间和情境，总领下片。“月上”承“晚来”，“缆系”承“人静”。天上的明月，地上的大江，江边的山岩，岩边的小舟和谐地共存于宁静的夜晚，这真是一幅层次井然的立体画，一支诱人遐想的小夜曲，在“风兼浪”尚且陶醉，“闲情”的作者，此时自然会融化于这静谧的画图和柔美的乐曲中，而与“山影松声共一船”了。进入此种境界便是“于相而离相”、“于念而无念”，是非荣辱，利害得失都化作云烟消散了，从而获得了最大的精神自由。
吴均泛舟富春江上，徜徉奇山异水之中，曾不自禁地发出“望峰息心、”窥谷忘反”的感慨，本词作者在这首小令里写风流中的闲情和静境中的解脱，无“望峰窥谷”之举，却有“息心忘反”之念，而在“山影松声共一船”的境界里化自我于自然，已不止于“息心忘反”了，所以作者对精神的自由，和谐的追求，有似于吴均，亦有胜于吴均。这种情趣和倾向与封建时代求名干禄，纷纷攘攘的社会现实是对立的，大有“宁为宇宙闲吟客，怕作乾坤窃禄人”之意。
