这篇记从批评世人以己之所好而骄人、笑人的陋习，层层演进，引出对张希元爱好书法却怀才不遇寄予同情，并相信他会以自己的才能在仕途上发挥经世济民的作用，表现了苏轼积极用世的人生观。此文不循常理，不守成规，将一篇普通的记述散文写得纵横开阖，出人意表。
这篇文章一共分为三段，第一段一上来就阔发议论。紧紧围绕着一个“笑”字延伸开来，描述了世人的种种偏见与短识。琴棋书画爱好者们嘲笑那些喜好声色的平庸之辈，但他们又被喜好文章的人嘲笑；而喜好功名的人对好文者同样不以为然，认为他们的文章不过是些酸腐“空言”而已；而这些追求功名的人们，即使能够像刘、项、汤、武一样掌管天下，但是他们竟依然无法避免他人的嘲笑。因为在大隐士许由和大圣人孔子看来，这些功名不过过眼云烟，不值一提。最后以“世之相笑，岂有既乎”为结，说明世间人们的相互嘲笑从来未曾停止。苏轼对这些嘲笑统统给予了否定。
第二段紧承第一段对收藏者的痴情、痴态、痴行进行了进一步的延展和刻画。他们为书画“弃躯忘亲”，心无旁骛，专心致志；他们为书画“椎心呕血”，连生命都可放弃；他们为书画“剖冢斫棺”，可谓不择手段，用尽心思。但是作者苏轼理解他们，说人世间人们所看重的声色享乐都不足以吸引他们，转移他们的志趣。他们在书画中所得到的精神享受是连他们自己都无以言表的，其他人就更加无法理解他们了。作者强调，不理解并不能成为嘲笑他们的理由，更不能成为否定他们的根据。他总结说：“人特以己之不好，笑人之好，则过矣。”这不仅批评了那些嘲笑琴棋书画爱好者的人们，更将所有的同类嘲笑给予了归纳否定，依然用“笑”字串连，与上文呼应，文气贯通一气。
从“毗陵人”到“属余为记”为第三段的开端，介绍作记的缘起。这里应该详细地记述、描绘张希元如何爱好书画典籍，珍藏了什么，规模是怎么样的。但是作者仅寥寥数笔，便戛然而止。张希元“家世好书”，其风可追；“所蓄古今人之遗迹至多”，多善可陈；“尽刻诸石，筑室而藏之”，精神之嘉，可予彰表。苏轼以“蜀人”“蜀言”为转接承续，引出对人生道路设计、从业选择的看法。谚语“学书者纸费，学医者人费”的意思是：学习书法绘画的人，要耗费大量的纸张；学医术会因医术未精而伤害他人。谚语虽非名人名言，但是因为其在民间口头传播，有很大影响力。文末，苏轼特别郑重地谆谆告诫张希元：“君知政之费人也甚于医，则愿以余之所言者为鉴。”苏轼对张希元是否希望从政文章并没有明确道出，只是提出了期望和警示——从政非同藏书等个人爱好，关乎芸芸众生的生死祸福，因而需要如履薄冰、小心翼翼。
表面上看，苏轼对行业、职业的评价不甚明确，观点有些含糊，但这恰恰是对张君明确的提醒，是苏轼的高明之处。因为从政好坏因人而异，关键是个人能否把握掌控问题。提出原则，而不给具体结论，其实是最好的答案。
以“记”的本色而论，本应该写人、写堂，而此篇文章表面看从头到尾全是议论声；但是细品之下，却是无一字不是写人、写堂，无一字不是记其所应记。文章借对世人嘲笑的议论，记述了建堂所遇到的压力、阻挠和困难；借对堂主苦恼劝解的议论，记述了堂主为收藏付出的种种代价、牺牲和精神压力。可谓是句句写堂，句句写人。
此词上片重在写景，下片重在写人抒情。写景从西风残荷的画面写起，以韶光憔悴在加重，更见秋景不堪；写人从思妇怀人写起，梦回而感鸡塞征夫之遥远，倚栏而更见凄凉。
词的上片着重写景。
菡萏，荷花的别称。文字的语言是形象的，所以作者一上来就说：“菡萏香销翠叶残”。说“香”，点其“味”；说“翠”，重其“色”。此时味去叶枯确然使人惆怅。西风，秋风之谓也。绿波，写的是莹莹秋水。如果说上句是重在写秋色，那么这一句则重在写秋容。一个“愁”字，把秋风和秋水都拟人化了，于是，外在的景物也霎时同作家的内在感情溶为一体了，词作也因之而笼罩了一层浓重的萧瑟气氛。
三、四两句，由景生情，更进一步突出作家的主观感受。韶光，指春光。在这里，作家以其独特而深刻的感受告诉人们：在这秋色满天的时节，美好的春光连同荷花的清芬、荷叶的秀翠，还有观荷人的情趣一起憔悴了，在浓重的萧瑟气氛中又平添了一种悲凉凄清的气氛。“不堪看”三字，质朴而有力，明白而深沉，活脱脱地抒发了诗人的主观感情。“自古逢秋悲寂寥”（唐刘禹锡诗句）。李璟虽然位高为皇帝，但是生性懦弱，再加上当时内外矛盾重重，境遇相当危苦，此时此刻，触景伤情，从而产生无穷的痛苦和哀怨是十分自然的。
词的下片着重抒情。
首句，托梦境诉哀情。一梦醒来，雨声细细，梦境即便美好，但所梦之人毕竟远在边塞（鸡塞，鸡麓塞，在今陕西省。这里泛指边塞），可思可望而不可即。的确是“雨亦绵绵，思亦绵绵”。“小楼”句，以吹笙衬凄清。风雨高楼，玉笙整整吹奏了一曲（彻，遍，段。吹彻，吹完最后一段），因吹久而凝水，笙寒而声咽，映衬了作家的寂寞孤清。这两句亦远亦近，亦虚亦实，亦声亦情，而且对仗工巧，是千古传唱的名句。
最后两句，直抒胸臆。环境如此凄清，人事如此悲凉，不能不使人潸然泪下，满怀怨恨。“多少”，“何限”，数不清，说不尽。流不完的泪，诉不尽的恨；泪因恨洒，恨依泪倾。语虽平淡，但很能打动人心。结语“倚栏干”一句，写物写人更写情，脉脉深长，语已尽而意无穷。
这首词有些版本题名“秋思”，看来是切合的。李廷机评论过这首词是“字字佳，含秋思极妙”（《全唐五代词》四四一页）。确实，它布景生思，情景交融，其有很强的艺术感染力。
“梅花开到九分”这个题目就很有意思。如开到十分，便是全盛了。古人很早就明白满招损，盈必亏，物极必反的道理。全盛的梅花接着便会凋零的。所以慧心的诗人宁愿花只半放，以蓄其开势，有道是：“山脚山腰尽白云，晴香蒸处画氤氲。天公领略诗人意，不遣花开到十分。”（元璟《马家山》）花取半放，诗亦取不尽，是其妙处。叶燮诗亦从九分著意，寓惜花之心情，是一首富于情韵之作。
“亚枝低拂碧窗纱，镂月烘霞日日加。”二句写作者窗外园中之梅，花开日盛。“亚枝低拂”句虽是写临窗梅树，没有清浅的溪水 ，却仍具有疏影横斜之意。诗人形容花色有明艳，常引云霞为喻，“镂月”偏重写花的质感轻盈匀薄，“烘霞”偏重写花的颜色艳丽鲜明。“日日加”则是从含蕊到吐放，渐渐盛开，不觉已“开到九分”。再下去便要开到全盛即“十分”。开到十分的花朵固然美丽无以复加，但诗人还是宁愿它保持九分的势头，接下去便写这种祝愿。
“祝汝一分留作伴”，这也就是“不遣花开到十分”的意思。留一分保持九分，就可以长久与人作伴了。至于留谁作伴，那是语有出典的。盖宋代处士林逋，杭州人，少孤，力学而刻意不仕，结庐西湖孤山。时人高其志识，赐谥和靖先生。逋不娶无子，所居多植梅蓄鹤，泛舟湖中，客至则放鹤致之，因谓梅妻鹤子。“祝汝一分留作伴”便是就以梅为妻的林和靖作想，然而林和靖早已作古，故末句云：“可怜处士已无家”。处士既已无家，那么梅花还留一分何为呢？所以末句实际上又暗含对第三句的否定。其实花开花落，自有规律，“祝汝一分留作伴”只是主观上的美好想法。无论处士有家无家，梅花既开到九分，也就会开到十分，其花期已就过得差不多了。而诗中却从梅花的有伴无伴，处士的有家无家作想，写得一波三折，一唱三叹。也就将诗人的惜花心情，于此曲曲传出，极富情致，几令人“不忍卒读”。所以高妙。
“远别秦城万里游”。开头一句，诗人就点出他这次再宿武关非同寻常。秦城，指京都长安。诗人告诉读者，他是从京城来，到万里之外遥远的地方去。这里暗示出他因事罢官流放南方之事。因此这次“远别”意味着和皇城的永别，和仕途的永别：“万里游”也并非去游山玩水，而是被迫飘流到万里之外。诗人这种愁苦心情，在下面的景色描写中透露出来。
“乱山高下出商州”。乱山，指商州附近的商山。商山有“九曲十八绕”之称，奇秀多姿，风景幽胜。“乱山高下”四个字，把商山重峦迭嶂、回环曲折的气势和形貌，逼真地勾勒出来了；一个“出”字，又使静止的山活动起来，使读者仿佛看到绵延迤逦的商山群峰，纷纷涌出商州城。此句是写山，更是写人——写诗人踏着高低曲折的山道走出商州城时的心情。其实，商山似乱非乱，形乱神不乱，它错落有致，远近高低各不同，但此时此地，诗人已没有闲情细细欣赏，由于他“远别秦城”，心乱如麻，商山在他眼里就成“乱山”了。而满目乱山，又格外烘托出人的心绪烦乱。山与人、景与情交融为一体了。
诗的下两句写夜宿武关的情景。不难想象，诗人此夜投宿武关，想到明晨将出关南去，与“秦城”相隔更加遥远，该是何等愁苦；加以孤馆寒灯，形单影只，非常凄凉。他一定是辗转反侧，不能成眠。然而诗人并没有正面诉说这一切，而是别有巧思，让溪水去替他倾诉：“关门不锁寒溪水，一夜潺湲送客愁。”古关静夜，溪水潺潺，引起夜不成眠的诗人的遐想：那流过古关的潺潺湲湲的溪水，仿佛是为他的不幸远别而呜咽啜泣；又仿佛是从他的心中流出，载着绵绵无尽的离愁别恨，长流远去。“一夜潺湲送客愁”，溪声、心声迭合成一体了。“关门不锁”四字，尤为神来之笔。雄固的武关之门，能封锁住千军万马，但此时对于淙淙寒溪水送来的愁声，却无能为力，怎么“锁”也锁不住，足见这“愁”的分量之重。一个“锁”字，把看不见、摸不着的“愁”，活灵活现地显示出来。“一夜潺湲”——整整一夜，诗人不能合眼，这是十分痛苦难熬的。这两句诗，诗人别出心裁地通过对水声的描写，把内心“剪不断，理还乱”的离愁别恨，曲折细腻地描摹出来，使人如临其境，如闻其声，具有很大的艺术感染力量。