这篇记从批评世人以己之所好而骄人、笑人的陋习，层层演进，引出对张希元爱好书法却怀才不遇寄予同情，并相信他会以自己的才能在仕途上发挥经世济民的作用，表现了苏轼积极用世的人生观。此文不循常理，不守成规，将一篇普通的记述散文写得纵横开阖，出人意表。
这篇文章一共分为三段，第一段一上来就阔发议论。紧紧围绕着一个“笑”字延伸开来，描述了世人的种种偏见与短识。琴棋书画爱好者们嘲笑那些喜好声色的平庸之辈，但他们又被喜好文章的人嘲笑；而喜好功名的人对好文者同样不以为然，认为他们的文章不过是些酸腐“空言”而已；而这些追求功名的人们，即使能够像刘、项、汤、武一样掌管天下，但是他们竟依然无法避免他人的嘲笑。因为在大隐士许由和大圣人孔子看来，这些功名不过过眼云烟，不值一提。最后以“世之相笑，岂有既乎”为结，说明世间人们的相互嘲笑从来未曾停止。苏轼对这些嘲笑统统给予了否定。
第二段紧承第一段对收藏者的痴情、痴态、痴行进行了进一步的延展和刻画。他们为书画“弃躯忘亲”，心无旁骛，专心致志；他们为书画“椎心呕血”，连生命都可放弃；他们为书画“剖冢斫棺”，可谓不择手段，用尽心思。但是作者苏轼理解他们，说人世间人们所看重的声色享乐都不足以吸引他们，转移他们的志趣。他们在书画中所得到的精神享受是连他们自己都无以言表的，其他人就更加无法理解他们了。作者强调，不理解并不能成为嘲笑他们的理由，更不能成为否定他们的根据。他总结说：“人特以己之不好，笑人之好，则过矣。”这不仅批评了那些嘲笑琴棋书画爱好者的人们，更将所有的同类嘲笑给予了归纳否定，依然用“笑”字串连，与上文呼应，文气贯通一气。
从“毗陵人”到“属余为记”为第三段的开端，介绍作记的缘起。这里应该详细地记述、描绘张希元如何爱好书画典籍，珍藏了什么，规模是怎么样的。但是作者仅寥寥数笔，便戛然而止。张希元“家世好书”，其风可追；“所蓄古今人之遗迹至多”，多善可陈；“尽刻诸石，筑室而藏之”，精神之嘉，可予彰表。苏轼以“蜀人”“蜀言”为转接承续，引出对人生道路设计、从业选择的看法。谚语“学书者纸费，学医者人费”的意思是：学习书法绘画的人，要耗费大量的纸张；学医术会因医术未精而伤害他人。谚语虽非名人名言，但是因为其在民间口头传播，有很大影响力。文末，苏轼特别郑重地谆谆告诫张希元：“君知政之费人也甚于医，则愿以余之所言者为鉴。”苏轼对张希元是否希望从政文章并没有明确道出，只是提出了期望和警示——从政非同藏书等个人爱好，关乎芸芸众生的生死祸福，因而需要如履薄冰、小心翼翼。
表面上看，苏轼对行业、职业的评价不甚明确，观点有些含糊，但这恰恰是对张君明确的提醒，是苏轼的高明之处。因为从政好坏因人而异，关键是个人能否把握掌控问题。提出原则，而不给具体结论，其实是最好的答案。
以“记”的本色而论，本应该写人、写堂，而此篇文章表面看从头到尾全是议论声；但是细品之下，却是无一字不是写人、写堂，无一字不是记其所应记。文章借对世人嘲笑的议论，记述了建堂所遇到的压力、阻挠和困难；借对堂主苦恼劝解的议论，记述了堂主为收藏付出的种种代价、牺牲和精神压力。可谓是句句写堂，句句写人。
该词上片用柳永《望海潮·东南形胜》词意，咏叹西湖的繁华秀丽，从而过渡到慨叹南宋王朝一百多年妥协屈辱的历史。开头两句从宋仁宗的诗句脱化而来，由杭州在中国东南部的历史地位，引出与杭州紧密相关的西湖的“多佳丽”。大处落笔扣题，很有气势。接着围绕“多佳丽”、“临堤台榭”六句作了具体的描绘。首先以建筑的壮观，游船的美丽，游人的欢歌笑语写人游之乐，展示出一派繁华景象；其次以荷花面积之广，桂花香味之浓，四周群山之青翠来突出湖山景色之美。人为的与自然界的景物相结合和映村，极富地方特色地描绘出西湖的热闹景象和诱人的风光，真是名不虚传的游览胜地。以此为衬笔，引出下文的感慨之辞。虽然优美的湖光山色可供人游赏，使人快乐，感情受到陶冶，却又带来了使人意想不到的副作用。“使百年南渡”四句，以“使”字领承上文，从其因果关系中，写出无数英雄豪杰沉溺在这种繁华、“佳丽”的欢乐之中，意志消沉，不图奋进，平生的豪情壮志，早已消磨在享乐之中，最后导致被元人灭亡的悲惨结局。这种倒退的历史现象，该是多么令人沉痛。作者借咏西湖风光，站在政治斗争的高度，总结出一条南宋亡国的历史教训。这激起人们的深思，也表达作者对南宋王朝政治腐败的愤恨。
换头两句由怀古转入伤今。作者面对亡国现实，用“可惜”二字领起，显得心情更为悲痛。接着用反诘语调提出“藉何人雪当年耻”，希望能有人出来扭转乾坤。下文“登临形胜”三句，一方面将上片的怀古与下片的伤今联成一气；另一方面又用“发挥英气”将感伤古今陡然煞住，为后面拓展新的词境留下余地。作者面对西湖奇景忽发奇想，“力士推山”三句便表达他的强烈愿望。过去西湖被称作“销金锅”，达官贵人和地主豪绅在此寻欢作乐，把美丽的西湖搞得乌烟气。因此作者热烈期望能有オ人出来“推山”、“移水”，铲除这块土地上集聚的罪恶，把它改造成农桑之地为群众造福。此用浪漫主义手法，寄希望于力士神和天吴海神能为现实服务，把热烈的追求变成超现实的神力，充分表达作者对高尚理想的向往之情。不仅如此，在结尾三句又遥应“藉何人雪当年耻”再作一设想，将满腔悲愤化为大自然的伟力。还要借钱塘江潮荡涤污浊，用潮水洗尽岳飞的冤屈泪，彻底为岳飞报仇雪耻。表现出他对真正抗金的民族英雄的崇敬，也希望岳飞式的英雄出来报国雪耻；而对那些忘却平生志的“一时豪杰”，又是鲜明的对照和嘲讽。在此，作者爱谁、恨谁，颂扬什么、抨击什么，政治态度是很明朗的，充分体现了他的正义感。以上六句写得气势磅礴，激荡人心，也深刻地揭示了主题，是全词的精华所在。
全词由怀古到伤今，由现实到幻想，层层推进，最后露出精华部分，以幻想点题，用心良苦，立意不凡。
开篇两句描写山中大雨来临之前云气汹涌、狂风舞动的自然景象，生动形象。诗人描绘电闪雷鸣、雨势磅礴的雄伟奇观时运用了想象、比喻、夸张的手法。诗人登上高处从容观雨，但看到奔流，作者写人间的惊慌，是为了突出雨势之猛，并与自己登高从容观雨的状态形成对比。
下片作者登上苍翠的层峦之上观览奔涌的洪流，从从容容镇定自若。“洗尽从来尘垢，润及无边焦槁，造物不言功”，描写雨水洗尽了长久以来淤积的尘世污垢，滋润广阔无垠的枯萎的草木，生长万物不居功自傲。诗人借眼前大雨洗尘垢、润焦槁的景象，展现了荡涤污秽、惠施天下的远大抱负，从而寄托了自己不居功自傲的高洁情怀。本词以雨后放晴、太阳破云而出的情景作结，使全词收束于开阔明朗的意境。