此词可分三层。
上片为第一层，由江行沿途所见山川引起怀昔游，痛惜年华之意。长江中下游地区山川秀美，辛弃疾南归之初，自乾道元年至三年，曾漫游吴楚，行踪遍及大江南北，对这一带山水是熟悉的。乾道四年通判建康府，此后出任地方官，调动频繁，告别山水长达十年。此时复见眼中川“都似旧时相识”了。“溪山”曰“过眼”，看山却似走来迎，这是江行的感觉。“怪”是不能认定的惊疑感，是久违重逢的最初的感触。往事虽“还记得，却模糊、记不真切，真象一场旧梦。
“还记得、梦中行遍，江南江北”，“梦中”云者不仅有烘托虚实之妙，也是心理感受的真实写照，这种恍惚的神思，乃是多年来雄心壮志未得实现。业已倦于宦游的结果。反复玩味以上数句，实已暗伏“尘劳”、觉非之意。官场之上，往往如山水一般旧曾相识虚如幻梦不如远离，同时也就成了一种强有力的召唤，来自大自然的召唤。所以，紧接二句写道：“佳处径须携杖去，能消几两平生屐？”要探山川之胜，就得登攀，“携杖”、着“屐”（一种木底鞋）是少不了的。
《世说新语·雅量》载阮孚好屐，尝曰：“未知一生当着几量（两）屐？”意谓人生短暂无常，话却说得豁达幽默。此处用来稍变其意，谓山川佳处常在险远，不免多穿几双鞋，可这又算得了什么呢！所以结尾几句就对照说来，“笑尘劳、三十九年非”乃套用蘧伯玉（春秋时卫国大夫）年五十而知四十九年之非的话（语出《淮南子·原道训》），作者当时四十岁，故这样说。表面看，这是因虚度年华而自嘲，其实，命运又岂是自己主宰得了的呢。“长为客”三字深怀忧愤，语意旷达中包含沉郁。实为作者于四十年年来之感慨，年已四旬，南归亦久，但昔日的志愿，却无一件得以实现，感慨，今是昨非，一生劳碌，原来“长为客”无丝毫是自己左右的。
这片六句另起一意为第二层，由山川地形而引起对古代英雄事迹的追怀。扬州上游的豫章之地，历来被称作吴头楚尾。“吴楚地，东南坼”化用杜诗（《登岳阳楼》：“吴楚东南坼”），表现江行所见东南一带景象之壮阔。如此之山川，使作者想到三国英雄，尤其是立足东南北拒强敌的孙权，最令他钦佩景仰。曹操曾对刘备说：“今天下英雄，唯使君与操耳。”（《三国志·先主传》）而孙权堪与二者鼎立。此处四句写地灵人杰，声情激昂，其中隐含作者满腔豪情。“被西风吹尽，了无陈迹”二句有慨叹，亦有追慕。恨不能起古人于九泉而从之的意味，亦隐然句中。
结尾数句为第三层，是将以上两层意思汇合起来，发为更愤激的感慨。“楼观才成人已去”承上怀古，用苏轼诗“楼成君已去，人事固多乖”（《送郑户曹》）意，这里是说吴国基业始成而孙权就匆匆离开人间。“旌旗未卷头先白”承前感伤，由人及己，“旌旗”指战旗，意言北伐事业未成，自己的头发却先花白了。
综此二者，于是词人得出一个无可奈何的结论：人间哀乐从来循环不可琢磨（“转相寻”），“今犹昔”。这结论颇带宿命色彩，乃是作者对命运无法解释的解释。更是作者对命运不如已愿，人事多乖的感叹。
词中一方面表示倦于宦游——“笑尘劳、三十九年非”，另一方面又追怀古代英雄业绩，深以“旌旗未卷头先白”为憾，反映出作者当时矛盾的心情。虽是因江行兴感，词中却没有着重写景，始终直抒胸臆；虽然语多含蓄，却不用比兴手法，纯属直赋。这种手法与词重婉约、比兴的传统是完全不同的。但由于作者是现实政治感慨与怀古之情结合起来，指点江山，纵横议论，抒胸中郁闷，驱使古人诗文于笔端，颇觉笔力健峭，感情弥满。所谓“满心而发，肆口而成”，自具兴发感人力量。
这是一首诗中有画的写景诗，又是一首哲理诗，哲理蕴含在对庐山景色的描绘之中。
“横看成岭侧成峰，远近高低各不同。”一句说的是游人从远处、近处、高处、低处等不同角度观察庐山面貌是可以得到不同观感的。有时你看到到是起伏连绵的山岭，有时你看到的是高耸入云端的山峰。这两句概括而形象地写出了移步换形、千姿万态的庐山风景。
结尾两句“不识庐山真面目，只缘身在此山中”，是即景说理，谈游山的体会。之所以不能辨认庐山的真实面目，是因为身在庐山之中，视野为庐山的峰峦所局限，看到的只是庐山的一峰一岭一丘一壑，局部而已，这必然带有片面性。这两句奇思妙发，整个意境浑然托出，为读者提供了一个回味经验、驰骋想象的空间。这不仅仅是游历山水才有这种理性认识。游山所见如此，观察世上事物也常如此。这两句诗有着丰富的内涵，它启迪人们认识为人处事的一个哲理——由于人们所处的地位不同，看问题的出发点不同，对客观事物的认识难免有一定的片面性；要认识事物的真相与全貌，必须超越狭小的范围，摆脱主观成见。
一首小诗激起人们无限的回味和深思。所以，《题西林壁》不单单是诗人歌咏庐山的奇景伟观，同时也是苏轼以哲人的眼光从中得出的真理性的认识。由于这种认识是深刻的，是符合客观规律的，所以诗中除了有谷峰的奇秀形象给人以美感之外，又有深永的哲理启人心智。因此，这首小诗格外来得含蓄蕴藉，思致渺远，使人百读不厌。
苏轼的诗既是人生感悟，也是一种政治体验。苏轼自进入仕途后卷入了新旧之法的争议，他在政治倾向上更贴近保守派，反对王安石主导的新法。但他不偏激，主张汲取新法合理成分，主张讲究执行策略，反而又为旧党所不容。因此，苏轼笔下的庐山，也可以看成是扑朔迷离的政局，新旧两党立场不同，结论也不同。事实上，人们都置身局中，置身历史长河中，都不免陷入当局者迷的困境，应该更客观地思考问题，得出恰当结论。
如果说宋以前的诗歌传统是以言志、言情为特点的话，那么到了宋朝尤其是苏轼，则出现了以言理为特色的新诗风。这种诗风是宋人在唐诗之后另辟的一条蹊径，用苏轼的话来说，便是“出新意于法度之中，寄妙理于豪放之外”。形成这类诗的特点是：语浅意深，因物寓理，寄至味于淡泊。《题西林壁》就是这样的一首好诗。