起首“楼头尚有三通鼓，何须抵死摧人去！”这两句是牢骚话：刚刚二更时分，城楼上还要敲三通鼓才天亮，何必这么死命地催人走呢！据宋洪迈《夷坚甲志》卷四，翰林学士孙洙某晚正太尉李端愿家欢宴，有美女侍妾奏乐助兴，恰逢此时朝廷宣召，心下不愿，故出怨语。“何须抵死催人去”就是本此而发的牢骚。说：“尚有三通鼓”，而不说已过二更，表示离天亮还早，希望多玩一会儿。但留连不舍之意横遭阻抑，自然转化为憾恨之情。“抵死”，犹言死命、拚命，形容竭力。对于皇帝宣召，竟是如此不情愿，可见这夜宴是何等令人留恋。“上马苦匆匆，琵琶曲未终”，一边匆匆上马，一边却还恋顾那美妙的琵琶声，深以未听到曲终为憾。琵琶的诱人魅力来自那位弹奏的女子，言外蕴含着对其人的深情眷恋。然而迷人的女乐，终究抵不住皇命的催逼，他只得无可奈何地上马离去了，但那声声琵琶似乎一直萦绕耳际。上片四句，一气流注，节奏快速，皇命催人、刻不容缓的气氛顿出，从而反衬出词人不愿从命而又不敢违命的矛盾感情。
过片写主人公恋恋不舍，人虽已上马，心尚留筵间，一路上还出神地回头凝望。但马跑得快，老天更不凑趣，又下起蒙蒙细雨，眼前只觉一片模糊，宛如织就一张漫天的愁网，连人带马给罩住了。“廉纤雨”，蒙蒙细雨。“无边丝雨细如愁”，这廉纤细雨，既阻断了视线，又搅乱了心绪；借景语抒情，情景凑泊而有酝藉之致。“漫道玉为琶，玉琶今夜长！”玉琶，翰林院的别称。玉琶供职是作者平时所自以为宋宠的，此夜却感到一种前所未有的无聊和索寞。从一个充满美酒清歌的欢乐世界，硬生生地被抛到宫禁森严的清冷官署，其懊丧和恼恨可想而知。“玉琶今夜长”，大有长夜难捱之感。对照开头“城头尚有三通鼓”，同时对于时间的感受，竟有如此不同的心理变化。这一起一结也自然形成两种情境的鲜明对比，使这首小词首尾相顾，有回环不尽之妙。
该诗首联追寻“愁”的踪迹。大千世界，“愁”不会有人主动喜欢，但却无影无踪无时不在人的身边，有时会不请自来，来了又赶不走，它来了总是一半藏在人的心里——“愁肠百结”，一半写在人的心灵之窗——“愁眉苦脸”。
颔联揭露“愁”潜入的时机。深谙愁苦的人总会把“愁”贮藏在心房僻远的角落里，再筑起精神防线提防它侵袭，可“愁”欺人时，它会随机而出，无孔不入。诗人认为“愁”最容易潜入的机会有二，一是风雨摧花春归去，落英遍地孤者见，最能使人愁肠寸断，思虑万千，如李煜《浪淘沙》“流水落花春去也，天上人间”的亡国哀愁；欧阳修《蝶恋花》“门掩黄昏，无计留春住。泪眼问花花不语，乱红飞过秋千去”的青春少妇被抛弃之悲愁。二是心中有愁情的人借酒浇愁，待酒醒后眼见残月斜照窗棂，想到人的“悲欢离合”、月的“阴晴圆缺”，“愁”会冲破防线，悄悄爬上心头，使人更加愁肠百结，忧愁悲伤，愁人之“愁”会“眉间心上，无计相回避”（范仲淹《御街行》）。此联可能是作者的经验之谈。
颈联写“愁”的情状。苦恼的忧愁如藏在愁人的心中，印在愁人的眉间，那愁人就会感觉到“愁”像万顷连天草铺天而下挥不去，就像千万条盖地丝绳网冲不破，他被严严盖住、紧紧捆住，困在其中，痛苦不堪。想挣脱这“柔”若草“乱”若丝的“愁”绪实叫人无可奈何。
尾联写“愁”无处不在。“愁”如此气人、欺人、恼人，可能那些王侯将相达官贵人们过着花天酒地、醉生梦死、姬歌妾舞、骄奢淫逸的生活，不知愁为何物，除此之外，“愁”乃“人问何处不相随”。
“愁”究竟为何物，曹植《释愁文》有此一释：“愁之为物，惟惚惟帆。不召自来，推之弗往。寻之不知其际，握之不盈一掌。寂寂长夜，或群或党。去来无方，乱我精爽”。
这首《咏愁》诗如李商隐咏《泪》诗写泪而不见“泪”字，此《咏愁》诗也满篇不见“愁”字，这类诗近似制谜语的文字游戏，都以巧丽取胜，真如前人所评“格虽不高，却有神无迹”。
