该诗首联追寻“愁”的踪迹。大千世界，“愁”不会有人主动喜欢，但却无影无踪无时不在人的身边，有时会不请自来，来了又赶不走，它来了总是一半藏在人的心里——“愁肠百结”，一半写在人的心灵之窗——“愁眉苦脸”。
颔联揭露“愁”潜入的时机。深谙愁苦的人总会把“愁”贮藏在心房僻远的角落里，再筑起精神防线提防它侵袭，可“愁”欺人时，它会随机而出，无孔不入。诗人认为“愁”最容易潜入的机会有二，一是风雨摧花春归去，落英遍地孤者见，最能使人愁肠寸断，思虑万千，如李煜《浪淘沙》“流水落花春去也，天上人间”的亡国哀愁；欧阳修《蝶恋花》“门掩黄昏，无计留春住。泪眼问花花不语，乱红飞过秋千去”的青春少妇被抛弃之悲愁。二是心中有愁情的人借酒浇愁，待酒醒后眼见残月斜照窗棂，想到人的“悲欢离合”、月的“阴晴圆缺”，“愁”会冲破防线，悄悄爬上心头，使人更加愁肠百结，忧愁悲伤，愁人之“愁”会“眉间心上，无计相回避”（范仲淹《御街行》）。此联可能是作者的经验之谈。
颈联写“愁”的情状。苦恼的忧愁如藏在愁人的心中，印在愁人的眉间，那愁人就会感觉到“愁”像万顷连天草铺天而下挥不去，就像千万条盖地丝绳网冲不破，他被严严盖住、紧紧捆住，困在其中，痛苦不堪。想挣脱这“柔”若草“乱”若丝的“愁”绪实叫人无可奈何。
尾联写“愁”无处不在。“愁”如此气人、欺人、恼人，可能那些王侯将相达官贵人们过着花天酒地、醉生梦死、姬歌妾舞、骄奢淫逸的生活，不知愁为何物，除此之外，“愁”乃“人问何处不相随”。
“愁”究竟为何物，曹植《释愁文》有此一释：“愁之为物，惟惚惟帆。不召自来，推之弗往。寻之不知其际，握之不盈一掌。寂寂长夜，或群或党。去来无方，乱我精爽”。
这首《咏愁》诗如李商隐咏《泪》诗写泪而不见“泪”字，此《咏愁》诗也满篇不见“愁”字，这类诗近似制谜语的文字游戏，都以巧丽取胜，真如前人所评“格虽不高，却有神无迹”。
诗题的是自己门前的桃花，但诗直接由题宕开，从桃花联想到桃花源。桃花源是晋陶渊明《桃花源记》中的理想世界，文中说武陵有个渔夫，见到一条小溪，溪边长满桃花，落英缤纷，他顺溪水找到了一个地方，人民男耕女织，安居乐业，自称是避秦乱而迁移至此，遂与世隔绝，不知外面的世界已几经变更。渔夫回家后，告诉了当地太守，再去找那地方，却再也找不到了。诗首句就是借桃花源，说自己找了块与世隔绝的地方隐居，目的是为了躲避新朝。诗人在感情上已经把自己等同于桃花源中躲避秦末暴政的人物，万事不关心，因此第二句说自己自从避世后，连时间概念都没有了，只是见到眼前桃花盛开，方才知道，又是一年春天到来。这两句虽然读来觉得平易自然，实际上隐含着诗人无数的伤心血泪在内；他的避居，完全是不得已，他何尝不是天天在祈祷有人起来推翻元蒙统治，恢复宋朝河山呢？
三、四句，把基调更降下一层。桃花源中的人，因为桃花随着流水而出，被渔夫所追逐而发现了隐避之所。诗人当时变姓埋名，更怕被人知道，因此他担心地提出，门前的桃花凋谢时千万不要随流水淌出，怕有人见到，跟寻而至，发现自己隐居的地方。诗人这样说，不仅仅是表示不愿让人知，更多地是宣言自己绝不与新朝合作。全诗随手设譬，既符合自己身世与当时社会现实，又明白地表明了自己的志向，自然熨帖。
不过，诗人最终还是被人发现了，程文海、留梦炎等人交相荐举他出仕，他都严词拒绝，最后元世祖也下令他到京城大都去，在福建参政魏天祐的强逼下，他到了大都，不肯做官，绝食而死，实现了自己与新朝不两立的誓言。
