诗的首联把“扰扰”和“风雨”、“尘埃”放在一起形成鲜明对比，刻画出殷勤来访、奔走于权贵之门的上人形象。“扰扰”表明了诗人无奈而不堪的心情。《诗经·风雨》中有“风雨凄凄，鸡鸣喈喈。既见君子，云胡不夷”，表达见到朋友时平静又喜悦的心情。诗人在这句中也暗用“风雨”的典故，却是在委婉表达对广宣上人频频造访的不满。
颔联说到自己辜负了高僧屡屡造访的心意，说的显然是反话，可以理解为是对广宣上人拜访的委婉谢绝。“惭”、“愧”连用，诗人在自谦的同时，表达出他和上人在立身处世问题上的不同见解，他们之间有不可逾越的隔阂。
颈联仍是自谦，说自己读书没有收获。其中的“未能回”可以理解为没有回去，或者也可以理解为广宣上人以诗相赠，诗人自谦才疏学浅，整日推敲也无法答复。不管怎么说，这都是对广宣上人的回绝。诗人强调他学习的是儒家圣道，推崇的是孔孟之学，暗含他和上人之间有“道不同不相为谋”的意思。
尾联提到了“红叶”有几堆，在王维《山中》有“荆溪白石出，天寒红叶稀”句，“天寒红叶”的意象刻画出清冷寂寞的初冬景象。诗人化用王维诗意，表达他对上人的微讽之意。广宣上人的住所是寺庙，但他整日在外奔走，以至于很少待在寺庙之中。诗人说红叶堆积，无人打扫，旨在劝这位上人当回到寺庙之中。这仍然是在委婉表达对广宣上人的不满。
韩愈一生以弘扬儒家之道为己任，排斥佛老等学说。但偏偏有所谓高僧广宣上人，频频以诗文讨教。诗人出于礼貌，又不能不略为敷衍，但内心深处对于这种奔走于权贵之门的僧人，是非常无奈而又鄙薄的。诗题中的“频”字已经表达出不耐之情。诗人采用了委婉暗示的手法，向广宣上人说明他的态度。诗人自谦的语气一以贯之，他在暗示广宣，你我之间的过多交往对双方都没有太多益处。最深处的原因是各自坚守的大道不同，各自安身立命的所在不同。诗的结尾用意巧妙，意在讥讽僧人终日不归。诗人说天寒寺冷，红叶堆积，希望点醒广宣上人：既然号称高僧，就应该在寺庙中潜修佛理，弘扬佛法，不必终日奔走在外、踪迹难寻。这首诗还意在传达一种诗人所谓“聪明不及于前时，道德有负于初心”的人生感喟（韩愈《〈五箴〉小序》语）。整首诗平易坦荡，不用事，不屈己徇人，言语之间颇能体现温柔敦厚的诗教精神。