范晔《后汉书》曰：齐殇王子都乡侯畅来吊国忧，窦宪遣客刺杀畅，发觉，宪惧诛，自求击匈奴以赎死。会南单于请兵北伐，乃拜宪车骑将军，以执金吾耿秉为副，大破单于。遂登燕然山，刻石勒功，纪汉威德，令班固作铭。
一次诗人来到一处村庄，发现这里山清水秀、景色宜人，于是便驻足观赏了许久。然后他又来到田间地头，与庄稼人攀谈起来。乡亲们也非常好客，还把他请到家中休息，并殷勤地招待远春的客人。而最让作者动心的却是一家船户，他们以船为家，乐此不彼。开篇就描述了这种独特的场景，“尽将家具载轻舟，来往长江春复秋。”首联笔墨简练，抒写了船户一家人来往长江的生活状况。一个“尽”字，展示了老翁和其家人的决心和毅力。春复秋，暗示着他们早已在江上生活了多年，其辛苦情况可想而知。
接下来具体描写江上生活，“三世儿孙居柁尾，四春知识会沙头。”船家三代人共居船尾、但是日子过得却很和睦；而且船家人缘好、熟人多，客人们来来往往，气氛也十分欢洽。
知识，意思是相识之人。因为四面八春的人都到沙滩来搭船，时间长了大家就相互熟悉了。作者以“柁尾、沙头”为代表，介绍了他们生活的环境，虽然条件艰苦，却其乐融融。
颈联转而展现出人物活动，“老翁晓起占风信，少妇晨妆照水流。”老翁清晨起床，预测天气；儿媳照水梳妆，整理晓鬓。这两句描写各具情态，更显得船上生活宁静和谐。读者完全可以发挥想象，这位老翁不仅谙熟船工技巧，而且还热情好客。
最后诗人感慨自己漂泊不定，“自笑此生漂泊甚，爱渠生理付浮悠。”诗人自嘲经常处于羁旅生涯，更羡慕船家自在浮游生活。渠，他的意思；生理，即生计。
占风信，表达出老翁经验丰富，总是为大家着想。之所以人们都喜欢乘坐他的渡船，一定是彼此可以畅所欲言，又能随便说笑。照水流，既说明这位儿媳妇也并未嫌弃船家生活艰苦，又传达出她虽然装扮朴素，却丝毫不马虎。
这首诗将行役之人的羁愁客思，种种难以描摹的心境，写得如感如见，显露行人对行役的厌倦，其中暗含仕途不甚得意的愁怨之情。
所以此诗开头一句采用了迂回的构思，从行旅中随手拈来两个比譬。秋天的池水是清冷的，而行人的神情比这池水更清冷。秋天的景色是凄凉淡漠的，而行人的神情比秋景更加凄凉淡漠。这不仅仅是简单的比喻，而是进一步把两类毫不相干的事物作比较，行人的神情可以和秋景较短量长，只因为它们在凄凉冷漠这一点上有共同之处。这一比较，不仅渲染了“行色”的特征，而且让隐隐的写出了这“行色”体会到了行人的内心。
接下去“远陌”一句补充点出了行旅的具体环境。长长的小路，刚走到尽头，却发现到了河边渡口。这具体鲜明的情景，是诗人旅途奔波的概括，它暗示了行人的孤独寂寞，暗示了旅途奔波的辛苦和不知归宿何处的茫然。这是对上一句的补充，更是对“行色”的加重渲染。就全诗的构思而言，这一句有至关重要的作用，它点明了诗中所写，乃是羁旅行愁，而不是其他什么别的内容。有了这一句，上一句才有着落，而后面两句也才有了生发的基础。
诗的后二句，还是从侧面烘托。意思是说，幸好这行色画不出来，若能画出，一定会使人一生发愁。本来，绘画可以画出人的表情，但是在诗人看来，“行色”所反映的内心的凄苦黯淡，无法通过绘画来表现。要注意的是，这里并不是对绘画的功能作判断。
从一方面看，作者认为绘画不能表现这种“行色”，似乎是说绘画之所短；而从另一方面看，诗人的意图却是借绘画之所长来渲染行愁之重。绘画形象具体直观，假如把这行愁再现出来，将使人不胜其愁。这是以形式上的否定，来肯定行愁之重。简单两句中包含了形式与内涵，否定与肯定相反相成的妙趣，留下驰骋想象的空间，避免了正面用笔的重拙滞涩，足见构思之巧妙。
这首诗全从侧面用笔，实处让人体会到行人心情的凄凉冷漠，感受到行愁之沉重，虚处则含蓄不尽，余意悠长。空灵而不空虚，正是其艺术魅力之所在。此诗在宋代享有很高声誉，先是被司马光载入《温公续诗话》，诗人张耒认为此诗“甚工”，以致司马光“不敢以父子之嫌废也”。后来司马池之孙司马宏又把此诗刻于石上，张耒为作记，又借梅尧臣论诗句名评云：“诗之工者，写难状之景，如在目前，含不尽之意，见于言外，此诗有焉。”（《张右史文集》卷四十八《记行色诗》）
