这首诗从题目看，该诗似乎是由读《封建论》引发诗兴的，然而诗中的主要观点交锋，则是聚焦在郭沫若的《十批判书》中论列的儒家、法家及法家代表人物秦始皇的是非问题上。诗首联即明确涉及秦始皇及其“焚书坑儒”举动。郭沫若之“骂”，简而言之，既包括非议、斥责、抨击其“苛政”及其“苛政”中的“焚坑”之举，也包括过分否定秦始皇的历史功绩。郭沫若在《十批判书》中认为，秦始皇是不顺应向“封建社会发展”的历史潮流的，是“站在奴隶主的立场”搞奴隶制暴政的人物，而“焚书坑儒”即其暴政中的暴行之一。
“焚坑”是“过”是“罪”，还是非“过”非“罪”，对此历来众说不一，或将之作为“苛政暴政”之证据，或视之为对付和打击“奴隶制复辟势力”的有力措施。毛泽东在诗句中是选用褒义词“事业”来状写它的，在毛泽东的观念里，“焚坑”是服从维护秦始皇开创的“大一统”之“事业”的，是与其“统一中原”的伟业相关的，是维护其“统一基业”“统一大业”的一种措施和手段。既然连“焚坑”都无须过分责备，那么不言而喻，秦始皇的其他政治举措就更无须责备了。因此毛泽东既诚恳又严肃地奉劝郭沫若：对秦始皇应当“少骂”，你对“焚坑”所持的“暴行说”是需要“商量”的。换言之，即对秦始皇的历史功业应多肯定，少否定，多否定甚至根本否定的观点是不对的。诗题特意用了“呈郭老”三字，接着首联又用了“劝”字、“君”字和“商量”二字，使这首“论战”诗一起笔就带有彼此商榷和探讨有关中国历史人物的看法之和睦融洽的氛围，有助于消解对方的心理压力和自危心态。
该诗的首联着意于历史性、肯定性地评价秦始皇及其下令实行的“焚书坑儒”举动有利于维护秦王朝“统一大业”的合理性；颔联则着意于在特定的历史范围内及相互对比中，肯定秦始皇创立“大一统”的秦朝的历史功绩远胜于只讲“空话”而无政治实践成果的孔丘。颔联出句是与颔联对句的“孔学”强烈对比着的。毛泽东在这里是认为，被学界一部分人评价得过高的“孔学”，其实如同无多大价值的“秕糠”一样。看战国时代的历史实践检验的结果：秦始皇以统一战争消灭了割据的诸侯国而破天荒第一次建立了“大一统”的秦王朝，可孔丘的那些学说在春秋战国时代的“历史变革”“历史飞跃”的政治实践中却无法实施、几无所用，这岂非如同无多大价值的“秕糠”。毛诗领联该是主要置于“战国时代”的特定历史范围之内而言的，因而“秕糠”之说该是有其真实性及合理性的。
如果说，颔联是从特定的“战国时代”的视角来评说，那么颈联则主要是从中国漫长的历史发展的视角来评说，它进一步把秦始皇和秦王朝置于漫长的历史发展中予以肯定性评价。郭沫若学识渊博，才华横溢，其书对先秦社会历史及当时诸流派的诸多人物等，做了研究和评说，当年曾被学界誉为“颇多创见”之著述。毛泽东对郭沫若的诸多学术成果历来是十分赞赏的，如郭沫若于1944年发表的总结明末李自成起义军最终失败的历史经验教训的《甲申三百年祭》，就曾得到毛泽东的赞赏和使用；又如郭沫若在《奴隶制时代》等著作中提出的中国奴隶制社会和封建制社会的分期在春秋、战国之交的论断，毛也表示赞成。而对“十批”，为何毛则笼统地断言“不是好文章”。就毛泽东历来就不赞成“崇儒反法”的观点以及此诗之主旨而言，主要是因为“十批”否定秦始皇、肯定孔丘学说的崇儒抑法的基本观点，与毛泽东的观点相悖。毛泽东认为：“十批”中批判“秦王政”，可是“百代都行秦政法”。总之，颈联着意于肯定秦始皇开创的中央集权的行政统治体制的重要历史进步作用及其深远的历史影响，并认为与此相悖的观点是不对的。由于“十批”只“骂”（否定）秦始皇而未充分肯定秦始皇的历史功绩，因此是不能称为“好文章”的。
尾联“熟读唐人封建论，莫从子厚返文王”。在前三联的历史性和肯定性评价秦始皇的基础上，尾联着意指出：对秦始皇的历史功业，远在唐代的柳宗元早就肯定过，今人千万别不及柳子厚而持历史倒退观点。柳子厚论说文代表作之一是尖锐抨击苛政的《捕蛇者说》，毛泽东则特别看重他的《封建论》，并且奉劝郭沫若要“熟读”（反复阅读、深思、领会）柳宗元的《封建论》，因为毛泽东认为，此政论文涉及的废“分封”、削“藩镇”、实行和加强中央集权与统一的“郡县制”的行政体制的主张和本质精神是对的。“莫从子厚返文王”，意译之即：不要从柳子厚否定“分封制”和主张废“分封”的观点，又退回到肯定搞“分封”的周文王时代的观点上去。所谓“分封制”，即君王把土地分封给宗室和功臣，让他们分别在分封的土地上建立由君主统辖的“诸侯国”，其结果往往是形成诸侯割据的四分五裂的局面。毛泽东在这里是认为，连唐人柳宗元都不否定秦始皇首废“封建制”（分封制）和首立中央集权的“郡县制”的历史功绩，都反对“分封制”而主张顺应历史发展的中央集权的“郡县制”，难道今人尚不及古人。其实质是认定：历史是不会走回头路的；同时奉劝郭沫若也要熟知和接受此番道理和此种观点，不要持“历史倒退”的观点。
此诗写的是历史题材，涉及中国古代史上的重要事件及人物，可属咏史诗。虽然不能断定此诗与毛泽东在当年特殊背景下的“政治运动”思维毫无关联，但从诗句本身来看，如何评判秦始皇的历史功业，应是它的主旨所在。此诗内含丰富，无渊博、扎实的史学功底，难以创作出如此之诗，应视为造就、构成毛诗的“史诗性”的重要诗作。
“翩与”二句，是写北行时寂寞凄凉的情怀。翩然和回归北方的鸿雁共同北行。登山临水，据宋玉《九辩》：“登山临水兮送将归”。这里借用此句来表达诗人的离乡之愁。
“江南”二句就真实地表达了游子对故乡的痴情。“江南”句是古诗名句，据丘迟《与陈伯之书》：“暮春三月，江南草长，杂花生树，群莺乱飞。”这里借用此句点明了北上的时间，正是江南阳春三月、春暖花开的季节，在这样美好的季节离开故里北上，留恋之情更加难舍难分。
在交待了离乡的时间以后，“五夜”二句又进一步交待了北行的原因。“五夜”即五更，这里指通宵。“伏枥”出自曹操《步出夏门行》诗：“老骥伏枥，志在千里，烈士暮年，壮心不已。”左计，失策。躬耕，亲自耕作。这两句的意思是：通宵不眠，我象伏枥的老马壮心不已;没有亲自操作于田野，恐怕是我一生中最大的失策了。这就是说，我还有壮志未酬，所以还不能归隐田园。那么，他的壮志是什么呢? 最后两句做了交待。《两当轩集》前言说：“黄景仁的诗歌主要是反映个人身世的穷愁不遇，抒发寂寞凄凉的情怀为多，虽有愤世嫉俗的篇章，但有些作品的基调较低沉。”黄景仁对自己诗歌的这些不足之处有深刻的认识，他说：“自嫌诗少幽燕气”，也就是说缺乏燕赵慷慨悲歌之气，所以才“故作冰天跃马行”，为了转变“少幽燕气”的诗风，诗人甘愿从草长莺飞的江南到冰天雪地的北方跃马前行。
这首诗巧用比兴，含意深远。语言明快晓畅，而又妥贴传神，富有表现力。“故作冰天跃马行”一句含蓄而隽永，似是在写诗人在冰天雪地中跃马前行，实则是写出诗人希望自己的诗要有“幽燕气”。向豪壮处发展。全诗不乏佳词警句，含英咀华，耐人寻味。