这首咏史诗，就秦始皇筑万里长城事发表议论。前两句写筑城。第一句说长城高而广，城上屯扎着千军万马，铺陈城的高大稳固，守城的人众多，难以撼动。次句说筑城的目的，是为了抵御外部胡人的侵略，巩固自己的政权，以便于“一世而达万世”，永保帝业。三、四句突转，说秦始皇只知道危险来自外边，自以为有了长城，便可高枕无忧，却不知道体恤人民，结果酿成内乱，激起民变，陈胜、吴广揭竿而起，秦政权没多久就完结了。诗揭示的是这样一个历史规律：内政不修，对人民残酷压迫，是国家灭亡的主要原因，外部的侵扰倒是其次的。当时宋朝对人民的压榨也很厉害，百姓怨声载道，诗人在这里明是咏史，也是针对现实，对统治者发出警告。
咏史诗所咏如果是前人没咏过的史实，就应该述清事件的来龙去脉，直接发表议论；如果所咏是熟事，务必转换角度，翻出新意，切忌人云亦云。胡仲参这首诗所咏是秦以暴政失国，这个题目，前人已经作了许多论述，所以这首诗擒住修筑长城备胡这一点，肯定长城的高广及防御功能，然后生发开去，牵出对立面，说秦始皇刻意预防的地方倒没出什么问题，他没想到的地方反而成了导致亡国的关键。这样组织材料加以议论，便给人以思考，也给人以新鲜感。
胡仲参这首诗的构思布局，与唐章碣的《焚书坑》有些相同。章碣诗云：“竹帛烟销帝业虚，关河空锁祖龙居。坑灰未冷山东乱，刘项原来不读书。”说秦始皇提防书生，结果灭秦的人恰是不读书的人，与胡诗一样，都是从相反处做文章。元人陈孚有首《博浪沙》诗，是从正面做文章的，也很有趣味，诗云：“一击军中胆气豪，祖龙社稷已动摇。如何十二金人外，犹有人间铁未销。”说秦始皇收尽民间铁，铸成十二金人，没想到仍然有大铁椎在，使他差点丧命。由此可见，诗材遍地皆是，只要细心挖掘，就能找到好的题目。
这是一首咏物言志诗，所咏的对象是龙泉宝剑。据传龙泉宝剑是吴国干将和越国欧冶子二人，用昆吾所产精矿，冶炼多年而铸成，备受时人赞赏。但后来沦落埋没在丰城的一个古牢狱的废墟下，直到晋朝宰相张华夜观天象，发现在斗宿、牛宿之间有紫气上冲于天，后经雷焕判断是“宝剑之精上彻于天”，这才重新被发掘出来。这首诗就是化用上述传说，借歌咏龙泉剑以寄托自己的理想和抱负，抒发不遇的感慨。
诗人用古代造就的宝剑比喻当时沦没的人才，贴切而易晓。从托物言志看，诗的开头借干将铸剑故事以喻自己素质优秀，陶冶不光；其次赞美宝剑的形制和品格，以自显其一表人材，风华并茂；再次称道宝剑在太平年代虽乏用武之地，也曾为君子佩用，助英雄行侠，以显示自己操守端正，行为侠义；最后用宝剑沦落的故事，以自信终究不会埋没，吐露不平。作者这番夫子自道，理直气壮地表明着：人才早已造就，存在，起过作用，可惜被埋没了，必须正视这一现实，应当珍惜、辨识、发现人才，把埋没的人才挖掘出来。这就是它的主题思想，也是它的社会意义。在封建社会，面对至高至尊的皇帝，敢于写出这样寓意显豁、思想尖锐、态度严正的诗歌，其见识、胆略、豪气是可贵可敬的。对压抑于下层的士子有激发感奋的作用。这首诗的意义和影响由此，成功也由此。
张说评述郭震“文章有逸气，为世所重”。所谓“逸气”，即指其作品气势不羁，风格豪放。《古剑篇》的艺术特点，正如此评，其突出处恰在气势和风格。由于这诗是借咏剑以发议论，吐不平，因而求鲜明，任奔放，不求技巧，不受拘束。诗人所注重的是比喻贴切，意思显豁，主题明确。诗中虽然化用传说，不乏想象，颇有夸张，富于浪漫色彩。例如赞美宝剑冶炼，称道宝剑品格，形容宝剑埋没等，都有想象和夸张。但是，笔触所到，议论即见，形象鲜明，思想犀利，感情奔放，气势充沛，往往从剑中见人，达到见人而略剑的艺术效果。实际上，这首诗在艺术上的成就，主要不在形式技巧，而在丰满地表现出诗人的形象，体现为一种典型，一种精神，因而能打动人。“文以气为主”，“风格即人”，此诗可作一例。