“屋下”两句，点明“望湖楼”是座傍山依水的建筑物。楼宇挑出水面，所以“屋下半”有“流水”淙淙；隔着楼顶望去，可以看到青山蜿蜓。“当心”两句，“当心”应作“赏心”。此言是楼面湖而筑，门窗开处，千顷平静似镜的湖水皆入眼中，水光掩映之下，使楼内满室生寒，真是“水光潋滟晴方好”，使人见后赏心悦目。“云起”三句，写远眺。此言如果湖对面的南高峰上罩上了黑云，那末这儿一时半刻还不致会有雨；又如果是楼后面的北高峰上云雾收敛的话，那末这里也就会马上会转晴了。据此，望湖楼应在北高峰前的西湖北面。又看那云来云去，以天作纸，以云作画，像是有一个大手笔在用一支“健笔”着意地挥洒。“俯瞰”两句，形容楼之高。此言从望湖楼上可以低首远望远处古老的城墙，那窗外的栏干，挡不住词人的视线。
“绣鞍马”五句，写游湖之人中午都来楼中休息。此言那些骑在铺着绣鞍的俊马上的游客们，从绿水青山中尽兴返回，到“望湖楼”时刚好日至正午。在等候午餐之间，有人信手翻阅起随身所带的书本。“缃编”，即缃帙，系浅黄色的书套，这里借代为书本。欧阳修《进唐书表》有：“久披缃帙，粗定铅黄”可证之。“残照”三句，写黄昏景。言游客们在楼中酒醉饭饱之后，不知不觉中已临近黄昏。他们还可以从楼上观赏到落日余晖。那时候湖面上已经没有了游船。当蛾眉月升起之时，它似乎是挂在楼门帘边的银钩一般，更显得湖山如画般清新可爱。从“新月”句中可知，“望湖楼” 确在北高峰前的西湖边上，因此游客可从楼中如平湖秋月那样的欣赏月色了。再是“新月”，也点明时在月初。词人从翠绿色的壶形窗中望了出去，岸边游人似乎是行走在镶嵌的画框里一样。“天际”两句。言当远处隐隐约约地响起牧童晚归时的牧笛声时，很快这花花世界又将融入进漫漫长夜之中。
宗武是诗人的幼子，诗人曾多次提到并称赞他，在《忆幼子》诗中说：“骥子春犹隔，莺歌暖正繁。别离惊节换，聪慧与谁论。”在《遣兴》中说：“骥子好男儿，前年学语时：问知人客姓，诵得老夫诗。”说明宗武聪慧有才，可惜没有诗传下来。杜甫死后，是由宗武的儿子嗣业安葬的，并请元稹作墓志铭，人称不坠家声。
首句的意思是：何时看到小子的诞生，高秋的今天正是呱呱坠地之时，点名宗武生日的时间。次句“自从都邑语，已伴老夫名。”回想昔日写诗赞宗武懂事乖巧，宗武也随着诗文的传播而被人熟知，字里行间透着些许自豪。“诗是吾家事，人传世上情。”杜甫的远祖杜恕、杜预是汉、晋时的名臣名儒，祖父杜审言更是初唐著名诗人，诗人自己更是以诗著称于世，故勖勉宗武：诗是我家祖辈相传的事业，要继承和发扬，不仅是一般的世间亲情而已。“熟精文选理，休觅彩衣轻”。杜甫自己得力于《文选》，所以勉励儿子熟读精研，继承父志，不要像古代的老莱子，七十岁时穿着彩衣在父母面前嬉戏，以娱乐父母。最后两句说自己以衰病之躯，还在为小儿子的生日开筵祝贺一番，父子深情，跃然纸上，字里行间也透出些许悲凉，适逢乱世，国破家离，不知何时才能相见，即使分隔两地，拖着病体也要为儿子摆生日宴席，写诗勉励宗武，此情可叹。
