至于父皇，每年他只有节庆日的时候，由乳母或者内侍牵着手，跟在长长的队伍后面跪拜行礼的时候，才能远远见到一面。
宫廷之中总是有着各种各样的阴晦事，他经常会被乳母提醒凡事要小心谨慎，不要惹来祸事。那时候他想不明白，为什么父皇早就把他的后宫当作了摆设，根本就不再进来，后宫中的那些女人，还要整日斗来斗去斗个不停。
这里面的道理，直到很久以后他才想明白。母亲的地位越高，参拜父皇的时候，位置就越靠前，也就意味着她手里牵着的那个孩子，离父皇坐着的那把椅子越近。否则的话，就只能像他这样，每次都只能跪在队伍的末端，连父皇的样子都看不清。
皇家子弟正式的启蒙教育一般是在六岁。六岁那年，他开始每日由内侍背着，送到咸阳宫去念书。六岁那年，他认识了他的伴读，年仅十二岁的萧振庭，他一生中最重要的谋士，他未来的心腹之臣。六岁那年，他第一次发现，他的二皇兄非常讨厌他，讨厌到了憎恨的地步。
那时候他只是深宫之中一名不得宠的小皇子，从一出生就被打上了不得父皇欢心的烙印，最有力的证据就是他的父皇在他的皇兄皇姐出生后，都曾大赦过天下，唯有在他出生后却没有，嬷嬷们曾经私下偷偷议论过不止一次，他听在耳里，记在了心里，从此行事间更加谨小慎微，不敢行差踏错半步。
而他的二皇兄，母妃是早已仙逝的先后，据说父皇非常敬爱先后，曾经为了先后在天地祖宗前起誓，自此后永不纳妃，更是在先后病逝后，遣散后宫专心政事，而且二皇兄还颇得皇祖母的喜爱，从小就被养在了皇祖母的膝下承欢，也常常会被父皇叫到昭仁殿考校功课。
他和二皇兄之间的地位天壤之别，在咸阳宫里受到的对待也是天差地别，他实在想不通二皇兄为什么会这么讨厌他。
二皇兄当着太傅们的面，不会把他怎么样，只要太傅们一离开，就可着劲地欺负他，嘲笑捉弄是家常便饭，撕掉他的书，让他被太傅们骂，抢了他的作业，害得萧振庭经常被打手心，还有种种恶劣事迹，数不胜数。
太傅们大多知道，却当作不知道，不敢为了他去得罪二皇兄，至于伺候他的内侍，根本就不是二皇兄带的那些人的对手，而他其他的兄长们，每每在这种时候，都会煽风点火加油添醋火上浇油，然后再负手看热闹。萧振庭因为护着他，每天身上都是青一块紫一块的。
有一天，二皇兄找到了一个新花样来欺负他。他还记得那日的池水真的好冷，他每次挣扎着想要爬上来，就会被踢下去，很快他就没有了力气，渐渐沉下去，恍然间，他听到萧振庭沙哑的叫唤声越来越模糊。
在他以为自己就会这么沉入黑暗的时候，有啸声分开水面，刹那间他就被拖着衣领拉起来，然后被人拥在了怀里。
“二殿下，他是你的弟弟。”
他听到来人压抑着怒火，开口说道。
如果是很久很久以后，他肯定会说：“大统领，皇家是没有亲情的，父子也罢，兄弟也罢，都是你死我活的对手。”
不过，那时候的他，还太小，所以他唯一能做的，就是伸出稚嫩的双手，抱住来人的脖子，将自己的脑袋贴过去，一边发抖，一边汲取那点小小的温暖。 卫衍曾经对皇帝说过, 他要对诸皇子一碗水端平，其实他说这话的时候，对于该如何去表现一视同仁，心里并没有谱, 最后他无法可想之下，想出了一个笨办法，那就是和诸皇子都没有接触, 与所有的皇子外家都保持距离，无所谓对谁好，也就无所谓对谁坏，这样, 自然也算是一视同仁。
因为这个原因, 虽然他每天巡查皇宫防务的时候，都会经过皇子宗室们学习功课所在的咸阳宫，却从来没有进去过。
如果不是那一日里面传出来的哭声、叫声响成一片, 几里路之外都能听得见, 他恐怕还是不会进去的。结果一进去，就看到了让他气得发抖的场面。
卫家的家训中，有很重要的一条就是兄弟同心、其利断金, 卫老侯爷更是从小就教育儿子们兄友弟恭互相扶持，再加上卫衍年幼体弱, 实际上他是被父兄们骄纵宠溺着长大的。