然而，随着时间的推移和地位的稳固，霍光逐渐地改变了原来的做法，他变得不那么小心谨慎了！权力欲开始膨胀起来。特别是在昭帝末宣帝初，霍光大量地把自己的故吏、亲属安排到重要位置：
光子禹及兄孙云皆中郎将，云弟山奉车都尉、侍中、领胡越兵。光两女婿为东西宫卫尉，昆弟、诸婿、外孙皆奉朝请，为诸曹、大夫、骑都尉、给事中。党亲连体，根据于朝廷。
霍光的家人甚至奴婢也依仗人势，恣意妄为。连流传下来的汉乐府中都有‘昔有霍家奴，姓冯名子都。依倚将军势，调笑酒家胡’（辛延年《羽林郎》）的诗句。更有甚者！为了能够让女儿成为皇后，霍光的继室霍显，竟然戳使人下毒、毒死了刚刚分娩的皇后许氏。
霍光死后，其家人与奴仆更是为所欲为、无所顾忌。他们僭越礼制，私自扩大霍光的陵制与自己的府第；目无皇帝，霍云‘多从宾客，张围猎黄山苑中，使苍头奴上朝谒，莫敢谴者’。
霍氏的骄纵无节，严重地危害到了西汉**的皇权，宣帝自然不能容忍。但在霍光生前，宣帝念其忠于汉室，有拥立之功，又握有实权；而自己初起民间，势单力薄，羽翼未丰，因此不敢贸然对霍氏下手，而是采取了以退为进的策略。在宣帝的精心策划之下，霍光死后仅两年，霍氏就罹族诛之祸。显赫一时的霍氏昙花一现，在西汉历史上消失了。
霍氏的被诛灭，固然是它本身后来骄奢放纵的结果；但从另一面看，霍氏家族也只能是有这样的结果。功高震主，威震主者不畜！霍光的功劳太大了、地位太高了！名声和影响甚至超过了皇帝，当然为皇帝所‘不畜’了。所以，霍氏的族灭，应当看成是必然的结果。这是一个悲剧，一个注定要发生的、不可避免的悲剧！
所以，当我提起霍光时，机敏、聪慧得很少有她所‘为难’之事的甄宓，也不免惊惧万分的对貂蝉说‘不明白最好’！这其实也就是我‘既然不想篡位自立，就得尽快远行’的根源所在！也是‘前车之鉴’逼得我不得不要去这样去做。
就一代明君汉宣帝的做法来说，也是有些不得不为。为了给霍氏青史留名，汉宣帝还在特意为功臣营建的‘麒麟阁’中，把‘霍氏’排在了功臣榜的首位。不过，只是标注的‘大司马、大将军、博陆侯霍氏’而不名；其意也难免是怀有歉疚心理的、为了表彰为大汉朝九死一生、沥血疆场的一代名将霍去病。
麒麟阁先后供奉了十一位功臣。十一人中‘霍氏’排名第一，其次为张安世、韩增、赵充国、魏相、丙吉、杜延年、刘德、梁丘贺、萧望之、苏武等。共十一人，史称麒麟阁十一功臣。