太夫人霍顯大興土木建造府第，又給自己製造了一輛豪華的人拉輦車，其規格完全是禦用標準。車身繪滿了精美的圖畫，車上的褥墊用錦繡製成，車身塗以黃金，車輪外裹上熟皮和綿絮，以減輕車身的顛簸，由侍女用五彩絲綢拉著霍顯在府中遊玩娛樂。
她和她的幾個女兒把上官太後所居住的長信宮當成自己家似的，不管白天黑夜，想進就進，想出就出，完全不理會宮庭管理製度。
霍禹、霍山也大肆擴建宅第，並且經常在平樂館中騎馬奔馳追逐。
霍雲呢，上班刁兒郎當，多次在朝會時稱病請假然後私自出遊，有時帶著許多賓客到黃山苑中行圍打獵。沒時間去單位上班，就派個奴仆去單位代為點個卯，反正也沒人敢管他。
當宣帝讓魏相當給事中時，霍顯也感覺到了似乎有點不妙，對霍禹、霍雲、霍山說：“你們不設法繼承大將軍的事業，如今禦史大夫當了給事中，一旦有人在他麵前說你們的壞話，你們還能救自己嗎！”
然而霍禹他們無動於衷。
後來，霍家的奴仆跟魏相家的奴仆因爭奪道路發生衝突。霍家奴仆闖到禦史府，要踢魏家的大門，魏相叩頭道歉之後他們才揚長而去。
有人把此事告訴了霍家，霍顯他們這才開始感到擔憂了。
不久，魏相提升為丞相，很受宣帝的信任。平恩侯許廣漢和侍中金安上也可以徑自出入宮廷，金安上是金日磾弟弟的兒子。這說明，宣帝在加快培植自己的勢力，以抗衡霍家勢力。與時同時，宣帝還巧妙地削奪霍家的權力。
霍山主管尚書事務，大臣的奏章都要經他的手轉給宣帝，他覺得對自己不利的奏章，就順手代宣帝作了批示，不再給宣帝看。
這對宣帝很不利。因而宣帝下令，允許官吏百姓直接向皇帝呈遞秘密奏章，不必經過尚書，群臣也可直接進見皇帝奏事。
這樣一來，就把領尚書事的霍山給架空了。
接著，宣帝把霍光的女婿度遼將軍、未央衛尉、平陵侯範明友調任光祿勳；把霍光的二女婿中郎將、羽林監任勝調出京師，任安定太守。
幾個月之後，宣帝又將霍光的姐夫給事中、光祿大夫張塑調出京師，任蜀郡太守；將霍光的孫女婿之一、中郎將王漢調任武威太守；稍後，又將霍光的大女婿長樂衛尉鄧廣漢調任少府。
霍光的另一個女婿趙平本為散騎、騎都尉、光祿大夫，統領京城屯戍部隊，如今也被收掉了騎都尉的印信和綬帶。
通過這一係列人事調動，把霍家人成功地從皇帝的警衛係統中剔除了出去。
然後把所有統領胡人和越人騎兵、羽林軍以及未央、長樂兩宮衛所屬警衛部隊的將領，全部換上許家、史家兩家的子弟。
同時改任張安世為衛將軍，未央、長樂兩宮衛尉，長安十二門的警衛部隊和北軍也都歸張安世統領。
霍禹在此前已被任命為大司馬了，大司馬照例應該跟丞相、大將軍一樣戴那種大官帽。但宣帝卻不讓他戴大官帽，而是讓他繼續戴著小官帽，並且不頒給他大司馬的印信、綬帶。
這還不算，還把他以前統領的京城屯戍部隊的官屬全部撤銷，使他成為一個隻有大司馬空銜頭的光杆司令，而且還是沒有官印的！
隨即，宣帝又將範明友的度遼將軍印信和綬帶收回，隻讓他擔任光祿勳一職。
與此同時，宣帝拚命地培植自己的勢力，自從即位以來，他就多次派使者去查訪他外祖父一家人的下落。
由於相隔時間較久，查了好幾年才找到了他的外祖母王媼以及兩個舅舅王無故和王武。
宣帝立即賜王無故、王武關內侯爵位，短短十天時間，對王家的賞賜就以萬萬計。
不久，宣帝賜外祖母號“博平君”，封舅舅王無故為平昌侯，王武為樂昌侯。
宣帝這邊已經磨刀霍霍了，霍家在幹什麼？