然而，霍光推行與民休息政策也不是一帆風順的，漢廷高層對這一政策的認識並不統一。
霍光想把武帝時期所有吃相不好看的斂財措施全部廢除，其中包括鹽鐵酒專賣。這引起了鹽鐵專賣政策的積極推動者桑弘羊等人的極力反對！
桑弘羊，與其說他是理財高手，倒不如說他是斂財高手。因為他所設計的措施，主要是為皇帝、為朝廷斂財，對緩解國家的財政困難有積極意義，有些措施甚至還非常有效。但是對改善民生，讓老百姓富足，卻從來都不在他的考慮範圍內！
對待老百姓，老桑的紅線就是隻要不把他們逼到造反就行！甚至逼到造反也可以，隻要造反的規模較易鎮壓得住就行！
所以，桑弘羊比較主張深酷用法，跟霍光他們推行的與民休息、輕徭薄賦的寬厚方針相抵觸。
桑弘羊本人是五位輔政大臣之一，他在朝中也有一大幫支持者。武帝時期受到重用的酷吏、斂財吏在寬厚政策下將沒有施展特長的舞台，也就要失去相當的權勢，失去進步的空間，因而他們都堅定地支持老桑！
由於武帝一貫重用酷吏、斂財吏，所以這股勢力在朝中相當強大，以人數而論，甚至壓倒了霍光一派！
為了增強自己的陣營，霍光以小皇帝的名義下詔，仿效文帝時的做法，令三輔地區和太常署各舉薦一位人才，稱為“賢良”，同時令各郡和各諸侯國各舉薦一位精通儒經和文章的人才，稱為“文學”。
始元六年二月，霍光召集來自全國各地的賢良、文學共計60餘人，和朝中的政府要員們一起召開大會，商討、辯論國家的大政方針。
這是曆史上罕見的一次獨特會議，可謂曠日持久，一直開到始元六年七月才結束，曆時五個多月！
由於這次會議的爭議焦點是是否應該廢除鹽鐵酒的國家專賣政策，因而史稱“鹽鐵會議”或“鹽鐵之議”。
參加會議的人分為三派，以霍光、酷吏杜周之子杜延年等主張寬厚路線的大臣以及賢良、文學為一派；以禦史大夫桑弘羊等人為首的一派，是霍光的反對派；以丞相田千秋為首的一派，是中間派，既不支持霍光，也不支持桑弘羊，他們很少發言，偶爾發言也隻是和一把稀泥而已。
由於賢良、文學此前都是生活在社會底層的人，沒有享受到武帝時期經濟政策一絲一毫的好處，反而吃足了其苦頭，因而，會議一開始，賢良、文學就火力全開，首先向鹽鐵酒專賣、均輸等經濟政策發難！
他們旗幟鮮明地指出：國家壟斷經營鹽鐵酒是與民爭利，是民間疾苦的根源。由於國家壟斷鹽業，導致鹽價高企，很多老百姓因買不起鹽而淡食。因而，他們主張廢除鹽鐵、酒榷、均輸等官。
桑弘羊一派針鋒相對地大讚鹽鐵專賣等政策的優越性，桑弘羊指出，當時由於要打擊不斷入侵的匈奴，朝廷邊防經費嚴重不足，這才興鹽鐵、設酒榷，置均輸，蕃貨長財，以佐邊費。而且，國家經營鹽鐵等事業，既能增加政府財政收入，又可防止權貴豪強私門壟斷山海資源而成長為割據勢力，有利於加強中央集權。