毛澤東主席提出“南水北調”的偉大設想後，在黨和國家主要領導人的親切關懷下，1952～1957年，黃委會提出了由通天河引水到黃河源的方案；長委會研究了從漢江丹江口引水濟淮、濟黃的方案，同時還研究了自三峽引水至丹江口的方案，從長江下遊沿大運河調水的方案及從巢湖引水的方案。在1958年3月成都會議上，毛澤東主席說：“打開通天河、白龍江，借長江水濟黃，丹江口引漢濟黃，引黃濟衛同北京連起來了。”1959年2月，中國科學院及水利電力部在北京召開了“西部地區南水北調考察研究工作會議”，確定南水北調的指導方針——“蓄調兼施，綜合利用，統籌兼顧，南北兩利，以有濟無，以多補少，使水盡其用，地盡其利”。隨著“大躍進”的開始，南水北調工作迎來了第一個高潮，在“大躍進”的狂熱中，北方各省的水利規劃都做得很大，因此當時西線南水北調的設計規模也很大，甚至提出了“開河十萬裏，引水五千億”這樣不切實際的設想，限於當時技術條件，西線調水準備采用人海戰術，修建超高堆石壩、開盤山大渠，明顯不切實際。隨著“大躍進”高潮的降溫，南水北調特別是西線工作也冷卻了下來。但是這一時期的工作確定了南水北調工程的原則、格局，為以後的工作打下了良好的基礎，直至目前大多數的南水北調方案仍未脫離那個時期勾勒出的框架；在人類曆史上第一次大規模、科學地勘查了長江、黃河上遊和瀾滄江、怒江部分流域的水文、地理情況，取得了寶貴的科學資料，為此一些同誌犧牲了生命，那段曆史值得我們銘記。
20世紀60年代以後的幾十年中，南水北調工作幾上幾下，基本上是北方缺水加重則上，旱情暫時緩解則下。但是其間中央和地方水利部門做了大量的工作，在江蘇地區已經實現了江水北調，並形成了黃委會負責西線、長委會負責中線、淮委會（全稱“淮河水利委員會”）負責東線的局麵。
20世紀70年代以後由於持續幹旱和工農業的發展，華北地區水荒嚴重、黃河斷流、生態環境惡化。京津地區城市用水嚴重緊張，為此密雲水庫和官廳水庫放棄河北與天津，專供首都北京用水，天津緊急建成引灤工程，隨後為了緩解華北平原嚴重的城市水荒，又建設了引灤入唐、引青濟秦、引黃濟青等跨流域調水和其他城市供水工程。同時，南水北調規劃設計的重點也集中在向華北平原供水的中線和東線工程上。
1978年五屆全國人大、1992年黨的十四大、1996年八屆全國人大四次會議，均提出要實施南水北調工程。1997年，在北京京西賓館，國務院召開南水北調工程審查委員會常委會議，討論《南水北調工程審查報告（送審稿）》。關於南水北調走哪條線，大家意見不一，上東線，上中線，會場上爭論不休。一開始，大家各持己見，認為非此即彼。經過激烈討論之後，規劃布局得到徹底調整：東、中、西三條線並非“你存我亡”，而是實行統籌兼顧、全麵規劃、分步實施。
1999～2000年北方地區連續幹旱，京津地區和山東半島嚴重缺水，海河平原生態環境日益惡化，社會各界對北方地區水資源短缺的嚴峻形勢達成共識，迫切希望實施南水北調工程。2000年，中央決定分東、中、西三條線實施南水北調，朱鎔基總理提出務必做到“先節水後調水，先治汙後通水，先環保後用水”的“三先三後”原則，江澤民總書記也提出了“從長計議，全麵考慮，科學選比，周密計劃”的方針。2001年，中國向世界正式公布興建醞釀達50年之久的南水北調工程。2002年10月，江澤民總書記主持召開中共中央政治局常務委員會會議，聽取南水北調工程總體規劃彙報，審議並通過了經國務院同意的《南水北調工程總體規劃》。這個規劃用了整整50載歲月，在這50年歲月中，共有5部委（局）、9省（直轄市）、24個不同領域的規劃設計及科研單位、6000人次的知名專家、110多人次院士參與獻計獻策，召開100多次研討會，對50多種規劃方案進行了比選。南水北調工程總體規劃是跨學科、跨部門、跨地區綜合研究的成果。