漢族對顏色的區分好惡從來就不著重於審美，而是賦予其明確的象征意義。表現在服飾方麵，不同顏色，寓示著高低貴賤、好壞吉凶。按照正統禮教的觀念，屬於不同社會等級的人應該穿不同顏色的衣服，同一個人在不同場合服色亦應有別。由此確立起一套有關穿戴的規矩，就是所謂“禮服”製。在漢武帝時已有關於服色的禁令。漢成帝建始四年發布了一道整頓風俗的詔令，其中有“青、綠民所常服，且勿止”，也就是說，當時的老百姓已常穿青、綠色了，其他的顏色基本禁止穿了。黃色是皇帝專用的，民間是禁止穿黃色衣服的
受上層“禮服”製的影響漢族民間以黃凶色，以綠色、青色為賤色。黃色是金子的顏色，因而有尊貴的寓意。曆代皇帝大都崇尚黃色，稱登基做皇帝為“黃袍加身”。民間便禁忌穿黃色的衣服，否則，便是“要造反”、“想篡位”，曆來不乏以此來判刑定罪的實例。
《禮記·曲禮》就載有父母在時子女忌穿白衣、忌戴白帽，這是因為喪服是純素的，舉辦喪事，都戴黑紗，或穿白色孝服，佩戴白紙花等。所以白色、黑色容易使人聯想到凶禍、喪葬等不祥之事，故而一般人忌諱穿著，尤其在婚嫁、生育、過年、過節等喜慶日子裏更是忌諱穿純白、純黑的衣裳，惟恐大不吉利。
在魏晉南北朝以及隋唐時代，忌素服的習俗曾一度中斷。那時從皇帝到民間，都有穿白衣戴白帽的。隻是在喜慶之日，如婚年壽節忌白尚紅。大約到了宋朝，厭白尚彩的風氣又普遍流行於民間了。宋高宗時，因杭州夏季炎熱，士大夫都流行穿白色涼衫。《宋史》載：“涼衫其製如紫衫，亦曰白衫。宋孝宗乾道初禮部侍郎工嚴奏‘竊見近日士大夫皆服涼衫，甚非美觀。而以交際居官，臨民純素，可憎有似凶服’，於是禁服白衫……自後涼衫隻用為凶服矣。”宋朝以後，民間服飾忌白和以白色為凶色就作為官方製度確定下來了。
白衣之外，除了小兒婦人，也忌紫色外衣，因為紫衣是下吏皂隸所服之色。據《清史稿·輿服誌》所說，官員也隻有佩紫綬，而服色均無紫色的規定。紫色是賤色，所以連民間也忌諱穿紫，紫色衣服的忌諱帶有政治等級觀念的內容，與白色衣服的禁忌不同。
民間還有男子不戴綠頭巾、綠帽子的習俗。元、明、清時隻有妓、優伶等“賤業”中人才以綠色為服色。唐人李封做延陵(今江蘇丹陽一帶)縣令時，有犯罪者便叫裹上青綠色頭巾以示處分。於是，江南一帶對戴青綠色頭巾為奇恥大辱。元、明時又規定娼家男子戴綠頭巾。《中國娼妓史》有記載：“後代(元以後)人以龜頭為綠色，遂著綠頭巾為龜頭。樂戶妻女大半為妓，故又叫開設妓院以妻女賣淫的人為龜，或叫烏龜。又以官妓皆籍隸教坊，後人又呼妻女賣淫的人為戴綠頭巾，或叫戴綠帽子。”明代也有此說，並且從製度上加以規定。通常人都忌諱穿著青衣、綠衣，惟恐自己與賤業、賤民同路，沾上“不潔”、“汙穢”之習氣。