三是由特殊身份的人或賤民充任的色役。唐代工匠雖算良民，但身份卻與農民不同，不許入普通戶籍，不得預於士伍。作為具有某種技藝的工匠是世代相傳，不準改業的，他們所服的番役也類似一種色役，除長上匠外，短番匠可以納課代役。屬於太常寺的音聲人是供皇室和官府宴樂的人，身份低於普通百姓，但由於享有免除正役、雜役和某些苛重色役，所以也有良民冒入的情況。此外有由官奴婢釋放和犯罪配役的官戶(番戶)、雜戶，依其所長的技藝而配於諸司，也是分番赴役。沒有技藝的則配給司農寺去作屯民。他們所承擔的某些色役如樂工、獸醫、騸馬、調馬、辟頭、栽接等，由於是賤民所業，普通良民一般不願意去冒充。
由於廣泛存在冒充色役以避正役、兵役和雜徭的情況，因此封建政府要設法製止。開元九年(721)宇文融“請急察色役偽濫”。玄宗命他為使檢查，結果“獲偽濫及諸免役甚眾”。但並不能阻止偽冒活動，政府又采取裁減最大量的色役的辦法。開元二十二年減諸司色役十二萬餘人。天寶五載(746)統計，全國單白直一項就一年損失十萬丁。於是下令停止郡縣給丁充當白直，官僚所應得的白直課錢，改由政府用征稅辦法發給料錢。即本應由白直承擔的課錢改為向全體課丁征收。其他類似性質的色役如防閣、庶仆、仗身等如何處理，不見明文，可能也改由政府征稅，發給官僚。安史之亂爆發，政府財政困難，停止發給百官料錢。代宗以後，百官料錢大體上是由按墾田麵積征收的青苗地頭錢中出。以上是作為百官俸料的色役，至於其他色役，如內園丁、幕士、掌閑、津子、驛子之類仍然存在，不過這類人的數量不是太大。唐後期的色役也叫做差役，實際上和雜徭混合，但京師的禁軍和各機構(所謂“諸軍諸使”)，特別是宦官直接主管的禁軍和內諸司使仍然在投軍或充役名義下收納大量納課人產，許多富人為了借此逃避差役，大量投充這些機構所屬的兵士和色役，稱為“納課戶”。色役名目繁多，原先就輕重不一，苦樂不均，中葉以後，由色役、雜徭演變而來的差役十分苛重；同時另一部分如工匠、太常樂人、金吾角子、五坊色役戶、中書門下陪廚戶等等也是色役，但仍然是富人避役的隱庇場所。
關於色役的含義或特色，學術界有不同看法。有的認為凡是職役和有名目的徭役都統稱為色役；有的認為色役即律令上的雜任役；還有的學者認為色役必須具備番上服役和納資代役兩個特點，常役無番、不能納資代役的，不包括在色役範圍之內。