“庶见素衣兮，我心伤悲兮”，这首《诗经·桧风·素冠》中的诗句，被认为是白色作为丧服的最早记载。未经修饰的素白，表明自己因哀伤而无心打理日常生活，因此中国有“以白为孝”的习俗。

也有学者认为，以白为丧来源于色彩五行说：东方的青色象征着万物生长，南方的红色象征着万物茂盛，西方的白色与北方的黑色则象征着万物的凋零。因此在祭奠生命逝去的仪式上，应该用白色或黑色。

此外，由于古代染织技术的限制，只需漂白即可获得的白色，成本低廉，成为百姓常服的颜色。“白丁”指没有考取功名的读书人，“白屋”指穷苦人家住的茅草屋，“白”在许多词语中也带上了消极的色彩。“一穷二白”、“白手起家”指基础条件差，“白搭”、“白费”、“白费劲”指效果不佳，“唱白脸”、“白眼狼”则是形容人的奸诈和狡猾。