汉语灰字原指物质燃烧后残余的粉状物，许慎《说文解字》中云：“灰，死火余烬也，从火，从又。又，手也。火既灭，可以执持”;《字汇》也说：“火过为灰。”

在古文中，“灰”主要做名词用。如“掌灰物炭物之征令，以时入之，以权量受之，以共邦之用（战国·《周礼·地官·掌炭》）”、“昔为七尺躯，今成灰与尘（晋·陆机《挽歌》）”、“见说白杨堪作柱，争教红粉不成灰？（唐·白居易《燕子楼》）”。

以“灰”为颜色名时间较晚，大约始见于清代：“脱余生，惊喜泣相语……扶床面色灰，谬言不畏惧（清·黄遵宪《潮州行》）”。

在《中国惯用色色彩特性及色样选订》、“东方色彩计划·乾隆色谱”中，灰色均有收录。