最初铅笔是用铅制作而成的，但后来人们发现了“黑铅”，也就是碳，铅笔就改用碳制作，但是人们仍习惯将使用碳制作的笔叫做铅笔。
现在的铅笔并不含铅，而是用石墨和黏土制造的，之所以这样命名是由于其历史沿革造成的。古希腊、罗马曾用金属铅制成类似铅笔的铅棒。它们多为锥形，与其他物体磨擦后留下铅的痕迹，用来划线做标记。14世纪，欧洲出现类似现在的铅笔。1565年，英国开始以石墨为笔芯，手工制出最原始的木杆铅笔。
1662年在德国纽伦堡市建成世界上第一家铅笔厂——施德楼铅笔厂。后来德国人F·卡斯特在纽伦堡市创建了法泊·卡斯特石墨铅笔厂，采用硫磺、锑等作粘结剂与石墨加热混合制造铅芯，使石墨铅笔杆制造技术前进了一大步。
法国N·J·康德首次采用水洗石墨的办法，使石墨的纯度提高，并用粘土将石墨粘结制成笔芯，此法被称为康德法。为铅笔工业奠定了基础。后来，法国化学家孔德经过反复试验，改用黏土作增固剂，制出的笔芯比原先还要坚实耐磨，而且这种方法适用于任何石墨矿，直到2019年仍在使用。美国有一位名叫威廉·门罗的木匠，在刻有凹槽的木条中，嵌一根黑铅芯，再把两根木条对拼粘合在一起，制成了世界上第一支铅笔杆。
1790~1793年，法国康德采用黏土将石墨黏结制成笔芯，奠定了现代铅笔工业基础。在铅笔的笔杆上通常都有硬度标志，H表示硬质铅笔，前面的数字越大硬度越大：B表示软质铅笔，前面的数字越大笔芯越软。HB则表示软硬适中的铅笔，适合日常书写之用。
