将石头作为记录信息的载体的历史不可谓不悠久。石头是自然界中随处可见的物质，又加之其具有坚固、耐久的特征，是最早被人类利用的自然物之一。早在四万年前，史前人类就已经开始在岩壁上作画，其历史远远早于文字的产生。岩画与碑刻虽然形式与内容都存在着极大的差异，但是本质上都是以具有时间上永久性的石质材料作为内容载体的创作物，从这个意义上说，岩画是碑刻的起源之一。
 
         随着人类搬出洞穴、建造城市，石头作为媒介出现了相当长的消沉期，取而代之的是甲骨和青铜器。但春秋战国时期社会进一步发展，值得记载并流传后世之事逐渐增多，新兴贵族对彰显功勋的热衷也越发旺盛，这两种载体因为数量有限而较为贵重不在适应记录的需要，石头因具有同样的时间上的长久保存性而进入人们的视野，成为记事与颂德的新一代载体，人们开始“以石代金，同乎不朽也”发现于1974年的东周中山国河光刻石便是一例，其篆字书法古拙具有铭文的特点，体现了从青铜载体到石质载体的迁移；著名的石鼓也属于这一时期的作品，记录了东周时期秦国国君出行游猎之事，是现今发现的最早的帝王记事刻石。
        作为一个词语的“碑”在春秋时期也已经存在，只不过其性质和功能迥异于后世。其一，时间的测度工具。《仪礼·聘礼》记载“东面北上，上当碑南陈”对此郑玄的注文中解释道“宫必有碑，所以识日影，引阴阳也”，也就是说，碑竖立在宫廷院落之内，作为投射太阳的影子来推算时间的工具。其二，系牲畜的固定物。《礼记·祭义》记载“祭之日，君牵牲„„既入庙门， 丽于碑”（郑玄注：丽犹系也），也就是说碑也被用作祭祀场合用来系绑牺牲用品的桩子。其三，墓穴四角牵引绳索的工具。《礼记·檀弓下》记载“公室视丰碑，三家视桓楹”，郑玄的注释解释道“丰碑，斫大木为之，形如石碑，于椁前后四角竖之，穿中，于间为鹿卢（辘轳）也”，也就是说碑被用来牵引绳索，将棺椁下放到墓穴中。这种较大的最终被不易腐坏的石头所取代并刻上死者生平，成为墓碑的雏形。
        在战国末期及秦朝一代，现代意义上的“碑”开始形成。一方面，被称为碑的竖石开始出现文字，具有了记事的效用；另一方面刻石的形制发生变化和发展，如泰山刻石“高三丈一尺，广三尺（《晋太康地记》）”，琅邪台刻石“高一丈五尺，下宽六尺，中宽五尺„„顶宽二尺三寸，厚二尺五寸（《山左金石志》”这表明秦石的刻石已经不同于直接在山崖石壁上雕刻，而是出现了人工雕磨的一定形制，是正在进化的碑。到了西汉，语用上的“碑”最终形成，这个词汇开始被用于描述刻石，原本的意义逐渐失落了。