羊自古以来都被人们视为吉祥温顺的象征，古人在祭祀的时候，羊是必不可少的祭品。在我国一些少数民族，羊还被视为神来祭拜。《孟子·梁惠王上》记载了发生在梁惠王身上的一段故事：一天，有个人牵着一头牛来到梁惠王面前。他看着那牛瑟瑟发抖，就对那个牵牛的人说：“你要把牛牵哪去啊？”“又新铸了几口大钟，要用它祭钟。”梁惠王说：“你看它吓得那样，我不忍心让一头无辜的牛做出牺牲，放了它吧。”“那我们不祭祀了吗？”“当然要祭，去牵头羊来祭祀。”有人说，这就是“替罪羊”的由来。事实上，“替罪羊”是个外来词汇。
《旧约》中记载说，上帝为了试探亚伯拉罕是否虔诚，就叫他杀掉儿子献给上帝。亚伯拉罕虽然心痛，但更忠于上帝，所以就将自己的儿子绑了准备祭献。这时，一位天使出现了，对他说：“上帝知道你的虔诚，前面林子里有只羊，你用它来祭献吧。”于是，亚伯拉罕就用羊代替儿子行了献祭礼。在基督教文化中，犹太新年过后的第十天是“赎罪日”，古犹太人会在这天举行祭祀。通常会选取两只公羊，宰杀一只公羊做贡献；另一只由大祭司手覆其额头，将犹太人一年的罪过宣读，意味着这只羊承受了犹太人犯下的所有罪过。然后将羊放逐旷野赎罪，最后将赎罪羊火祭。“替罪羊”一词便由此产生。后来，人们便把那些代别人受过的人称为“替罪羊”。