古代，人们都把官府称作为衙门。为什么把官府称作衙门呢？这种说法从何而来呢？
由于猛兽拥有利牙，人们便用利牙象征武力，而“爪牙”则指代地位重要的将领。《诗经·小雅·祈父》记载：“祈父，予王之爪牙。”《后汉书集解》记载：“武帝钲四夷，有前后左右将军，为国爪牙。”由此可见，古代君王非常器重能力超群的将领，把他们视为左膀右臂，并让他们执掌国家军事和武卫。这些将领就是君王的爪牙——像猛兽的利牙一样。
君王为了突出自己的地位，常常将猛兽的爪牙摆放在办公和指挥场所。后来因为嫌麻烦，就在军营门外的营门两侧，用木头刻画夸张的兽牙作为装饰。这就是“牙门”。可见，“牙门”在古代是一个军事用语，是军旅营门的别称。
至于“牙门”何时演变为“衙门”，并成为官府的代称，没有详细的记录。但据史学家们研究，最迟应该出现在唐代。据唐人封演《丰氏闻见记》记载：“近俗尚武，是以通呼公府为公牙，府门为牙门，字稍讹变转而为衙也。”可见，当时官员都有点尚武精神。宋人周密《齐东野语》中也说：“近世重武，通谓刺史治所曰牙……俚语误转为衙。”
“衙门”一词在唐朝以后更加流行起来。到了北宋以后，人们几乎只知道“衙门”而不知道“牙门”了。以“衙门”为基础，又产生了一系列与官府相关的职业和物品的称谓，如“衙役”
“衙内”、“衙牌”等。到了近世和当代，“衙门”和“衙门作风”又逐渐演化成官僚主义的代名词。