中国古代的高等学校，可以追溯到公元前2000多年。如虞舜之时即有上庠，“上庠”即“高等学校”的意思。在中国古代，类似于大学的高等教育机构有国学（太学、国子监）以及后来的高等书院等，是指聚集在特定地点，整理、研究和传播高深领域知识的机构。创办于中国汉武帝元朔五年（公元前124年）的长安太学，是目前世界上最古老的学府。北宋初年建立在江南的岳麓书院、石鼓书院和白鹿洞书院，论起资格来，并不比牛津、剑桥等西方名校逊色。
不过，中国古代的高等学校和西方现代的大学存在差别，尤其官办学校以培养治理政府的仕人及从事文化教育的文人为主，学科上自然科学尤为缺乏，所以到近代整个的传统教育体系都面临着转型、革新。
湖南长沙的岳麓书院，属于中国传统的私立学校，创建于北宋（976年）。嗣后，历经元、明、清各代而坚持办学，但还不是现代意义上的大学；至清末（1903年）改为湖南高等学堂，尔后相继改为湖南高等师范学校、湖南工业专门学校，1926年正式定名为湖南大学至今，千年风雨，学脉绵延，弦歌不绝，故世称“千年学府”。
圣约翰大学创立于1879年，是19世纪末20世纪初中叶在上海运行的一所高等教育学府，是在华办学时间最早、最久的一所教会学校，也是中国第一所真正意义上的现代大学。其原校址位于现在的上海华东政法学院。
1895年创建于天津的北洋西学学堂（1896年更名为北洋大学堂，1912年改名为北洋大学校，1913年又改称国立北洋大学，解放后改称天津大学），自一开创就是名符其实的大学，并以高水平的新式大学面目出现，援照美国模式办学，是中国第一所自办、官办大学。
1898年创建于北京的京师大学堂，1912年改名为国立北京大学，则是中国第一所中央大学、第一所国立综合性大学。她当时既是全国最高学府，又是国家最高教育行政机关，行使国家教育部职能，统辖各省学堂。北京大学还是中国最具偶像价值的大学、中国最着名的大学、中国大学的代表。