小学教育最早是从汉朝开始的，那时候有太学教儒家经典，但太学主要教给十五岁以上的学生。后来唐朝把太学分成小学和大学，小学教七岁到十五岁孩子。宋朝正式设立官办小学，比如《宋史》说"七岁入小学，十五升大学"。不过那时候的小学不是现在这种学校，更多是私塾或官学附设。

宋朝的小学教育有明确记载，比如《宋会要辑稿》提到"诸州置小学四百余所"，每个州至少办两所。学生要学《三字经》《千字文》这些启蒙书，老师用竹板打手心纠正错误。明朝把小学叫"义学"，清朝叫"义学"和"义塾"，但都延续宋朝的体系。所以现在说的"小学"概念，最早成型是在宋朝，但教育机构雏形在汉朝就有萌芽。