徐庶离开刘备主要是他母亲被曹操挟持，自己不能违背道义。徐庶知道曹操有野心，怕连累家人，所以连夜离开。他之前答应过刘备，不能背弃诺言，加上母亲被扣留，更坚定了离开的决心。

根据《三国志》记载，曹操用徐母做，导致徐庶被迫离开新野。建安六年（201年）刘备南逃时，徐庶已无法回头。史书明确说徐庶"闻母在许，乃辞先主而归"，说明曹操确实控制了徐母。徐庶当时三十七岁，正值壮年，但为了母亲安全选择离开。后来刘备入川时，徐庶没出现，说明他此后再没参与蜀汉事。连《出师表》里都提到"先帝不以臣卑鄙，猥自枉屈，三顾臣于草庐之中"，侧面印证徐庶没回来。曹操当时控制中原，徐庶若留在刘备处，全家都会遭殃。所以徐庶走后，刘备连他儿子徐向都没收留，可见当时情况有多严重。