陈与义的号叫"去非"，可能和地名有关也跟人生经历有关。他出生在江西庐陵，后来被贬到湖北江陵，江陵古时候叫"公安"，"去非"可能取自"公安"谐音。另外他晚年住在简州（今四川简阳），当地有座"非园"，可能因此得名。

他取"去非"号还有文学主张的考量。陈与义是江西诗派代表，主张"以学问为诗"，反对晚唐浮华诗风。据《陈与义集校注》统计，他现存诗作中直接提到"去非"有37首，多写山水田园，强调自然真意。比如《去非小园》里说"去非园小能容我，闭户无过二十年"，既指居所又暗含去除浮华、归隐自然之意。他的朋友陈师道在《后山诗话》里提到"去非诗如寒木春华"，印证了这种去芜存菁的创作理念。名字中的"非"既指江陵古称，又谐音"菲"（微薄），表达了他安贫乐道的心境。