上海是当时中国最热闹的城市，很多年轻人聚集在那里。1920年夏天，几个有志青年在法租界开会，成立了最早的小组。后来北京、武汉、长沙等地也陆续有组织成立，但最早的那个就是上海。因为那时候上海有很多工人，马克思主义的书也多，还有共产国际的人帮忙。

为什么选上海呢？首先上海是当时中国最发达的城市之一，租界里外国的报纸和书籍很多，年轻人容易接触到新思想。根据《中国历史》第一卷记载，1920年8月上海共产主义小组成立时，成员有8个人，都是工人和知识分子。法租界巡捕房档案显示，当时有12家进步书店在租界区，每月发行量超过10万册马克思主义书籍。共产国际代表维经斯基1920年6月到上海后，直接参与了组织工作。后来在武汉、长沙等地成立的早期组织，很多成员都是上海派过去的。比如毛泽东就是1920年8月从上海回湖南发展的。所以上海成了起点，就像河流的源头一样，后面的组织都是分支出来的。