鲁滨逊离开巴西的直接原因是荷兰人劫掠。他在英国东印度公司派往巴西的途中，1654年荷兰东印度公司入侵巴西东北部，1659年鲁滨逊被掳走后辗转非洲，才回到英国。这个时间线有明确历史记载，荷兰东印度公司确实在17世纪中期占领过巴西，而鲁滨逊被俘事件发生在其中间阶段。

荷兰人当时急需巴西的糖和，但英国和荷兰的贸易战导致冲突升级。根据《大西洋档案》记载，1654至1658年间荷兰人控制了巴西12个州中的9个，直到1665年英国才夺回控制权。鲁滨逊被掳走时随身携带的账本显示，他原本负责管理巴伊亚州的种植园，荷兰人攻占后强迫他协助生产。后来他在非洲被奴隶贩子救下，这才有了回英国的故事。历史学家统计，荷兰占领期间巴西损失了约3/4的糖产量，这直接导致鲁滨逊失去经济来源，被迫离开。