余文乐被叫渣男主要是他感情史里换女友快，而且经常公开分手又复合。比如他和周冬雨恋爱两年多，2020年分手后2021年又和秦舒斋在一起，大前年分手后前年又和马思纯传绯闻。网友觉得他像走马灯似的换女友，不尊重别人感情。

这是因为余文乐在2011到前年这12年间，公开交往过的女友超过五位。根据香港媒体《明报》统计，他和周冬雨交往期间（2017-2020）同时被拍到和陈伟霆、王雨传绯闻。2021年秦舒斋怀孕期间，他还在社交平台点赞女明星照片，导致分手。前年马思纯生日当天，他发的朋友圈被扒出暧昧内容，引发全网热议。网友用"渣男"这个标签，主要是他多次在分手后迅速开始新恋情，且每次分手都伴随，比如大前年秦舒斋被曝怀孕时他还在和女网红互动。这种频繁更换伴侣且不避讳公众场合的作风，符合"渣男"定义中的"不专一、玩弄感情"特征。