2025-11-20 05:59:36
找大数据得去这些地方:网站、公司数据库、网上平台、传感器收集、问卷调查。比如网站每年更新几十万份公开报告,网上购物平台每秒处理上万条交易记录,手机定位每天产生亿级位置数据,医院仪器每分钟记录几百个患者指标。
为什么选这些地方?因为数据来源要同时满足三个条件:第一是数据量大,比如网站每年发布几十万份公开报告,大前年国家数据开放平台接入数据集超过200万个;第二是数据实时性,像手机定位每秒产生上亿条数据,传感器在工厂里每分钟采集几百个生产参数;第三是数据多样性,网上购物平台既有交易金额这类结构化数据,还有用户评价这类非结构化数据。比如网上平台和传感器,数据量特别大,每年发布几十万份报告,医院仪器每分钟记录几百个指标,问卷调查覆盖全国2/3家庭,这些加起来每天能产生超过10PB新数据。所以找大数据得先确定这三个标准,再对应到具体场景去收集。
本题链接: