中国农业科技导报，：农业大数据与农产品监测预警许世卫中国农业科学院农业信息研究所， 农业部农业信息服务技术重点实验室； 中国农业科学院智能化农业预警技术与系统重点幵放实验室， 北京摘要： 随着海量信息的爆发， 农业跨步迈人大数据时代。在大数据的推动下农业监测预警工作的思维方式和工作范式发生了根本性的变化农产品监测预警的分析对象和研究内容更加细化、数据获取技术更加便捷、信息处理技术更加智能、信息表达和服务技术更加精准。伴随大数据技术在农产品监测预警领域的广泛应用， 构建农业基准数据、开展农产品信息实时化采集技术研究、构建复杂智能模型分析系统、建立可视化的预警服务平台等将成为未来农产品监测预警发展的重要趋势。在大数据时代农产品监测预警工作应该形成大思维开展大合作迎接大挑战。关键词： 农业大数据； 农产品监测预警； 变革； 发展：中图分类号文献标识码： 文章编号；：，，：； ； ；近年来随着物联网、云计算、移动互联、新的发展机遇， 数据驱动决策的工作机制悄然形、遥感及地理信息技术等成， 将极大地改变农产品监测预警工作方式， 引起的飞速发展农业数据呈现海量爆发趋势农业跨农产品监测预警工作模式的根本变革。步迈人大数据时代。大数据成为和物联网、云计算、移动互联网同样重要的技术和趋势。搜集数农业大数据时代的农产品监测预警据、使用数据已经成为各国竞争的一个新的制高点⑴。大数据也为农产品监测预警工作带来了农业大数据是大数据在农业领域的应用和延收稿日期接受日期基金项目： 农业部项目（ ； 农业部农业信息预警专项资助。作者简介： 许世卫研究员博士博士生导师， 研究方向为农业信息分析。5 期许世卫： 农业大数据与农产品监测预警展是开展农产品监测预警工作的重要技术支撑。据时代。截至年月， 我国网民中农村人“ 大数据”一词， 最早由阿尔文托夫勒在口占比， 规模达亿， 相比年增长年发表的《第三次浪潮》中提过。其后， 随着物万人。另据全球气候观测系统（联网、云计算、移动互联、智能终端等技术的发展， 统计， 每天新增超过大数据才迅速进人人们的视野。《》和的数据量； 笔者估计， 目前亩农田在一年《》杂志先后对大数据做了专题性介绍， 美产生的数据约为环境与土壤类传感器监测国等国家纷纷提出大数据研究与发展计划以及相每采集次数据市场监测数据统计监关战略大数据一夜之间成为广泛关注的焦测数据农情视频监测数据） 。农业每年还开展点。大数据的兴起， 在数据来源、数据规模、数据大量的统计调查， 产生大量的数据。类型、数据处理方式和数据思维等方面发生了显根据农业的产业链条， 目前农业数据主要集著的改变， 为农产品监测预警发展提供了重要的中在农业环境与资源、农业生产、农业市场和农业基础支撑。管理等领域。农业自然资源与环境数据主要包括土地资源数据、水资源数据、气象资源数据、生物士士丨丨士粉捉曰碰八了资源数据和灾害数据。农业生产数据包括种植业允竟何为农业大数据？ 农业大数据是融合了“农业地域性、季节性、多样性、周期性等自身特征立广⑷ 也、俯… 来丨丨夕钱数据包括良种丨曰息、地块耕种历史丨曰息、田曰息、播种信息、农药信息、化肥信息、农膜信息、灌在价值， 并难以应用通常方法处理和分析的数据皿集合。它不仅保留了大数据自身具有的规模巨大自，、类型多样（ 、价值密度低、■、桂说由古息、圈舍环境息、疫情情况等。农业市场数据包、处理速度快（ 、精确度咼尤士力林， 人访，丨士丄！括市场供求目息、价格、生产资料市场旨息、；价格及利润、流通市场和国际市场信息等。《，使，农业内部的目息流得到了延展和深化管理数据主要包括国民经济基本信息、国内生产信息、贸易信息、国际农产品动态信息和突发事件信息等。农业大数据的来临使得全面、多维感知农业成为可能。第一大数据使得农业进人感知时代用总体替代样本成为可能。例如在传统农信业调查中， 只能是利用合理的抽样去无限接近总体用样本推断总体， 而现代信息技术使得直接面对农业客体全部数据成为可能。第二， 事物认知进人多维关联时代。每一种数据来源都有一定的数据局限性和片面性只有融合、集成各方面的原始数据， 才能反映事物的全貌， 事物的本质和规律往往隐藏在原始数据的相互关联之中。数据量的增大使得相关关系重要性凸显有时可以通过分析事物之间的相关关系， 得到意想不到的价值。例如谷歌的流感麵°、嶋搜索数据与相关性研究均是较好的事例， 农产品的播种面积和市中国是农业大国， 农业中存在着大量的数据。场行—通过■种子—量近年来， 随着我国农业农村信息化水平逐步提高，°现代化的信息技术和装备得到广泛应用高颗粒、农产品监测预警对大数据的需求日益迫切实时性数据呈指数方式增长， 农业跨步迈人大数农产品监测预警是对农产品生产、市场运行、1 6 中国农业科技导报卷消费需求、进出口贸易及供需平衡等情况进行全流。通过大数据智能分析技术将全面揭示信息流产业链的数据采集、信息分析、预测预警与信息发的流量、流向， 并对农产品全产业链的过程进行模布的全过程。农业大数据贯穿于农产品的产量形拟针对关键节点进行分析， 最终实现动态预警和成、产销流通和产品消费的整个过程， 大数据技精准调控（ 图。术、农业物联网技术将实时捕捉数据， 形成信息…大数据： 物联网眶弋麗？—…丨■ “’”■：信息流掲不过程模拟预警与调控图农业大数据与农产品监测预警中国的农产品生产区域广阔、产品种类繁多、年上半年又大幅度下降， 年再现波动。只有市场类型多样、产业链条细长不缺乏可收集的数充分利用及时、有效的信息才能化解市场信息的据但是缺乏精确和系统化收集数据的手段和收不对称， 防止市场剧烈波动频繁发生； 第三， 食物集数据的意识。目前的数据要么是缺失有待收安全事件频发， 急需全程监管透明化， 惩戒违规行集； 要么是数据准确性差， 经不起推敲和检验； 要为。年三聚氰胺事件、年海南毒豇豆事么难以公开共享。数据的滞后和缺失难以满足农件、年瘦肉精事件、年“ 黄浦江死猪”、产品监测预警工作实时精准的技术要求。湖南大米“ 镉超标” 等食品安全事件之所以时有农产品监测预警是现代农业稳定发展最重要发生， 与缺乏质量监管以及信息不足有很大的基础， 大数据是做好监测预警工作的基础支撑。关系。农业发展仍然面临着多重不安全因素， 急需用大数据技术去突破困境。第一农业生产风险增加， 大数据推动农产品监测预警全面变革急需提前获取灾害数据早发现、早预警。根据中国统计年鉴我国每年因灾损失粮食约万大数据是“ 人类社会物理世界信息社会”如果能提前预警， 将对我国粮食安全做出重要贡三元世界沟通融合的重要纽带其形成的信息献。像美国的公司利用其旗舰产品流贯穿于农产品生产、流通、消费各个环节。大数， 对年的气象历史观测数据， 基于据的发展正在改变着传统农产品监测预警的工作亿次计算进行天气分析、识别和预测， 最长可范式， 推动农产品监测预警在监测内容和对象、数提前生成冷热天气概率； 第二， 农产品市据快速获取技术、信息智能处理和分析技术、信息场波动加剧，“过山车” 式的暴涨暴跌时有发生，表达和服务技术等方面发生深刻变革。急需及时、全面、有效信息把握市场异常稳定市监测对象和内容更加细化场形势。以猪肉价格为例， 年上半年猪随着农业大数据的发展数据粒度更加细化，肉价格持续下跌， 年下半年出现暴涨， 农产品信息空间的表达更加充分， 信息分析的内5 期许世卫： 农业大数据与农产品监测预警容和对象更加细化。传统的农产品监测预警常常产品的质量风险和市场风险既是“ 产出来”的， 也存在“ 抓大放小”的问题抓住了粮、棉、油、糖等是“ 管出来” 的过去受制于信息监测手段和设备大宗农产品，而忽视了小宗鲜活农产品， 造成生的局限无法实现全产业链的监测预警， 而大数据姜、大蒜、绿豆等小宗产品价格“过山车” 式的波技术则突破了这一困局， 使得农产品的分析产品动，一度造成市场不稳， 因此， 市场环境下任何品涵盖大宗、小宗农产品监测预警内容从总体供求种都应当予以恰当关注。伴随移动信息获取手段向产业链、全过程监测扩展预警周斯由中长期监和设备的改进数据获取变得更加快速和便捷分测向短期监测扩展预警区域由全国、省域向市析对象也从“总体”监测向“细化” 监测转变。农域、县域、镇域， 甚至是具体的田块扩展表。表大数据时代农产品监测预瞀内容和对象的演变内容和对象初期当前监测预警形式常规监测监测热点踪实，■监，々“监测预警内容全产业链、全过程路测监测预警周期年度、季度月、旬、周、日、小时、分、秒，监测预警区域全国全国、省域、市域、县域、乡村、田块数据获取技术更加快捷集设备—“ 农信采”， 具有简单输入、标准采集、农业系统是一个包含自然、社会、经济和人类全息信息、实时报送、即时传输、及时校验和自动活动的复杂巨系统在其中的生命体实时的“ 生更新等功能。它嵌人了农业部颁发的个农产品长”出数据呈现出生命体数字化的特征。农市场信息采集规范行业标准大类种农产业物联网、无线网络传输等技术的蓬勃发展， 极大品以及相关指标知识库， 集成了、、、地推动了监测数据的海量爆发， 数据实现了由、等现代信息技术， 实现了市场信“传统静态”到“ 智能动态” 的转变。现代化的信息即时采集和实时传输， 目前已在天津、河北、湖息技术将全面及时有，的获取与，业相关气南、福建、广东和海南等省市广泛使用， 并在农业象信息、传感信、、位置儲、、流贿息、雜信、部农产目标浦麟试点細赚监测中推和消费信息， 全方位扫描农产品全产业链过程。在农作物的生长过程中， 基于温度、湿度、光照、降°雨量、土壤养分含量、等的传感器以及植物生信息处理分析技术更加智能长监测仪等仪器能够实时监测生长环境状况； 在在农业监测预警领域我国各部门已经建立农产品的流通过程中， 等定位技术、射频识了一些大型分析系统。如农业部的农产品监测预别技术实时监控农产品的流通全程， 保障农产品警系统国家粮食局的粮食宏观调控监测预警系质量安全； 在农产品市场销售过程中， 移动终端可统， 商务部的生猪、重要生产资料和重要商品预测以实时采集农产品的价格信息、消费信息， 引导产预警系统新华社的全国农副产品和农资价格行销对接， 维护市场稳定。如中国农业科学院农业情系统以及海关总署进出口食品安全监测与预警信息研究所研制的一款便携式农产品市场信息采系统等。许多系统在结构化数据处理上能力尚1 8 中国农业科技导报卷可， 但对于半结构化、非结构化数据的处理则比较智能化做到了覆盖中国农产品市场上的个欠缺。在大数据背景下， 数据存储与分析能力将主要品种， 可以实现全天候即时性农产品信息监成为未来最重要的核心能力。未来人工智能、数测与信息分析， 用于不同区域不同产品的多类型据挖掘、机器学习、数学建模、深度学习等技术将分析预警。未来农产品监测预警将在获取手段、被广泛应用， 以等平台为支撑的应用平台记录方式、信息管理、分析方法、分析速度、分析主分析将成为主流， 我国农产品监测预警信息处理题和结果判断上变得更加智能尤其是在分析方和分析将向着系统化、集成化、智能化方向发展。法上， 将由过去侧重专家经验判断为主向重视数如中国农产品监测预警系统（ 据分析、模型分析以及计算机模拟与智能判断相结合的方向转变（ 表。已经在机理分析过程中实现了仿真化与表智能信息分析预瞀与一般信息分析预警的区别一般信息分析预警智能信息分析预警赴而午曲荆制太■ 电子监控仪、录音笔、射频扫描、、、等获取手段典型调查、头地访问，广记录方式人工统计录人调查问卷访谈记录，动传输、型光电存储介质、，型数据，务器等入工与■ 言、分析模型分析模型与计算智能相结合巧，速度』正常、及时实时、同步结果判断模型结果以专家判断为主智能化模拟、智能判断气“，主， 较广泛主题更明确表达和服务技术更加精准可视化技术的发展使得数据分析的主要流程在大数据的支撑下， 智能预警系统通过自动和结果能够得到更好的呈现和展示。我国具有多获取农业对象特征信号将特征信号自动传递给样的农产品市场、繁多的农产品品种、差异化的农研判系统研判系统通过对海量数据自动进行信产品区域要想直观显示相当困难而大数据技术息处理与分析判别， 最终自动生成和显示结论结则可以利用标签云（ 、历史流（果， 发现农产品信息流的流量和流向， 在纷繁、空间信息流（ 、热力的信息中抽取农产品市场发展运行的规律。最终图等更直观可视的展示农产品市场的变化。这些形成的农产品市场监测数据与深度分析报告， 将技术已经在其他领域得到应用如百度公司利用为政府部门掌握生产、流通、消费、库存和贸易等百度地图热力图和大数据挖掘技术制作了中国产业链变化、调控稳定市场提供了重要的决策的“ 春运迁徙图”， 展示了一副全程、动态、即时、支持。直观的人员流动图全面展示了人口大迁移的轨5 期许世卫： 农业大数据与农产品监测预警迹特征和春节出行特征。农业领域的表达和服务多、面散的环境， 研制市场信息移动监测设备， 将要在大数据共性技术的基础更多的融入农业本身有助于解决农产品市场信息即时获取困难的问的特性只有这样才能使农业的服务和表达更加题； 研究市场交易混沌场景下的信息识别技术将精准。有助于实现农产品市场信息流的有效捕捉与拆分； 研究市场信息流的定量测度技术， 将有助于解大数据时代农产品监测预警的发展决农产品市场信息流自动引发调节的盲目性问趋势题。未来随着这类技术和设备的研发和推广， 农产品信息的采集和监测将更加实时化、精准化。大数据时代的来临， 为农产品监测预警工作构建大型模型罕统增强分析智能化数細处翻分腿大麵时代的核心能在数据标准、采集工具、分析能力、表达方式等方面力。当前数据分析挖掘的速度已经远远落后于数向标准化、实时化、智能化和可视化的方向发展。据产生的速度。传统的数据分析处理方法巳经力构建农业基准数据， 推动数据标准化量不足未来大数据处理分析将变得更加智能。统一数据标准， 构建农业基准数据， 是开展农针对农产品监测预警构建大型智能模型系统， 是产品监测预警工作的前提。农业基准数据是指以未来解决大数据条件下分析预警的关键。一是处农业信息的标准和规范为基础， 以现代信息技术理方法将更加智能。数据的处理将从处理结构化为手段收集并整理的产前、产中、产后各环节的数据向处理更多的非结构化数据、从处理单一数基础精准数据。以农产品分类为例， 世界海关组据集向迭代增长数据集、从批处理向流处理转变；织制定有《商品名称和编码协调制度（ 》， 联二是数据算法将更加趋于自适应和自识别。传统合国统计委员制定了《联合国国际贸易标准分类的数据分析方法如机器学习、数据挖掘和统计分》。我国也制定了《全国主要产品分类和析将不能完全胜任大数据智能化、实时性的要求，代码》（ 、《统计用产品分类目个性化推荐算法智能模型库、算法库将成为大数录》、《农产品全息市场信息采集规范据分析的重要方向； 三是基于云计算的“ 跨域关》等标准， 但是各种标准和规范中对农产联将有助于发现数据价值。云计算大大提升了品的分类和定义不一致， 导致数据无法有效衔接数据分析速度， 未来大数据与云计算结合将成为和比较。所以亟需设定数据的采集、传输、存储重要的趋势， 不同领域数据集的跨域关联有助于和汇交标准构建农业基准数据库。对数据采集发掘农产品各个环节的痕迹从凌乱纷繁的数据的内容、方式、时间、地点’ 对数据传输的速率、方背后找到农产品生产、流通和消费的轨迹把“ 大式、冗余和编码标准， 对数据存储格式、存储方式、数据” 变成“ 小数据”， 形成反映事物本质规律的存储安全、数据结构汇交方法以及数据汇交内容、“最小数据集”。汇交分类、汇交范围等制定标准和规范’ 只有这丄搭建预瞀服务平台促进展示和表达可视化样’ 才能够保证农业数据分析与应励顺畅。市场信息不对称直是影响农产品市场稳定开展数据获取技术研究， 推进监测实时化的重要因素。信息服务水平落后是其发生的重要物联网、移动终端、智能穿戴设备开始在农业原因农民面对纷繁的市场信息“ 看不见、听不的各个领域应用， 它们配有独特的标识符具有自懂、用不上”， 结果经常造成盲目生产农产品滞动记录、报告并接收数据的能力。根据的数销频繁出现。“ 人一信息空间一农业” 三元世界据， 现在可联网设备或物件的数量正接近交织在一起而大数据提供了农业领域中具体对亿台， 其中亿台） 已经能够连接并通过互象在信息空间中的数据映像。未来通过搭建农产联网通信。到年， 连接设备的数量将增长到品监测预警服务平台， 将多维度可视化模拟、标签亿部。未来通过在农产品田头市场、产地市云智能聚类、信息图表等技术嵌人这个平台通过场、销地市场等布设移动监测设备， 可以实时捕对信息流动、信息传播、价格传导等的可视化模拟捉、拆分、整合农产品信息流。针对农产品市场量与展示， 来寻找到农产品市场信息流动的普适规2 0 中国农业科技导报卷律逐步将信息空间这个黑箱透明化从根本上解决不对称问题’ 使得生， 、管理者二消费者舍数据时代： 生活、工作与思维在柄息的传播中更好的了解彳目息、利用丨目息和享的大变革杭州浙江人民出腿，受信息。涂子沛大数据正在到来的数据革命南宁： 广西师范大学出版社，孟小峰， 慈祥大数据管理： 概念、技术与挑战计算机研展里究与发展，：大数据之“ 大”， 并不仅仅在于其“ 容量之裏：小” 科工小女口丨丨斤湖：丨讲敬丁此高士姑甚、王珊， 王会举， 覃雄派， 等架枸大数据： 挑战， 现状与展大， 对于农产品预警工作而曰， 更大乂计算机学报， ：在于从大数据中形成大思维、开展大合作、构建大：平台、获得大发展。做好农产品监测预警工作，一。，是要加快思维转换。中联状况统计报告贈测预警模式， 形成数据计算思维、关联思维和跨界思维；二是要加强协同合作农业各个领域专家和产业体系专家要提炼领域核心问题和关键指标，° ，同计算机人员密切交流、协同合作， 创新分析工具和开放环境， 实现监測预警工作的大合作；三是国张崇， 吕本富， 彭赓， 等网络搜索数据与的相关性家农业有关部门应该积极行动， 制定标准和规范，研究管理科学学报， ：开展关键技术攻关与创新， 培养交叉人才队伍， 构」，建具有中国特色的农产品监测预警体系， 搭建大， ：数据支撑下农产品监测预警工作大平台。针“ 大数据”将来可帮助预测未来如天的天气情况对农业数据问题， 实施农业“ 数据工程”， 解决农‘李国杰程学旗大数据研究： 未来科技及经济社会发展的业生产上营、目理中的诸多数据问题， 矢破数据重大战略领域—大数据的研究现状与科学思考中国困境形成数据力量， 为推进现代农业发展发挥支科学院院刊， ，撑作用与此同时’ 在大数据环境下农产预警许世卫我国农业物糊发展现状及对策〗中国科学院也面临大变革、大挑战和大困难。我国农业领域院刊，：大数据的发展在理念认知度、概念转变、基础设施、应用推动、技术研发、人才培养、资金投人、组余欣荣关于发展农业物联网的几点认识中国科学院织管理和安全隐私等诸多方面， 与国外还有一定院判， ，的差距， 数据公幵、数据收集体制、数据应用模式、数据安全状况仍然面临巨大的挑战。如咽，许世卫， 张永恩， 李志强， 等农产品全息市场信息规范及参考文献分类编码研制中国食物与营养，，：汪洋谈大数据：阿尔文托夫勒第三次浪潮」北京新华出版社，， ：许世卫农业信息科研进展大数据与农业监测预警北京： 中国农业科学技术出版社，科学研究的第四范式