欢迎访问一起赢论文辅导网
硕士论文
当前位置:首页 > 硕士论文
大数据在智慧农业中研究与应用展望
来源:一起赢论文网     日期:2015-10-27     浏览数:5221     【 字体:

大数据在智慧农业中研究与应用展望孙忠富1, 杜克明1, 郑飞翔1, 尹首一2( 1. 中国农业科学院农业环境与可持续发展研究所,北京100081; 2. 清华大学微电子学研究所,北京100084)摘要:“大数据”是继物联网、云计算之后信息技术产业又一次重要的技术变革,已成为数据挖掘和智慧应用的前沿技术,科技已经进入了“大数据”时代。阐述了大数据发展的背景、大数据与物联网等的关联、大数据基本内涵和关键技术等,并结合农业特点,分析了大数据在农业上的需求、主要应用领域及其在智慧农业中的关键地位。最后针对我国农业大数据和智慧农业未来发展,提出了的一些建议和思考。关键词大数据农业大数据智慧农业物联网云计算关系型数据库doi: 10. 3969 /j. issn. 1008-0864. 2013. 06. 10中图分类号: S126 文献标识码: A 文章编号: 1008-0864( 2013) 06-0063-09Perspectives of esearch and Application ofBig Data on Smart AgricultureSUN Zhong-fu1DU Ke-ming1ZHENG Fei-xiang1YIN Shou-yi2( 1. Institute of Environment and Sustainable Development in AgricultureChinese Academy of Agricultural SciencesBeijing 100081; 2. Institute of MicroelectronicsTsinghua UniversityBeijing 100084China)Abstract: Big data has been considered as an important technological change after the internet of things ( IOT) andcloud computing in the field of modern information technologywhich has become a frontier technology in data miningand smart applicationsthereforethe development of science and technology is coming into the era of big data. Thispaper firstly introduced the background of the big data together with presenting the relation between big data and IOTbasic connotation and key technologyand then analyzed the demands of big data in the main applicable fields and itsinfluence on the smart agriculture. Finallysome suggestions and thinking were put forward for the future developmentof big data and smart agriculture in ChinaKey words: big data; big data in agriculture; smart agriculture; internet of things; cloud computing; DBMS人类进入21 世纪,网络信息技术得到空前发展,成为全球最具活力和影响力的高科技产业。各种通信技术与计算机技术深度融合,渗透并改变着人类社会的各个方面,带来的科技进步和影响无与伦比。在20 世纪80 年代,我国PC 机开始进入民用90 年代应用互联网( internet,又称因特网到目前无处不在的移动互联网,大约经历了30 年,社会已经进入网络化时代,“网络就是一切”的理念已经深入人心。近年来,移动互联网、智能传感网、物联网和云计算等新概念层出不穷,新技术发展日新月异,数据信息和知识呈爆炸式增长,大数据时代正在悄然走来。在人类发展史上,基于土地资源发展起来的农业产业为自身生存提供了保障也基于地球矿产资源为主发展了工业,极大地延伸了改造世界的体能,提升了生存能力、拓展了生存空间。随着社会发展对数据和信息资源的依赖不断增加,被誉为“新型矿源”的智能产业正在兴起,这是利用物理世界之外的基于信息和脑力资源发展起来的新兴产业,通过充分利用这些资源,将极大地扩展人类的智慧,大幅度提高人类传播知识、认知和改造世界的能力。信息技术与网络通信技术的融合,极大地促进了互联网、移动互联网、物联网、云计算的快速兴起,以及各种移动智能终端的快速普及和广泛应用,人类社会获得的数据与信息增长达到了前所未有速度。作为当今世界发展最快的移动互联网,因其明显的技术和使用优势,目前已拥有最为庞大的用户群体,成为市场潜力最大的应用领域。有关统计资料表明,截至2013 月底,中国网民规模达5. 91 亿,其中手机网民规模达4. 64 亿,相比2012 年底增加4 379 万人。网民中使用手机上网的人群占比提升至78. 5%,其中农村人口占比为27. 9%,规模达到1. 65 亿。中国新增网民规模为2 656 万人,其中新增农村网民占比54. 4%,达1 445 万人,成为中国互联网的重要增长动力[1]。物联网和云计算等技术不断普及和延伸应用,正成为产生数据与信息的重要源泉,智慧系统在各个领域的应用,必将引发数据爆发式的增长:数据增长速度越来越快、容量越来越大、数据结构越来越复杂、冗余数据越来越多、数据处理和应用越来越困难等。正是随着这种疾驰发展的趋势,一个崭新的概念应运而生———“大数据”,其被业界誉为信息技术的又一次浪潮,正在给技术进步和社会发展带来全新的方向谁把握了这一方向,谁就有可能获得更大的成功。甚至有媒体和专家称,“大数据”是继云计算、物联网之后IT 产业又一次颠覆性的技术变革,对于社会的管理、发展的预测、企业和部门的决策,乃至对社会的方方面面都将产生巨大的影响。2012 22 日,奥巴马政府宣布投资亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家战略,并将大数据称之为未来的“新石油”[2]。随着“大数据”概念的日益盛行,有媒体认为2012 年是大数据的“启蒙之年”,2013 年则称为“大数据元年”。从大数据春潮涌动和跃跃欲试的竞争中,人们越发感到信息化技术已经从数字化和网络化时代,逐步向大数据和智能化时代迈进,新的IT 产业化浪潮正孕育着信息技术的新一轮重大技术突破。大数据概述1. 大数据的基本内涵首先要区分的是,“大数据”和“数据大”是完全不同的概念。严格来讲,大数据也并非是一个全新的概念,最早是由著名未来学家阿尔文·托夫勒在1980 年提出的,他在《第三次浪潮》一书中,将大数据称为“第三次浪潮的华彩乐章”。不过“大数据”的概念在互联网信息技术行业中逐步流行并被社会公众和媒体所关注大约是在2009 年[3]。但大数据概念的产生,的确是伴随着近年来信息爆炸式增长疾驰而来的,对其理解和认识也不断深化。尤其是随着近年来“移动互联网”、“物联网”和“云计算”等新一代技术的涌现,对“大数据”的认识不断飞跃和升华。在20 世纪90 年代,“大数据”概念只是针对一些在一定时间内无法用传统方法进行获取、管理和处理的那些数据集合的统称。美国《自然》杂志在2008 月进一步提出了大数据的概念[4全球知名的咨询公司麦肯锡( McKinsey)2011 月份发布了一份关于大数据的详尽报告———《大数据未来创新、竞争、生产力的向导》,对大数据的影响、关键技术和应用领域等都进行了详尽的分析[56; 2013 月, IBM 在北京发布了白皮书《分析大数据在现实世界中的应用》,进一步解析和定义了最新的大数据的“4V”理论,即所具备的个基本特征规模化( volume) 、多样性( variety) 、高速率( velocity) 和真实性( veracity) 7]。目前还有另一种非常相似的4V 理论,其前面的3V 内容与IBM 定义相同,只将第项变成了有价值( value) 。若综合二者,也可形成大数据所谓的“5V”理论。另外,国内一些知名媒体提出大数据呈现出“4V + 1C”的特点[89],除了对“volume”、“variety”和“velocity”赋予了一些新的释义,又提出第4 V———“vitality”,即数据可动态持续的不断更新与扩充,响应速度快,时效性强,有广泛应用的活力等关于对1C———“complexity”的描述,主要是指鉴于数据结构的复杂,需要有新的技术方法,来满足异构数据统一接入和实时数据处理等方面的需求。综上可见,关于大数据的概念目前尚没有非常统一的定义,表述方式也不尽相同,但其在核心和实质内容的表述上还是基本一致的。大数据特指,不仅数据容量大,尤其是因为数据形式多样化、非结构化特征明显,导致数据存储、处理和挖掘等异常困难的那类数据集,特别是其中必然蕴含着巨大的应用价值。有资料显示,在实际应用中有超过85% 的数据属于非结构化数据。多年来,人们熟悉的主要是基于结构化数据的分析与64 中国农业科技导报15 卷应用,关系型数据库一直主导着IT 应用。典型的半结构化数据包括电子邮件、文字处理文件以及大量发布在网络上的新闻等,以内容为基础而非结构化数据广泛存在于社交网络( social networkservicesSNS) 、互联网、物联网、电子商务之中,如办公文档、文本、XMLHTML、各类报表、图片、图像和音频/视频信息等。获取、存储、挖掘处理上述非结构化或半结构化的数据,正是大数据所面临的重要挑战。1. 大数据带来思维方式的转变伴随着SNS、移动计算和传感网等新技术不断产生,进入大数据时代的人们,思维方式将发生重要的变化。研究与分析某个现象时,将依赖使用全部数据而非抽样数据不需要一味地追求数据的精确性,但要适应数据的多样性、丰富性,甚至接受错误的数据也很有价值应用大数据技术之所以存在巨大的魅力,其关键是使人们有可能从支离破碎的、看似冗余和无序的、毫不相干的海量数据矿渣垃圾中抽炼出真知烁见,从中产生大智慧。随着大数据技术的发展,人们的思维方式、工作方式等必将发生重大变化。人们通过对大数据的分析,更容易获得或更关注的是事件产生的结果是什么,而不是产生的原因为什么。对数据之间的相关性分析,胜于对因果关系的探索,当然对相关性有足够的了解,必然促进对因果关系的认知。李国杰等[10]认为,大数据继承了统计科学的一些特点,但又不同于传统的逻辑推理研究,而是对数量巨大的数据做统计性的搜索、比较、聚类和分类等分析归纳。或许正是由于统计方法层面对大数据处理时的“力不从心”,才促使数据挖掘和大数据处理技术在商业领域有了更广泛的应用。企业的目标是追逐利润,一般而言,企业收集和处理大数据,不需要按照“从数据到信息再到知识和智慧”的研究思路,而是走“从数据直接到价值”的捷径。大数据应用最典型的案例是谷歌公司的“流感预报”,他们对基于每天来自全球的30 多亿条搜索指令设立了一个系统,这个系统在2009 年甲型流感爆发之前就开始对美国各地区成功地进行“流感预报”和“谷歌流感趋势”服务。阿里巴巴也有海量的数据,应用大数据技术,整合阿里旗下所有电商模式的“基石”———形成大数据平台,成为大数据商务应用的典范。大数据的这种特性必然更适合在农业上的应用农业生产周期长、影响因子复杂,要了解其因果关系也许十分困难,但通过大数据技术可获得相关信息,指导如何按照需要去实施,就可能保证农业的正常生产与发展。可以预料,未来的农业大数据将发挥更大的作用,基于当地多年的气象信息、作物与土壤信息、管理信息、市场流通与消费等信息,经过数据统计、案例对比和模式判别等,将提供更加智慧的农业服务。大数据的量级分析网络信息化时代,数据正以惊人的速度激增,到底增长速度有多快,从一些资料分析中可略见一斑。人类社会从出现文明到2003 年,总共创造出5EB 的数据: 1 024KB = 1MB,以此类推为GBTBPBEBZBYBDBNB,但是现在仅用2 d 就创造出相同的数据量。到2012 年全球数字数据量增长至2. 72ZB,并以每两年翻番的速度增长,到2015 年将达到8ZB 11]。目前对于大数据的规模,公认的标准是单一数据集的大小至少在几十个TB 到几个PB 之间。TB 级和PB 级数据量究竟有多大淘宝网单日数据产生量超过50TB,存储量超过40PB,中国联通用户上网记录每月一万亿条,对应数据量约300TB12]。另据互联网上发布的信息表明,1d之中,全球互联网产生的全部内容大约为800EB,能够刻满1. 68 亿张DVD; 全球所发出的电子邮件有2 940 亿封全球互联网发出的社区帖子达200 万个,相当于《时代》杂志770 年的文字量。国际数据公司( IDC) 的研究结果表明, 2011 年的全球产生的数据量高达1. 82ZB,相当于每人每年产生200GB 以上的数据。IBM 的研究表明,整个人类文明所获得的全部数据中,有90% 是过去两年( 2011 - 2012 内产生的[13]。随着时间的推移和科技的发展,以及物联网、移动互联网和SNS的兴起,每年产生的数据量都以几何级数增长,到2020 年,全世界所产生的数据规模将达到今天的44 倍。据IDC 预测,至2020 年全球以电子形式存储的数据量将达32ZB,以120 PB ( 1. 2ZB) 数据为例,如果将其刻录在DVD 上,再将这些盘片堆叠起来,可从地球到月球垒一个来回[14]。期孙忠富等大数据在智慧农业中研究与应用展望65夏于等[15]目前正在研发的针对全国范围的小麦苗情物联网远程监控系统,已建设上百个监控站点,如果按100 个站点计算,每天产生大约1TB 的数据量视频和图像系统全天启用并记录10 d 就基本达到了大数据的下限范围十几个TB) ,如果发展到1 000 个监控站点项目发展的必然要求1d 之内就达到了大数据量级标准的下限。数据量的爆发式增长也带来了数据储存方式的革命,在2000 年,数字化储存的信息只占全球数据量的1 /4,而在2007 年,所有数据信息中只有7%是储存在报纸、书籍、图片等媒介上,其余全是数字数据。如今的存储成本大约是10 年前的1%,低成本高性能的存储设备,为大数据存储提供了基本保证[3]。产生大数据的主要原因,一方面是人类获取信息能力的大幅度提升,尤其是自动化数据获取能力的大幅度提高另一方面是人类认知活动和探索的范围领域不断拓宽。信息化时代一个显著特征就是自动化,包括数据产生和处理的自动化等,把人类从简单、繁琐和重复的任务中解脱出来,用以解决需要创新的问题。以当今各类农业监控系统为例,只要在现场安装各种各样的传感器包括图像和视频,就可自动地、高频度、全天候不间断地收集植物生长环境的温度、湿度和病虫害等信息,对植物的生长进行精准的监控和管理,数据量呈惊人速度增长。其实以上只是大数据的冰山一角,归结起来产生大数据除了由于自动化技术的提高,也因为其覆盖了众多领域和行业的需求①科学研究产生的数据,包括天文学、生物学和高能物理等诸多学科②智慧管理智能政府、智慧城市、智慧交通和智慧农业等③移动通信和互联网运营商或基于提供的各种服务④互联网企业包括SNS、微博、视频网站和电子商务等。在Web2. 时代,每个人不仅是信息的接受者,同时也是信息的产生者。全球每秒钟发送290 万封电子邮件每天会有2. 88 的视频上传到Youtube; Twitter 上每天发布的信息超过千万条每天亚马逊会产生630 万笔订单; 2012 年“双十一”活动开始后5min 内,天猫和淘宝网就有1 000 万网民加入了抢购[16谷歌公司每天要处理24PB 的数据,百度、新浪、腾讯、阿里巴巴等国内互联网巨头每天产生的数据也以PB 量级计算。大数据关键技术综上所述,我们已经面临大数据复杂分析带来的挑战,大数据数量之大,结构之复杂,应用之广泛,用现有的软件工具和技术方法很难进行提取、存储、搜索、共享、分析和处理,对大数据技术的研究和应用势在必行。3. 关系型数据管理技术的困境为了从数据中获取有用信息、发现知识并加以利用,进行预测和指导决策,必须对数据进行深度的分析( deep analysis) ,而不是仅仅生成简单的报表。这些复杂的分析必须依赖于复杂的分析模型和工具。关系数据库技术经过了将近40 多年的发展,已成为一门成熟的、同时仍在不断演进的主流数据管理和分析技术[17]。关系数据管理的主流技术包括OLTP OLAP 应用,以及数据仓库等。其中OLTP 即是联机事务处理系统( onlinetransaction processing) OLAP—联机分析处理( on-line analytical processing) SQL 语言作为存取关系数据库系统的语言得到了标准化,经过不断扩充,其功能和表达能力不断增强。但是在大数据时代,面对海量的半结构化和非结构数据,关系数据管理技术丧失了优势,其主要原因是关系数据管理系统并行数据库的扩展性遇到了前所未有的障碍和瓶颈,不能胜任大数据分析的要求,难以依赖简单的技术进行分析和提取知识。关系数据管理的对象主要是标准化的结构化数据,即可以用二维表结构来逻辑表达实现的行数据,存储在数据库里,目前成熟的数据库大多都是结构化的设计。但如前文所示,在实际应用中非结构化数据逐步上升为主导地位,包括所有格式的办公文档、文本、图片、XMLHTML、各类报表、图像和音频/视频信息等等,所面临的挑战是必然的。3. 大数据关键技术大数据核心技术是基于存储的计算,从本质上来说,大数据主要解决的是海量数据搜集、存储、计算、挖掘、展现和应用等问题。也可以将其简单归纳为三个层面大数据的云存储计算资源虚拟化、大数据处理云计算模型和大数据66 中国农业科技导报15 卷挖掘各类算法库、模型库构建。从为用户服务角度,还应提供更多的应用功能①可视化交互分析引擎,提供启发式、人机交互、可视化数据挖掘新技术,海量数据挖掘高度人机交互功能②建立工作流引擎,为用户创建海量数据处理、分析流程提供图形化流程设计工具,自动执行用户创建的数据处理分析流程,提供资源调度及优化服务;③提供OPEN API 功能,提供数据挖掘平台与第三方应用系统的扩展接口等[16, 18]。目前国际上关于大数据的解决方案有多种模式,在应用领域和赢利模式上,谷歌、亚马逊、微软和VMware 在不同时间陆续推出各自的大数据方案。Hadoop 是谷歌大数据平台的开源实现,在大数据处理和应用中非常典型。Hadoop 是一种分布式系统平台,通过它可以很轻松的搭建一个高效、高质量的分布系统,而且它还有许多其他的相关子项目,也是对其功能的极大扩充,如ZookeeperHiveHbase 等。由于其开源特性,越来越多的应用在Hadoop 的基础上对其进行修改以适应自己的需要。Hadoop 分布式平台主要包括两部分,一是分布式文件系统( HDFSdistributedfile system) ,运行在商业硬件上,二是分布式计算模型—Mapeduce,二者缺一不可。另外,应用HBase( haddop database) ,可在Hadoop上建立一个高性能、高可靠性、可伸缩的面向列分布式存储系统,并使其在廉价PC Server 上搭建起大规模结构化存储集群成为可能[19, 20]。Mapeduce Hadoop 的核心组件之一,2004 年由谷歌公司最先提出的技术,其面向大数据的并行处理模型,具有扩展性好,鲁棒性高的优势。如果说属于关系型数据库的并行数据库具有查询效率较高等特点,是数据库发展的结晶,那么Mapeduce 在系统层面上解决了大数据分析平台的扩展性和容错性问题,是非关系型数据库的典型代表其以适合非结构数据处理、大规模并行处理、简单易用等突出优势,在互联网信息搜索和其他大数据分析领域取得了重大进展,已成为大数据分析的主流技术。因此越来越多的研究人员从性能和易用性方面对Mapeduce 进行改进,并通过Mapeduce 技术和并行数据库的融合,真正实现有效解决大数据的各种技术问题[21]。在上述关键技术基础上可以生成一系列应用或商业服务模式。针对所在领域,有适应自身需求的应用。从这个意义上说,大数据技术只有针对具体领域和问题的解决才有意义,不可能有统一的解决方案。但总体上在涉及到的核心技术,如数据的传输、存储、计算、挖掘、展现、开发应用平台等,具有普适一致性。大数据时代的到来对数据的存储、处理及分析提出了新的挑战,但总的发展趋势是通过分布式计算来解决“瓶颈”问题。分布式计算是指为了提升系统整体的性能,不能依赖提高单个节点性能的纵向扩展的方式,可通过增加系统内节点数目的横向扩展方式来达到计算和分析的目的,这意味着廉价的设备可参与大数据的各种计算任务。解决方案的核心是将存储、处理和分析等任务,通过分布式的方式分散到系统中各个节点上来,加快数据的存储、处理和分析的速度。农业大数据4. 农业大数据的内涵农业是产生大数据的无尽源泉,也是大数据应用的广阔天地。农业数据涵盖面广、数据源复杂。关于农业大数据,顾名思义,就是运用大数据理念、技术和方法,解决农业或涉农领域数据的采集、存储、计算与应用等一系列问题,是大数据理论和技术在农业上的应用和实践。农业大数据是大数据理论和技术的专业化应用,除了具备大数据的公共属性,必然具有农业数据自身的特点。通常所讲到的农业,实际上应涵盖农村、农业和农民三个层面,具有涵盖区域广、涉及领域和内容宽泛、影响因素众多、数据采集复杂、决策管理困难等特点。狭义的农业生产是指种植业,包括生产粮食作物、经济作物、饲料作物和绿肥等农作物的生产活动等,不仅仅涉及到耕地、播种、施肥、杀虫、收割、存储、育种等作物生产的全过程各环节,而且还涉及跨行业、跨专业、跨业务的数据分析与挖掘,以及结果的展示与应用,乃至整个产业链的资源、环境、过程、安全等监控与决策管理等。广义的农业生产是指包括种植业、林业、畜牧业、渔业和副业五种产业形式,均应该包含在农业大数据研究的范畴中。随着精准农业、智慧农业、物联网和云计算的快速发展要求,农业数据也呈现出爆炸式的增加,数据从存储到挖掘应用都面临巨大挑战。物联网期孙忠富等大数据在智慧农业中研究与应用展望67在农业各领域的渗透已经成为农业信息技术发展的必然趋势[22],也必将成为农业大数据最重要的数据源。大量的农业工作者和管理者,既是大数据的使用者,也是大数据的制造者。由于农业自身的复杂性和特殊性,农业数据必将从基于结构化的关系型数据类型,向半结构化和非结构化数据类型转变。相对于采用二维表来逻辑表达的关系型数据结构,农业领域更多的是非结构化的数据,如大量的文字、图表、图片、动画、语音/视频等形式的超媒体要素,以及专家经验和知识、农业模型等。大量事实已经证明,非结构化数据呈现出快速增长的势头,其数量已大大超过结构化数据。尤其是农业生产过程的主体是生物,易受外界环境和人的管理等因素影响,存在多样性和变异性、个体与群体差异性等,都决定了对数据的采集、挖掘与分析应用的难度。如何挖掘数据价值、提高数据分析应用能力、减少数据冗余和数据垃圾,是农业大数据面临的重要课题。4. 农业大数据的主要应用基于目前农业信息技术主要应用领域和产生大数据的主要来源分析,大数据的主要应用领域包括以下几个方面:①生产过程管理数据设施种植业、设施养殖业畜禽和水产等、精准农业等。提高整个生产过程的精准化监测、智能化决策、科学化管理和调控,是农业信息化的紧迫任务。②农业资源管理数据土地资源、水资源、农业生物资源、生产资料等。我国农业资源紧缺、生态环境与生物多样性退化,要在摸清家底的基础上,进一步优化配置、合理开发,实现农业高产优质、节能高效的可持续发展。③农业生态环境管理数据土壤、大气、水质、气象、污染、灾害等。需要进行全面监测、精准管理。④农产品与食品安全管理大数据产地环境、产业链管理、产前产中产后、储藏加工、市场流通领域、物流、供应链与溯源系统等。⑤农业装备与设施监控大数据设备和实施工况监控、远程诊断、服务调度等。在上述应用中,关键是农业环境与资源、农业生产过程、农业产品安全、农业市场和消费的监测和预测等。⑥各种科研活动产生的大数据,如大量的遥感数据,包括空间与地面数据大量的生物实验数据,如基因图谱、大规模测序、农业基因组数据、大分子与药物设计等。4. 农业大数据的主要任务基于大数据的理论和技术,不断推进农业大数据技术的创新与应用实践,结合国家农业现代化和农业信息化发展战略,突破农业大数据的一些关键技术,谋划和凝练一批农业大数据的示范和应用项目,将大数据提升到与物联网和云计算同等重要的地位,抢占大数据这一新时代信息化技术制高点,推进智慧农业不断发展。在市场经济条件下,农业的分散经营和生产模式,使得在参与市场竞争中对信息的依赖性比任何时候都更加重要信息和服务的滞后性,往往对整个产业链产生巨大的负面影响。由于市场经济的特点,农业生产很难在全国范围内形成统一规划,致使农业生产受市场波动影响颇大,而且农业生产很多方面是依靠感觉和经验,缺少量化的数据支撑。大数据时代,不仅可以通过建立综合的数据平台,调控农业生产,还可以记录分析农业种养过程、流通过程中的动态变化,通过分析数据,制定一系列调控和管理措施,使农业高效有序发展。4. 3. 优化整合农业数据资源我国农业信息技术在经历了多年的发展,研发了涵盖多层面、多领域的农业信息化系统,构建了很多不同级别、面向不同领域的数据资源,形成了庞大的信息资源财富。我国大量的涉农网站,汇集了很多信息资源。但由于体制和利益等原因,这些数据相互之间缺乏统一标准和规范,在功能上不能关联互补、信息不能共享互换、信息与业务流程和应用相互脱节,形成了所谓的信息孤岛。数据缺乏标准、难以共享,必然导致低水平重复建设、数据利用率低、信息资源凌乱分散和大量冗余等。基于云计算构架和大数据技术,整合数据资源、规范数据标准、统一标识和规范协议等,实现计算资源虚拟化建设,是消除数据鸿沟、发展农业大数据资源的关键所在,否则就构不成大数据,就会成为无水之源、无本之木,造成巧妇难为无米之炊的困境。通过构造虚拟化技术平台,实现IT 资源的逻辑抽象和统一表示,将在大规模数据中心管理和解决方案交付方面发挥巨大的作用,是支撑云存储和云计算系统的基石。68 中国农业科技导报15 4. 3. 农业大数据平台建设为了不断推进农业经济的优化,实现可持续的产业发展和区域产业结构优化调整,进一步推动智慧农业发展进程,需要全面及时掌握农业的发展动态,这需要依托农业大数据及相关大数据分析处理技术,建设一个农业大数据分析应用平台。在技术上,该平台应该基于先进的大数据系统框架,充分融合物联网在数据获取以及云计算在数据处理方面的技术优势,建设具有高效性、先进性和开放性的业务化应用平台,例如探索构建基于Hadoop + Map-educe 平台。结构上,该平台应具有良好的可配置性,满足资源扩展、业务流程的变化。平台应具有稳健的设计构架、良好的人机交互功能,便于一般技术人员开发使用。随着应用领域的拓宽、业务的发展、业务量的增加,系统也应该具有良好的扩展性和应用性。平台建设①针对所选择的优先发展领域,如智能农情苗情、墒情、灾情、病虫情监测、智能设施农业种植业和养殖业等,基于农业大数据相关技术,构建包括数据采集技术、存储技术、处理技术、分析挖掘技术、展现技术等一体化应用平台②基于大数据技术,研发智能化的决策支持系统,可提供大数据分析成果发布,决策管理信息发布,不仅可为科研院所、各级政府、涉农企业、社会公众等提供公共的业务服务,也可提供个性化的服务功能。系统技术和功能①通过规范数据接口和协议,实现各类相关数据库的交互访问②提供数据分析应用的算法库、模型库、知识库③能满足农业大数据研究的专业化和个性化需求,在数据采集、分析、发布等方面提供技术和方法支持④数据的浏览,对数据进行查询、展现和基础统计分析等初步应用⑤提供云存储和服务的功能等。通过专业化处理,对海量数据快速“提纯”并获得有价值的信息,最终为政府、企业乃至各种类型单位的决策和发展提供支持。农业大数据助推智慧农业近年来,相关业界的领先者们多次预言,大数据将引发新的“智慧革命”。从海量、复杂、实时的大数据中可以发现知识、提升智慧、创造价值。基于过去和不断产生的大数据,可以预测未来,这正是大数据最重要的价值所在。在大数据时代,数据就是一切,拥有数据就意味着拥有价值,就可以产生智慧。随着移动互联网、物联网、云计算的发展,人类注定被包围在数据的海洋里,现代世界的整体结构将越来越具备“智慧”特征,人类将具有更全面地感知和洞察世界的能力。但另一方面,也正由于面对每时每刻都在产生、纷繁复杂的巨量信息,每时每刻被淹没在数据信息的海洋中,致使常人和传统技术无法处理应对而成为数据的奴隶。这就需要人类与自然之间的信息沟通方式有进一步革新,通过新一代信息技术,更加“智慧”地挖掘信息、利用信息,对世界和他人作出更加“智慧”的判断与应对。“智慧地球”( smart planet) 的概念是2008 年美国IBM 公司正式提出的,此后不久则成为美国国家战略的一部分。“智慧地球”的核心理念是,要把传感器嵌入到各个领域的仪器装备中,实现所谓全面感知的“物联网”,进行智能决策管理。在此基础上衍生的有智慧农业、智慧交通、智慧电力、智慧城市、智慧政府、智慧国家,等等。毋庸置疑,智慧来自大数据,农业大数据产生农业智慧,大数据技术的应用必然促进智慧农业的发展。至于何谓智慧农业,因为涉及内容十分复杂,目前尚无公认的定义和统一的标准[23]。但综合多方资料与分析,“智慧农业”的核心内容可以归纳为以下几个方面①涵盖范围整个农业,是全部的而不是局部的,是全过程的而不是阶段性的;②技术手段主要是基于各种先进的信息与网络技术,包括感知、传输和智能处理等技术,实现以自动化生产、最优化控制、数字化与网络化服务、智能化决策管理为主要生产方式③整体目标实现高效、优质、节能、环保的可持续发展。“智慧农业”是个庞大的系统,或者说只是一个顶层的虚拟概念。其具体实现是由各领域的子系统组成,如智能设施农业、智能农情、智能植保、智能灌溉、智能市场管理等子系统。随着智慧农业不断深入,物联网、云计算、大数据和语义网络等先进技术将更多地得到应用。充分融合各领域知识库、模型库、运用推理、分析等机制,进行预测并提供智能化控制和决策管理,是智慧农业的关键所在。目前智慧农业的研究和应用,距离真正的智慧还相差很远,但千里之行始于足下,例如在设施期孙忠富等大数据在智慧农业中研究与应用展望69农业中,通过自动化网络监控系统,实时采集温室大棚内各种环境要素参数如空气温湿度、土壤温湿度、CO2、光照、露点温度等环境参数,自动开启或者关闭指定设备如灌溉、遮阳、通风、加温制冷等设备) ; 根据用户需求,既为设施农业综合信息提供自动监测手段,也能为环境自动化控制和智能化管理提供科学依据通过监测农田现场作物与环境信息、各种灾害信息等,就能更好地判断灌溉施肥适宜时间、及时发布预警信息、采取有效的防灾减灾措施。这些尽管都是智慧农业的初级应用,但的确或多或少影响了农业生产方式的变革。农业作为中国的基础产业,面临着农产品需求不断增加、资源紧缺、气候变化导致灾害频发、生态安全脆弱、生物多样性持续下降等严峻挑战,夯实以农业物联网、云计算技术为核心的农业信息化基础,提升以大数据为支撑的农业信息化服务,开拓智慧农业新局面,实现农业现代化和信息化的跨越式发展。展望国家十八大提出了“四化同步”的发展要求,并强调要调结构转方式,要抛开粗放型的管理,走向精细化的竞争,这是世界发展的潮流。2010 年国务院出台《关于加快培育和发展战略性新兴产业的决定》,物联网和云计算等新一代信息技术被纳入国家“七大战略新兴产业”。国家工信部发布的物联网“十二五”规划上,把信息处理技术作为四项关键技术创新工程之一列入其中,其中包括了海量数据存储、数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。总的来讲,大数据作为新一代信息技术,在农业领域的应用任重道远。大数据不仅充满了挑战和未知,人们也充满了更多期待和憧憬。大数据涉及的内容十分浩瀚,可分成大数据科学、大数据工程、大数据技术、大数据应用等领域。目前在大数据技术和大数据应用方面关注的较多,而相比之下大数据科学和大数据工程问题尚缺乏足够的重视。农业大数据属于技术和应用层面,但同时也需要不断吸收大数据的科学思想、引进大数据的最新研究成果,才能保持农业大数据的生命力。农业数据是非常复杂的,决定了农业大数据的研究和应用更具有复杂性和挑战性。具体表现在数据源分布广、可控度低、受干扰大、类型多样、结构复杂和获取困难等。另外,农业生物个体和群体的差异、“点”数据和“面”数据的差异等,均导致数据采集和积累效率低、数据质量差等不利因素,因此更需要长时期的数据积累———形成大数据,才有意义。从各种各样类型的海量数据中,快速获得有价值的信息,对农业发展的各种过程、农业环境和资源、产业链和产品市场等进行科学预测,为科学管理和调控提供支持,是农业大数据的核心任务。移动互联网、物联网和云计算发展的必然结果是走进大数据时代,从本质上看,这些都是获取数据的手段,产生大数据———获得智慧才是终极目标。在新一轮农业现代化建设中,要将农业大数据纳入国家农业信息化发展战略,夯实智慧农业的基石,让大数据创造出真正的智慧,支撑智慧农业的稳健发展。要密切跟踪国际大数据前沿技术,积极抓住发展契机,基于政府的强有力推动和引导,做好顶层设计、实现有序发展。围绕国家农业特点和重大需求,梳理农业大数据重点发展领域,凝练农业大数据关键技术,重点培养和支持一批农业大数据的应用与示范项目。尤其是要通过云计算和大数据技术的融合,不断加强基于农业物联网成果的示范应用、促进智慧农业的不断发展。参考文献[1] 第32 次中国互联网络发展状况统计报告[EB/OL].http: / /www. cnnic. cn /hlwfzyj /hlwxzbg /hlwtjbg /201307 /P0-20130717505343100851. pdf2013.[2] 王辰越. 大数据未来的新石油[EB /OL]. http: / /wwwceweekly. cn /html /Article /20130422669528000829. html2013 - 04 - 22.[3] 张意轩,于洋. 大数据时代的大媒体[N/OL]. 人民日报,http: / /cpc. people. com. cn /n /2013 /0117 /c83083 20231637 - 3. html, 2013 - 01 - 17.[4] Community cleverness required J]. Nature, 2008455( 7209) : 1.[5] 孟小峰,慈祥. 大数据管理概念、技术与挑战[J]. 计算机研究与发展,201350( 1) : 146 - 149Meng X FCi X. Big data management: conceptstechniquesand challenges J]. J. Comp. Res. Dev. ,201350 ( 1) :146 - 149.[6] Manyika JChui MBrown Bet al. . Big data: the nextfrontier for innovationcompetitionand productivityEB/OL].http: / /www. mckinsey. com/insights /business_technology /big70 中国农业科技导报15 _data_the_next_frontier_for_innovation2011.[7] IBM-全球企业咨询服务部. 分析大数据在现实世界中的应用[R/OL ]. http: / /www-935. ibm. com/services /multimedia /use_of_big_data. pdf2012.[8] 大数据时代的特点[EB/OL]. http: / /www. 5lian. cn /html /2012 /xueshu_0417 /32237. html2012 - 04 - 17.[9] 刘禹. 大数据有大智慧[N]. 光明日报,2012 - 04 - 17.[10] 李国杰,程学旗. 大数据研究未来科技及经济社会发展的重大战略领域———大数据的研究现状与科学思考[J]. 中国科学院院刊,201227( 6) : 647 - 657Li G JCheng X Q. Research status and scientific thinking ofbig data J]. Bull. Chin. Acad. Sci. ,201227( 6) : 647 657.[11] 张翼颉,周敏. 利用Apache Hadoop 进行TB 级排序[J]. 硅谷, 201220: 25 - 26Zhang Y JZhou M. Ranking in TB with Apache HadoopJ].Silicon Valley201220: 25 - 26.[12] 王寅. 大数据,未来的“新石油”[J]. 中国报道, 2013108:74 - 75.[13] 汪莉莉. 智慧的大数据洞察新价值[N]. 中国建设信息,2013 - - 23.[14] 陈如明. 大数据时代的挑战、价值与应对策略[J]. 移动通信, 2012, 17: 14 - 15Chen R M. Challengevalue and coping strategy in big dataera J]. Mobile Comm. ,201220: 25 - 26.[15] 夏于,孙忠富,杜克明,等. 基于物联网的小麦苗情诊断管理系统设计与实现[J]. 农业工程学报,201329 ( 5) :117 - 124Xia YSun Z FDu K Met al. . Design and realization oflOT-based diagnosis and management system for wheatproductionJ]. Transac. CSAE201329( 5) : 117 - 124.[16] 刘鹏,吴兆峰,胡谷雨. 大数据—正在发生的深刻变革[J].中兴通讯技术,201319( 4) : 2 - 7Liu PWu Z FHu G Y. Big data: profound changes aretaking place J]. ZTE Technol. J. ,201319( 4) : 2 - 7.[17] 覃雄派,王会举,杜小勇,等. 大数据分析—RDBMS Mapeduce 的竞争与共生[J]. 软件学报,201223( 1) :32 - 45Qin X PWang H JDu X Yet al. . Big data analysiscompetitionand symbiosis of DBMS and Mapeduce J]. JSoftware201323( 1) : 32 - 45.[18] 黄哲学,曹付元,李俊杰,等. 面向大数据的海云数据系统关键技术研究[J]. 网络新媒体技术,20121( 6) : 20 - 26Huang Z XCao F YLi J Jet al. . Developing sea clouddata system key technologies for large data analysis and miningJ]. Microcomp. Appl. ,20121( 6) : 20 - 26.[19] 英特尔 Hadoop 发行版( 2. 20) : 开发者指南[EB /OL].http: / /www. intel. cn /content /dam/www /public /cn /zh /pdfs /intel-hadoop-2. 2-dev-guide. pdf.[20] 曹强,黄建忠,万继光,等. 海量网络存储系统原理与设计[M]. 武汉华中科技大学出版社,2010Cao QHuang J ZWan J Get al. . Principle and Design ofHuge Amounts of Network Storage System M]. Wuhan:Huazhong University of Science & Technology Press2010.[21] 李志刚. 大数据———大价值、大机遇、大变革[M]. 北京电子工业出版社,2012Li Z G. Big Data: ValueOpportunity and evolution M].Beijing: Publishing House of Electronics Industry2012.[22] 孙忠富,杜克明,尹首一. 物联网发展趋势与农业应用展望[J]. 农业网络信息,20105: 5 - 821Sun Z FDu K MYin S Y. Development trend of internet ofthings and perspective of its application in agricultureJ].Agric. Netework Inform. ,20105: 5 - 8, 21.[23] 李道亮. 物联网与智慧农业[J]. 农业工程,20122( 1) : 1- 7Li D L. Internet of things and smart agriculture J]. AgricEngin. ,20122( 1) : 1 - 7期孙忠富等大数据在智慧农业中研究与应用展望71

[返回]
上一篇:2016年农业大数据综述
下一篇:农村电子政务公共服务与经济发展的灰色关联分析