当前位置:首页 > 物联网 > 物联网技术文库
[导读] 2015年国务院印发《促进大数据发展行动纲要》,首次从国家信息化发展的战略层面认定数据是国家的基础性战略资源,大数据成为提升政府治理能力的新途径。2016年生态环境部(原环境保护部)印发《生态环

2015年国务院印发《促进大数据发展行动纲要》,首次从国家信息化发展的战略层面认定数据是国家的基础性战略资源,大数据成为提升政府治理能力的新途径。2016年生态环境部(原环境保护部)印发《生态环境大数据建设总体方案》,开启“互联网+生态环境”战略,推动政府环境治理创新。因此,大数据逐步成为环境治理的重要战略资源和政府提升环境治理能力的重要手段,发展数字经济也成为可持续发展的重要方向,同时,对于推动生态环境治理能力现代化和加快生态文明建设进程具有重要意义。

近年来,随着互联网、计算机的飞速发展和技术进步以及人工智能软硬件技术的发展和广泛应用,数据作为记录各种人类活动的一种重要资源而呈现出爆发式增长,而从海量的、非结构化的数据中获取、处理、分析、挖掘其中有价值的信息成为国内外政府、企业以及学术界的关注焦点。其中,非结构化的文本大数据作为一种新的数据源,也是最重要的信息载体之一,往往带有明显的领域特征和独特的语言模式,也常常包含大量的专业词汇,能够为环境治理问题提供有效的信息和独特的分析视角。例如,文本大数据可以用于测度环境政策的不确定性、量化媒体关注度以及舆论导向、不同环境治理主体的情绪对相应问题解决方式的影响、基于新闻的隐含波动因素等。

一、文本大数据的主要特征

传统的数据收集往往借助于纸质媒介,体量较小,数据获取成本高,获取时间相对滞后;而通过互联网媒介进行文本数据收集和处理,不仅成本大幅降低,数据的可得性大幅增加,数据的体量也呈现几何级数增长的特征。同时,随着网络平台发布信息普及度的提高,除了传统的政府职能部门和相关机构发布信息之外,微博、微信公众号、朋友圈、论坛帖子等新媒体形式也逐渐成为数据来源的重要渠道,文本大数据的发布主体从单一向多样化进行转变,频率变得更高。通过互联网平台积累起来的数据,就存储在网络空间中,文本信息即刻在网络中留下痕迹,通过一定的方法和技术进行提取,信息获取更加及时,数据获取的成本也相对降低。通过利用互联网大数据信息,可以获取接近全体的样本信息,海量的样本量支持下,避免了由于信息不全面导致的错觉以及判断失误,未来还将开拓更为丰富的数据源,如政府工作报告、规划、书籍、档案等。

二、文本大数据提取的重点和难点

文本数据是信息的抽象提炼,正是由于海量文本数据信息的存在,获取、处理和分析文本大数据方面仍然存在一些问题,其中最重要的是如何准确并且有效率地从海量文本中提取出所需要的核心信息,并考察其对相应问题的解释或预测能力。提取文本数据信息需要综合考虑文本数据的来源、语言环境、内容长短、句式结构以及需提取信息的特征等因素,同时也要考虑信息提取的成本和收益。在条件允许的情况下,可以采用相对复杂的统计学习和深度学习相结合的信息提取方法来提高信息提取的准确性,优化人机合作成为解决困难的重要方式。使用复杂方法时还需要保证这些方法的透明性和可复制性。最后还要注意的是,数据的结构化转换和文本数据信息提取这两步的执行顺序需要依靠具体问题来决定,有时需要经过多次尝试才能找到最佳方案。

三、文本大数据在环境治理方面的应用

现有环境领域文本相关分析的问题主要有两大类,一是区分文本显示的公民的情绪正负、新闻或者文件语调正负等聚类问题,二是对情绪、不确定性、恐慌程度、意见分歧程度的度量以及相应的回归问题。

1.文本情绪

因为情绪的变化可能会导致问题处理的结果不同,度量情绪并预测风险是文本大数据在环境治理领域的重要应用方向,典型的例子是邻避效应。通常用“语调”来表示“情绪”,语调的不同表示了情绪的正面和负面、乐观和悲观、积极和消极等。根据情绪的不同主题,文本情绪的研究对象主要包括媒体语调(媒体新闻)、管理层语调(当事公司管理层讨论与分析、环评报告以及其他公开披露的信息文件)、公民情绪(网络论坛发帖)等。

媒体情绪度量媒体报道内容中包含的乐观与悲观情绪。通常来看,媒体负面语气能够解释邻避问题的风险和解决方案,但正面语气却没有解释能力。

管理层的信息披露往往能反映管理层的决策和意图,信息公开不全面、甚至相关信息空白,环评报告独立性存疑,相当于利益集团放大了邻避效应,无助于问题的解决。

2.媒体关注和倾向

传统的数据指标和环境问题治理之间的关系不稳定,且只能反映部分信息,与传统数据相比,文本数据覆盖领域广泛、信息可以被很多个体所获取、并且新闻内容可能与当前和未来状态密切相关。利用文本数据度量公民关注的环境问题采用的主要指标有搜索指数、阅读频率数据和论坛发帖量等。作为信息的制造者和传播者,媒体的关注和倾向一方面可以影响普通公民对环境问题治理的关注,另一方面也影响信息的传播效率和模式。

媒体对环境政策的变动和未来趋势可能产生很重要的影响,比较典型的例子是“PM2.5”、“雾霾”等关键词在一段时间内在媒体中频繁出现,推动了PM2.5的数据公开以及《大气污染防治行动计划》等一系列治理大气污染改善空气质量政策措施的出台与实施。相比而言,传统的自上而下的政策颁布实施时间跨度较长,而主流新闻媒体的新闻文本、网络搜索短时间内同一关键词频繁出现,对新的环境政策的实施具有明显的促进作用。

四、推动文本大数据应用的保障措施

统筹规划,协同推进文本数据资源整合,建设现代化高技术的数据中心,加强内部共享和动态更新;整合信息平台,逐渐形成统一的互联网文本数据平台,实现信息的有效共享和开放交换;建立文本数据正负面清单,完善健全文本数据开放制度和机制,提高各政府部门和社会机构的文本数据开放热情。

文本大数据为度量公民情绪提供了新的数据源。一方面,由于公民越来越倾向于选择在网络论坛上发布相关的评论帖子或者做出相关搜索,这些文本数据能直接反映他们对邻避事件的看法、对当前状态的解读以及与自身决策相关的信息。另一方面,这些数据易获得且覆盖群体范围广,满足了从不同频率、不同层面研究情绪与邻避风险关系的需求。加强文本大数据处理和分析的技术创新、建立一体化的大数据平台和完善的数据管理体系,通过对文本大数据的高效采集、有效整合,加强对政府数据的共享开放和社会数据的挖掘应用,提升环境问题决策能力,提高风险防范水平,进一步深化环境治理的精准性和有效性。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

在这一步中,需要从不同的数据源收集数据,包括结构化数据(例如数据库中的表格数据)和非结构化数据(例如文本、图像和音频)。

关键字: 机器学习 数据源 图像

随着互联网的迅猛发展,百度、阿里巴巴、腾讯等互联网巨头逐渐崭露头角,成为了行业的领军者。这些公司在云计算、大数据、人工智能等领域积累了丰富的经验和技术实力,为开发者提供了丰富的服务和工具。在这样的背景下,BAT模块应运而...

关键字: 互联网 云计算 大数据

随着大数据时代的来临,机器学习作为人工智能的核心技术之一,已经深入到各个领域并展现出强大的潜力和价值。机器学习通过对大量数据的分析、学习和预测,为各个行业提供了前所未有的机遇。本文将详细介绍机器学习的常见任务,并探讨这些...

关键字: 机器学习 大数据

人脸识别技术作为一种高效、准确的身份识别方式,近年来得到了广泛的应用和发展。随着人工智能、大数据等技术的不断发展,人脸识别技术的准确度和可靠性得到了显著提高。本文将探讨人脸识别技术的发展现状和未来趋势。

关键字: 人脸识别 人工智能 大数据

人工智能是“十四五”规划明确优先发展的前沿科技领域之一,如何看待未来我国人工智能领域的发展前景?目前,我国机器人基础研究状况如何?

关键字: 人工智能 物联网 大数据

北京——2024年1月23日 行业数字化服务商华讯网络系统有限公司(简称华讯)充分利用亚马逊云科技丰富的数据和安全服务以及解决方案,结合自身在安全领域的技术优势和深厚沉淀,为企业提供涵盖安全事件响应、云原生安全大数据平台...

关键字: 大数据 数据分析 互联网

2023年,重庆云谷·永川大数据产业园通过大力发展科技影视、自动驾驶和服务外包产业,已形成科技影视、自动驾驶、服务外包“三足鼎立”之势,释放出高质量发展强劲动力。

关键字: AI 科技 大数据

2023年,随着生成式AI的爆火,该赛道被再次推至高潮,据IDC数据显示,2027年中国AI投资规模有望达到381亿美元,全球占比约9% 。火爆的现象之下,是大数据技术数十年积淀的成果,该技术涵盖数据获取、存储、基于庞大...

关键字: AI 大数据 算力

在下述的内容中,小编将会对物联网的相关消息予以报道,如果物联网是您想要了解的焦点之一,不妨和小编共同阅读这篇文章哦。

关键字: 物联网 互联网 大数据

应用云计算、大数据、物联网、人工智能等新技术,大力拓展新兴业务,使固定增值及其他业务的收入成为增长第一引擎。

关键字: 通信行业 云计算 大数据
关闭
关闭