登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
2.1 平台整体结构
智能配用电大数据应用系统按数据流向可分为数据来源、数据管理、数据分析、数据展示4部分。平台结合了目前大数据2大主流框架Hadoop与Spark优势,使用Hadoop分布式文件管理系统HDFS及Map-Reduce技术存储多源数据,并建立了NoSQL类型的Hive数据库管理数据。使用内存并行化计算框架Spark内置的SparkR、MLLib组件,能满足实现各类分析算法的并行化要求。使用基于HTML5语言的Web页面展示数据分析结果,并通过EChart、D3等多款JavaScript插件实现数据可视化及动态交互。平台整体结构如图5所示。
2.2 大数据平台算法业务并行化实现方式
目前已有文献提出了基于Map-Reduce模型的数据挖掘算法并行化方法[8-11],但是Map-Reduce对聚类等迭代计算会消耗大量资源,算法效率不高,并且需要对分布式集群底层具有一定了解,编程设计学习门槛高。针对以上问题,智能配用电大数据应用系统采用Spark内存并行计算框架,克服了Hadoop对迭代运算适用性差的缺点,并且提供了R语言与Apache Spark交互的接口SparkR,可通过R实现对Spark分布式计算引擎的调用,使得SparkR可以充分利用分布式集群的计算资源,高效处理TB级别的数据[22]。
首先,先在GB级别的小样本数据上,使用统计分析常用的R语言编写节电分析程序,以测试算法的有效性及可行性。测试完成后,将单机R语言程序移植到大数据平台上。如图6所示,算法移植主要从以下几个方面进行改进:
1)分布式数据的读取:和传统数据库结构不同,大数据平台上的数据以分布式的形式分别存储在不同的存储节点上。在R程序中,将原有的
图6 单机版本R程序的移植Fig. 6 Migration of single-machine version R programs
MySQL语句调整为大数据平台Hive组件提供的类SQL语句,实现对分布式数据的读取访问。
2)数据挖掘算法及分析业务的并行化:算法并行是指对某一算法从原理上进行并行化改进,以获得较大的效率提升。例如聚类、降维等算法,并行化后能显著降低算法的复杂度,对分析海量数据尤为必要。R程序通过调用SparkMLlib并行算法库,实现所用聚类等算法的并行化。机器学习与数据挖掘算法库MLlib中内置了通用的分类、回归、聚类、协同过滤、降维等分布式数据挖掘算法,且Spark底层对这些算法进行了深度优化,计算效率极
高[23]。具体的,首先通过SparkR接口将待分析数据转化为分布式数据框,以分布式形式载入Spark内存并行计算框架中,然后调用MLlib组件接口,即可自动实现并行计算。经实测,在服务器集群上对TB级别的数据进行所述聚类、降维分析能保证耗时在1 h以内,大大提高了程序的计算效率,同时SparkR与MLlib组件的结合让研究人员无需重新学习SCALA等编程语言,不必了解分布式集群底层架构,即可实现预期效果。
如果某些业务之间既没有交叉,也没有流程上的先后关系,这些业务之间就是可并行的,如对每个用户计算用电特性指标、开展能效评估等,把可并行的业务分别分配到不同的计算节点进行计算被称为业务并行。本文所述节电分析流程中,具体的并行化改进如图7所示。
3)分析结果的分布式存储:算法在每次计算后都会产生大量的计算结果数据,同样要以分布式形式保存在集群中。由于在分析结果可视化阶段涉及到大量数据的并发读取,为适应计算结果数据频繁读取及不断写入的要求,将分析结果存储在HBase中,和传统关系型数据库相比,HBase是一种高性能分布式数据库,具有易于扩展、支持海量
图7 数据挖掘算法及分析业务的并行化Fig. 7 Parallel data mining algorithm and analysis service
数据存储及高并发读取的优势。
3 节电分析数据交互及可视化
智能电网的特征是“自动化、信息化、互动化”[11],数据的可视化及交互是实现互动化的主要手段。在大数据环境下,节电分析结果也具有显著的大数据特征,全面、简洁、直观、准确地反映节电分析结果内涵及价值,是数据交互及可视化的关键。
3.1 数据展示结构
目前电力系统中所用到的可视化形式大多基于VTK、Java 3D、Open GL等图形组件。这些应用以客户端/服务器(client/server,C/S)为主要架构,采用面向对象和面向组件的编程方法[24-26]。C/S架构的可视化及交互服务需要在每台客户端上配置可视化环境,安装应用服务,少量部署尚可,但节电分析结果除面向专业人员外,还将面向海量电力用户,在这种应用环境下C/S架构不够灵活轻量。随着以智能手机为代表的移动端设备的兴起,Web技术因为其轻量、灵活、强大、即开即用、无平台移植问题等优势获得了广泛应用。将Web技术用于节电分析服务,用户通过浏览器即可控制分析过程、访问分析结果,且不受平台限制,便于后续向海量电力用户提供特色化的节电服务。智能配用电大数据应用系统在数据交互及可视化方面采用基于Web的SSM(Spring Spring MVC MyBatis)整合框架,在前端网页设计方面采用了HTML5语言,通过EChart、D3等JavaScript图表库实现了数据图表的交互,可视化由数据驱动,图例丰富,功能强大,支持数据拖拽重计算,数据区域漫游等高级功能。
3.2 节电分析可视化功能模块
节电分析可视化效果如图8所示。图中图表均为我国某地区配用电实际数据分析结果,左侧是算法参数设置部分,右侧从宏观到微观展示了行业节电概览、用电群体细分、群体内用户节电潜力走势、单用户节电分析等大数据分析结果。其中参数设置页面用于设置分析时段、聚类等算法参数,点击计算按钮则调用集群中的SparkR程序对所选行业进行分析,计算完成后将分析结果写入HBase数据库中,并在历史计算结果中添加一条记录以便查看。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
2015年3月15日,中共中央国务院印发《关于进一步深化电力体制改革的若干意见》,这份被业内称为“9号文”的文件,正式拉开了新一轮电改大幕。按照“管住中间、放开两头”的体制架构,本轮电改旨在构建竞争性电力市场,有序推动发电侧和用户侧参与市场化交易,让发用双方进行“面对面”的交易,打破原本
《电能质量管理办法(暂行)》将于2024年4月1日起正式施行,这是国家时隔25年再次发布电能质量管理的相关法规,咱有必要聊一聊。首先,我们要知道什么是电能质量。顾名思义,它是指电力系统中电能的质量。(来源:微信公众号“浙电e家”作者:融媒体中心)一个理想的电力系统应以恒定的频率(50赫兹)
22日下午,台当局经济事务主管部门召开电价费率审议会。会后宣布,自4月1日起,台湾的工业、家庭及小商家用电价格全面调涨,平均涨幅为11%。其中,民生用电以每月用电330度、700度和1000度为界分级调涨,涨幅在3%至10%,预估全台有超过1340万户家庭受影响。小商家用电以700度、1500度和3000度为界,涨
打造高效率办电、高品质服务、高质量供电服务体系内蒙古电力(集团)有限责任公司副总经理白凤英2023年9月,国家发改委发布《供电营业规则(征求意见稿)》(下文简称《规则》)向社会广泛征求意见。2024年2月5日,国家发改委第9次委务会议审议通过了新版《供电营业规则》,以适应电力体制改革、供用电
以人民为中心维护人民群众用电权益和市场公平云南电网有限责任公司市场营销部(客户服务部)副总经理普钢2月20日,国家正式颁布《供电营业规则》最新修订版(以下简称《规则》修订版),本次修订是对1996年原电力工业部发布《供电营业规则》的完善修改,及电力法规体系的重要补充,体现了维护人民群众
夯实制度保障维护供受电权益广东电网有限责任公司市场营销部副总经理杨晓东2月20日,国家正式颁布《供电营业规则》最新修订版(以下简称《规则》修订版),在1996年10月8日原电力工业部发布的《供电营业规则》基础上,对与现行法律法规不衔接,以及未适应党中央决策部署、改革方向的内容进行了修改完善
夯实供电营业新秩序构建供电服务新体系全力满足人民用电需要中国南方电网有限责任公司市场营销部(客户服务部)总经理徐尤峰《供电营业规则》(以下简称“《规则》”)是《电力法》《电力供应与使用条例》最重要的配套规章,作为指导全国供电营业工作的基本制度,自1996年10月8日原电力工业部颁布实施
强化用电营商环境法治保障促进“获得电力”水平持续提升国网安徽省电力有限公司总经理李智勇2024年2月,中华人民共和国国家发展改革委第14号令公布新版《供电营业规则》(以下简称新《供规》),将于2024年6月1日起施行。新《供规》的颁布实施,对深化电力体制改革,加快新型电力系统建设,进一步推动
构建供电营业新秩序满足人民群众美好生活用电需求中国电力企业联合会监事长、法律分会会长潘跃龙《供电营业规则》(以下简称《供规》)于2月20日正式印发,将于6月1日起施行。原《供规》于1996年正式颁布实施,是《电力法》《电力供应与使用条例》重要的配套规章之一,是我国电力法律体系中的重要组成
构建高质量规则体系保障供用电秩序促进用电营商环境可持续发展国家电网有限公司市场营销部副主任唐文升近期,国家发展改革委、国家能源局修订颁布了《供电营业规则》(以下简称《供规》)。新《供规》适应电力体制改革、供用电业务发展需要,颁布实施后,将进一步促进业务管理制度化、规范化、标准化,
新《供电营业规则》集中体现了供用电关系的平等性国网湖南电力法律合规部副主任吴德松、法律服务保障中心副主任王虎松日前,新修订的《供电营业规则》由国家发展和改革委员会以14号令公布,并将于2024年6月1日起施行。本次修订共新增了9条、删除了6条、修改了61条,是一次全面系统的修订。修订后的《供
随着新型电力系统建设的逐步深入,新能源装机,特别是以风能和太阳能为主导的清洁能源装机规模持续扩大。然而,新能源固有的波动性和不稳定性给电网消纳以及电力系统的成本控制带来了显著的压力。(来源:微信公众号“硕电汇”作者:小硕团队)鉴于原有可再生能源电量全额保障性收购制度导致电力系统承
受能源价格持续走低,新能源出力水平持续上升的影响,2024年山东电力现货价格持续走低,尤其是今年2月份,山东现货电价出现了比较特殊的情况,自开展电力现货以来首月,全月现货价格均低于月度中长期价格。尤其是随着新能源装机的增加,现货价格的波动更加剧烈,中长期-现货价差增大,在这种情况下售电
在保障国家能源安全,实现“双碳”目标的驱动下,我国正在大力推进能源绿色低碳转型,新能源占比随之逐年提高。面对新能源发电比例逐步上升的大背景,电力现货市场机制,成为保障电力系统稳定的核心要素。(来源:微信公众号“兰木达电力现货”作者:王瑀璠)2023年,电力中长期交易已在全国范围内常态
2015年3月15日,中共中央、国务院印发《关于进一步深化电力体制改革的若干意见》,拉开了中国新一轮电力体制改革的序幕。9年来,中国电力市场发生了翻天覆地的变化,一系列改革政策的出台与迭代,不断推动着中国电力市场化改革走向成熟。电网企业代理购电制度作为新一轮电力体制改革的新生事物,首次出
22日下午,台当局经济事务主管部门召开电价费率审议会。会后宣布,自4月1日起,台湾的工业、家庭及小商家用电价格全面调涨,平均涨幅为11%。其中,民生用电以每月用电330度、700度和1000度为界分级调涨,涨幅在3%至10%,预估全台有超过1340万户家庭受影响。小商家用电以700度、1500度和3000度为界,涨
随着我国电力市场改革的深入推进,现货市场逐渐成为电力市场的重要组成部分。了解现货市场电价形成原理及交易技巧对于企业降低用电成本、提高市场竞争力具有重要意义。一、现货市场电价形成原理1.现货市场的定义与作用现货市场是指电力实时交易的市场,主要实现电力资源的优化配置和电力价格的发现。现
2021年8月6日,国家电网有限公司和陕西省人民政府在北京和西安召开国网陕西省电力有限公司揭牌视频会议,标志着双方共同出资,由国网陕西电力公司和陕西地方电力公司融合设立的“国网陕西省电力有限公司”正式挂牌成立。至此,陕西“一省两网”时代结束,但在每月公布的代购价格表中依然要区分榆林地区
北极星售电网获悉,湖南2024年3月电网代理购电电价结构及水平474.49元/兆瓦时。详情如下:
北极星储能网获悉,3月22日,青海省发展和改革委员会发布向社会公开征求优化完善我省峰谷分时电价政策(征求意见稿)意见的公告。文件提出,对省执行分时电价的用户在每年一季度和四季度的每日8:00-9:00和19:00-21:00执行尖峰电价,尖峰电价在用户对应平段电价基础上上浮100%(输配电价、上网环节线损
北极星售电网获悉,山东电力交易中心发布2024年3月省间交易输电价格方案。详情如下:
近日,广西壮族自治区电力负荷管理实施细则印发。政策提出,建立并完善与电力市场衔接的需求响应价格机制。根据“谁提供、谁获利,谁受益、谁承担”的原则,进一步完善市场损益分摊机制,所有需求响应资金取之于市场、用之于市场;具备条件时,视情况通过实施尖峰电价、拉大现货市场限价区间等手段进一
3月26日,四川电力交易中心发布《关于第2024-5批售电公司注册信息的公示》。详情如下:
近日,宁夏电力交易中心发布关于售电公司注册公示结果的公告。详情如下:
冀北电力交易中心日前发布关于提示售电公司做好注册信息持续满足准入条件的通知。
3月18日,四川电力交易中心发布《关于第2024-4批售电公司注册信息的公示》。详情如下:
3月6日,广东电力交易中心有限责任公司发布关于2024年2月售电公司注册公示的通知。详情如下:
一、项目基本情况采购项目编号:SDJW-CS-HTFY370321202401000001采购项目名称:桓台县妇幼保健院2024年电力市场交易委托代理遴选供应商服务项目(三次)二、项目废标/流标的原因无三、其他补充事宜山东金卫医药信息有限公司受桓台县妇幼保健院的委托,就桓台县妇幼保健院2024年电力市场交易委托代理遴
交易需要与时俱进。2月初,山西省发布了《电力市场规则体系(V14.0)》,自2024年2月1日开始施行,有效期1年,标志着山西电力现货市场吹响正式运行的号角。其中,从售电公司和用户视角来看,v14版规则中相较v13版发生了几处较为重要的改动。本文将从用户侧交易环节变化较大的日前交易结合规则加以解读
项目概况福州市中医院电力直接交易服务采购项目(二次)采购项目的潜在供应商应在福建省福州市鼓楼区北环中路150号福苑大厦8层03室(福建省荣耀招标咨询有限公司)获取采购文件,并于2024年02月20日09点30分(北京时间)前提交响应文件。一、项目基本情况项目编号:FJRY2024002-1项目名称:福州市中医院电
北极星售电网获悉,广东电力交易中心发布了2024年1月售电公司注册情况的公告,其中提出,2024年1月广东电力交易中心有限责任公司受理通过了5家售电公司的注册申请,对售电公司提交的市场准入材料进行了完整性校核。详情如下:
北极星售电网获悉,甘肃电力交易中心发布了甘肃电力市场2024年1月售电公司注册情况的公告,其中提出,2024年1月,甘肃电力交易中心受理生效市场注册售电公司1家,受理生效业务范围变更售电公司3家,受理生效市场注销售电公司1家,详见附件。详情如下:
北极星售电网获悉,江苏电力交易中心发布了关于公示2024年第三批(总第五十二批)售电公司注册重大信息变更的公告,详情如下:
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!