在电力现货市场下如何最大化售电商参与需求侧响应的长期收益？

摘要

在电力现货市场下,为实现售电商长期收益最大化,提出采用强化学习的需求响应动态优化方案。首先建立售电商和用户的需求响应模型,通过建立用户舒适成本函数的前后联系,构建出售电商动态优化收益函数;利用用户的需求响应收益函数确定其响应负荷,并将售电商当前需求响应的收益函数转化为立即奖励函数;然后采用BP神经网络构建强化学习的Q函数,采用迭代方法训练BP神经网络直到Q函数收敛。最后,通过1个售电商和5个工业用户的仿真算例结果表明所提方法的有效性。

（来源：电网技术 作者：冯小峰1, 谢添阔2, 高赐威3, 林国营1, 陈亮1, 卢世祥1）

1．广东电网有限责任公司 计量中心,广东省 广州市 510080

2．华北电力大学 电力工程系,河北省 保定市 071003

3．东南大学 电气工程学院,江苏省 南京市 210096

冯小峰(1984),男,博士,通信作者,主要研究方向为电力市场需求响应,电力系统优化与控制,E-mail：ucihqtep@163.com;

谢添阔(1995),男,硕士研究生,主要研究方向为电力市场需求响应,E-mail：1963228605@qq.com;

高赐威(1977),男,教授,博士生导师,主要研究方向为电动汽车接入电网、电力规划、电力市场、需求侧管理及电力安全等,E-mail：ciwei.gao@126.com。

基金项目：中国南方电网有限责任公司科技项目(GDKJXM20161607); Project Supported by Science and Technology Foundation of China Southern Power Grid Company Limited (GDKJXM20161607);

0 引言

《中共中央国务院关于进一步深化电力体制改革的若干意见(中发〔2015〕9号)》开启的新一轮电改,其核心目标：使市场在资源配置中起到决定性作用。2018年10月,南方(以广东起步)电力现货市场相关文件的发布,开启了电力现货市场的试运行。

在电力现货市场中,除了长协购电和月度竞价购电外,售电商还需要从现货市场购电。在运营过程中,随着供需紧张关系的变化,现货市场的价格也会随之波动。而售电商卖给用户的电价通常是固定的,当售电商在现货市场购电的价格高于其售电价格,为了减少损失,售电商有动力发布需求响应。同时售电商向其代理用户的发布需求响应,减小峰谷差,也有利于提高其向发电厂购电时的议价能力。

国内外对需求响应的运行机制、调节手段、框架结构等进行了很多研究。文献[1]对智能电网环境下需求响应的机理和建模进行了分析。文献[2]从需求响应概念、激励手段、收益评定等方面对国内外的研究成果进行归纳与总结。文献[3]从运行机制、调控手段、负荷潜力等方面重点研究了将需求响应

应用于辅助服务市场的相关问题。文献[4]对国内外综合需求响应的概念、框架结构、模型、市场运行机制以及关键技术问题等进行了研究和总结。

在需求响应过程中,用户的响应行为的确定非常重要,国内外对不同类型用户的需求响应行为进行了很多研究。文献[5]针对温控负荷,使用基于成本-效益分析的方法确定用户在中长期需求响应过程中的响应行为。文献[6]建立了温控负荷设备的预测模型,以减少需求响应期间的信息传输量。文

献[7]研究了基于用户报量不报价的需求响应方式,分析了用户响应行为机理,并基于此建立了发电计划优化模型,仿真结果验证了该模式和方法的有效性。文献[8]建立了直接负荷控制模型,实现了清洁能源消纳的目标。文献[9]研究了电网中用户的电力调度问题,通过为用户提供一种电力调度策略,以实现用户的收益与舒适度之间的期望权衡。文

献[10]主要介绍了用户对售电公司和用电合同的选择方式,研究了考虑可中断负荷的售电公司营销策略制定方法。文献[11]针对激励型需求响应,建立了用户侧响应模型,用于制定微电网的负荷削减策略。文献[12]基于节点电价,构建了两阶段负荷需求响应模型,对需求响应策略进行了研究,实现了部分用户负荷由高电价节点转移到低电价节点的过程。

国内外对需求响应过程中多方主体互动用电时策略制定方法开展了大量的研究。文献[13]针对电网中的售电商和用户建立了一种分层系统模型,以售电商的利益最大化为目标,求解售电商与用户的Stackelberg博弈均衡解,结果表明,存在一个最优的售电商数量,可以使得其整体利润最大化。文献[14]为了降低峰值,将用户负荷转移与分布式发电的使用相结合,开发了两种算法,算例结果表明将这两种需求响应方式相结合可以有效节省成本。文献[15]基于综合需求响应和博弈方法,设计了一种两阶段优化调度策略,对博弈模型进行了求解。文献[16]研究了多个售电公司间的非合作博弈和用户间的演化博弈,并使用分布式算法实现了售电公司与用户间的两级博弈,仿真结果表明该方案能够显著减少峰值负荷。文献[17]提出了一种实时定价方案,每个用户对售电商发布的价格做出反应并最大化其收益,售电商根据预测的用户反应设计实时价格以最大化其利润,在售电商方面,开发了基于模拟退火的价格控制算法来解决非凸价格优化问题,结果表明所提出的实时定价方案能有效削减峰值,降低售电商成本,提高用户收益。文献[18]基于消费者心理学原理和需求响应不确定性规律,设计了一套激励型和价格型需求响应与常规资源和新能源等在不同时间尺度上优化配置的方案,建立了日前—日内时间尺度下的源荷互动决策模型。文献[19]针对激励型需求响应,建立了基于模型预测控制的多时间尺度家庭能量管理模型,以用户净支付和用电负荷波动最低为目标,设计了一系列的用电策略。文献[20]建立了电网公司、新增实体与用户之间的三方博弈模型,并求解其纳什均衡解,具有一定的可行性。文献[21]针对多个微电网运营商参与配电侧市场交易的问题,提出了一种双层优化方法,并基于完全信息下的动态博弈方法,确定市场的纳什均衡点。文献[22]研究了多种用户价格机制下的售电公司参与市场竞价购电的策略问题。

在制定各主体的需求响应策略时,已有的研究往往只考虑了发布需求响应时的收益最大化,而忽略了当次需求响应行为,对后续需求响应的影响。在实际的需求响应中,售电商的历史发布价格,会影响用户的舒适成本感知。本文从该角度出发,计及售电商的决策对用户舒适成本的长期影响,建立不同主体多时间尺度的需求响应优化模型,以离线学习在线使用的架构,结合强化学习算法求解优化策略,并使用基于神经网络构建强化学习算法,解决了状态和动作空间过大导致的维数灾问题。

1 基于强化学习的用户与售电商需求响应模型

1.1 用户与售电商需求响应模型

在需求响应过程中,用户与售电商两个主体的决策,在时间尺度上表现不一。其中,售电商作为需求响应的主导方,以追求长期收益最大化为目标;用户以追求当次需求响应自身利益最大化为目标。造成这种差别的原因是：1）售电商与用户对需求响应的重视程度不同。需求响应是售电商为了减小自身损失而发起,其获得的收益远高于单个用户的收益,因此售电商对需求响应更加重视,单个用户由于对信息了解不全,且收益较低,只能被动接受售电商制定的策略,因此对需求响应的重视程度偏低。2）售电商与用户对需求响应的掌控能力不同。售电商是需求响应的主导者,全面了解电价、用户负荷等信息,能在考虑到用户决策的前提下,决定需求响应发布的时间和价格;用户作为跟随者,处于被动的地位,单个用户的响应行为难以影响售电商的整体决策,只能在主导者制定决策的基础上选择最佳策略,因此只能追求短期收益的最大化。

售电商通过寻求最优的补贴价格ptrprt,以最大化自身参与需求响应的长期收益,可以表示为如下的动态优化问题求解。

在求解最优补贴价格的动态优化问题中,售电商为了最大化长期收益,在考虑短期利润的同时,还需要考虑补贴价格对后续需求响应过程中,用户的舒适成本产生的影响,从而影响后续的用户响应负荷。即当次的售电商的补贴价格,除了影响当次的售电商收益,也会影响后续的用户响应行为,从而影响后续的售电商的收益。强化学习算法适合求解这种前后时间状态耦合的动态优化问题。下面将对强化学习进行简介。

1.2 强化学习简介