基于深度强化学习的区域综合能源定价策略研究

doi:10.3969/j.issn.2097-0706.2023.07.010

综合智慧能源 ›› 2023, Vol. 45 ›› Issue (7): 87-96.doi: 10.3969/j.issn.2097-0706.2023.07.010

基于深度强化学习的区域综合能源定价策略研究

胡泽^a(), 朱子晴^a(), 卜思齐^a^,^b^,^c^,^d^,^*(), 陈家荣^a^,^b(), 魏翔^a()

a.电机工程学系，香港理工大学，香港 999077
b.电网现代化研究中心，香港理工大学，香港 999077
c.智慧能源研究院，香港理工大学，香港 999077
d.科技及创新政策研究中心，香港理工大学，香港 999077

收稿日期:2023-05-09 修回日期:2023-06-13 接受日期:2023-07-25 出版日期:2023-07-25
通讯作者: *卜思齐（1984），男，副教授，博士生导师，博士，从事新型电力系统安全稳定性分析与运行规划等方面研究工作，siqi.bu@polyu.edu.hk。
作者简介:胡泽（1999），男，在读博士研究生，从事机器学习、优化方法与博弈论在能源市场中应用等方面的研究，zzzed.hu@connect.polyu.hk；
朱子晴（1996），男，博士后研究员，博士，从事人工智能、博弈论、优化理论在电力系统运行中的应用，ziqing-yancy.zhu@polyu.edu.hk；
陈家荣（1966），男，副教授，博士生导师，博士，从事电力系统稳定性、电力系统运行与规划、电力市场等方面的研究，kevin.kw.chan@polyu.edu.hk；
魏翔（1996），男，在读博士研究生，硕士，从事电力系统弹性运行以及综合能源系统优化运行和调度研究，weixiang0610@outlook.com。
基金资助:
国家自然科学基金(52077188)

Pricing strategy in district-level integrated energy market based on deep reinforcement learning

HU Ze^a(), ZHU Ziqing^a(), BU Siqi^a^,^b^,^c^,^d^,^*(), CHAN Jiarong^a^,^b(), WEI Xiang^a()

a. Department of Electrical Engineering， The Hong Kong Polytechnic University， Hong Kong 999077，China
b. Research Centre for Grid Modernisation， The Hong Kong Polytechnic University， Hong Kong 999077，China
c. Research Institute for Smart Energy， The Hong Kong Polytechnic University， Hong Kong 999077，China
d. Policy Research Centre for Innovation and Technology， The Hong Kong Polytechnic University， Hong Kong 999077，China

Received:2023-05-09 Revised:2023-06-13 Accepted:2023-07-25 Published:2023-07-25
Supported by:
National Natural Science Foundation(52077188)

摘要/Abstract

摘要：

为整合多类能源交易并促进能源的有效利用，综合能源市场（IEM）正在逐步建立并取代传统能源市场。作为连接能源供给侧与需求侧的重要组成部分，区域综合能源市场（DIEM）中的能源交易与定价对综合能源系统运行有着直接影响与重要意义。提出了DIEM交易框架，并建立了综合能源服务商（IESP）与综合能源用户（IEC）的双层定价决策-需求响应问题。在双层决策问题中考虑了能源需求弹性，新能源出力不确定性与隐私保护，最终采用深度确定性策略梯度下降算法（DDPG）对IESP的优化定价问题进行求解，并在一个模拟算例当中将其与深度Q学习（DQN）所生成的定价策略进行比对。仿真结果具体分析了DIEM中能源价格的耦合关系以及综合能源定价与需求弹性之间的互相影响，提出的基于DDPG所产生的定价策略的总收益高于DQN算法6.8%。

关键词: 综合能源系统, 区域综合能源市场, 定价策略, 需求响应, 深度强化学习

Abstract:

Integrated energy market （IEM）， being able to integrate multiple forms of energy transactions and promote the efficient use of energy， is growing and gradually taking place the traditional energy markets. District integrated energy market （DIEM）， which serves as a link between the supply and demand side， is crucial for energy transaction and pricing， and affects the operation of integrated energy systems. Given this context， a DIEM transaction structure is constructed to optimize the pricing strategy for Energy Service Providers （IESPs） and the demand response mechanism for Integrated Energy Consumers （IECs）. The double-layer decision-making optimization takes into account the elasticity of the energy demand， the uncertainty of the output of renewable energy sources， and privacy protection comprehensively. The optimal pricing of the IESP can be obtained by Deep Deterministic Policy Gradient （DDPG），which is compared with the pricing strategy made by Deep-Q-Learning（DQN） in a simulation case. The simulation analyzes the coupling relationship of energy prices in DIEM and the interaction between integrated energy pricing strategy and demand elasticity， showing that the revenue of the Integrated energy system obtained by DDPG is 6.8% higher than that made based on DQN.

Key words: integrated energy system, district integrated energy market, pricing strategy, demand response, deep reinforcement learning

中图分类号:

TK01

胡泽, 朱子晴, 卜思齐, 陈家荣, 魏翔. 基于深度强化学习的区域综合能源定价策略研究[J]. 综合智慧能源, 2023, 45(7): 87-96.

HU Ze, ZHU Ziqing, BU Siqi, CHAN Jiarong, WEI Xiang. Pricing strategy in district-level integrated energy market based on deep reinforcement learning[J]. Integrated Intelligent Energy, 2023, 45(7): 87-96.

图/表 14

图1

图2

图3

图4

表1

IESP参数设置

变量	参数	变量	参数
$η C H P, e$	0.3	$η C H P, h$	0.25
$λ g a s$ /(kW·h·m^-3)	9.97	$w i n c$ /(m·s^-1)	3
$w r a t e d c$ /(m·s^-1)	12	$w o u t c$ /(m·s^-1)	22
$S p v n$ /m²	500	$η p v n$	0.15

表1

图5

图6

图7

表2

表3

图8

图9

图10

图11

参考文献 21

[1]	董朝阳, 赵俊华, 文福拴, 等. 从智能电网到能源互联网:基本概念与研究框架[J]. 电力系统自动化, 2014, 38(15):1-11.
	DONG Zhaoyang, ZHAO Junhua, WEN Fushuan, et al. From smart grid to energy internet:Basic concept and research framework[J]. Automation of Electric Power System, 2014. 38(15):1-11.
[2]	谈金晶, 李扬. 多能源协同的交易模式研究综述[J]. 中国电机工程学报, 2019, 39(22):6483-6497.
	TAN Jinjing, LI Yang. Review on transaction mode in multi-energy collaborative market[J]. Proceedings of the CSEE, 2019, 39(22):6483-6497.
[3]	吕佳炜, 张沈习, 程浩忠, 等. 考虑互联互动的区域综合能源系统规划研究综述[J]. 中国电机工程学报, 2021, 41(12):4001-4021.
	LYU Jiawei, ZHANG Shenxi, CHENG Haozhong, et al. Review on district-level integrated energy system planning considering interconnection and interaction[J]. Proceedings of the CSEE, 2021, 41(12):4001-4021.
[4]	张颖梓, 李华强, 李旭翔, 等. 基于用户需求行为的综合能源服务产品定价策略研究[J]. 电力系统保护与控制, 2021, 49(17):121-129.
	ZHANG Yingzi, LI Huaqiang, LI Xuxiang, et al. Pricing strategy of integrated energy service products based on user demand behavior[J]. Power System Protection and Control, 2021, 49(17):121-129.
[5]	王俊, 徐箭, 柯德平, 等. 考虑多市场主体参与的气电区域综合能源系统市场定价策略[J]. 电力自动化设备, 2022, 42(9):18-26.
	WANG Jun, XU Jian, KE Deping, et al. Market pricing strategy for gas-electricity integrated energy system considering multiple market entities[J]. Electric Power Automation Equipment, 2022, 42(9):18-26.
[6]	卞心怡, 范宏, 曾博. 计及多重不确定性的低碳综合能源系统动态定价策略[J/OL]. 电测与仪表,1-12(2023-04-10)[2023-05-05]. http://kns.cnki.net/kcms/detail/23.1202.TH.20230407.1522.004.html.
	BIAN Xinyi, FAN Hong, ZENG Bo. Dynamic pricing strategy of low-carbon integrated energy system considering multiple uncertainties[J/OL]. Electrical Measurement & Instrumentation,1-12(2023-04-10)[2023-05-05]. http://kns.cnki.net/kcms/detail/23.1202.TH.20230407.1522.004.html.
[7]	曹阳, 喻洁, 李扬, 等. 基于演化博弈的区域综合能源市场零售侧竞争策略选择方法[J]. 电力系统自动化, 2023, 47(5):104-113.
	CAO Yang, YU Jie, LI Yang, et al. Evolutionary game based competition strategy selection method for retail side of regional integrated energy market[J]. Automation of Power Electric System, 2023, 47(5):104-113.
[8]	DOU X, WANG J, HU Q, et al. Bi-level bidding and multi-energy retail packages for integrated energy service providers considering multi-energy demand elasticity[J]. CSEE Journal of Power and Energy Systems, 2020.
[9]	杨挺, 赵黎媛, 刘亚闯, 等. 基于深度强化学习的综合能源系统动态经济调度[J]. 电力系统自动化, 2021, 45(5):39-47.
	YANG Ting, ZHAO Liyuan, LIU Yachuang, et al. Dynamic economic dispatch for integrated energy system based on deep reinforcement learning[J]. Automation of Power Electric System, 2021, 45(5):39-47.
[10]	陈传杰, 杨海柱, 李梦龙, 等. 基于实时定价机制的综合能源系统多时间尺度优化调度[J]. 科学技术与工程, 2021, 21(12): 4968-4974.
	CHEN Chuanjie, YANG Haizhu, LI Menglong, et al. Multi-time scale optimal scheduling of integrated energy systems based on real-time pricing mechanism[J]. Science Technology and Engineering, 2021, 21(12): 4968-4974.
[11]	冯斌, 胡轶婕, 黄刚, 等. 基于深度强化学习的新型电力系统调度优化方法综述[J/OL]. 电力系统自动化:1-22(2023-04-03)[2023-05-07]. http://kns.cnki.net/kcms/detail/32.1180.TP.20230331.1354.004.html.
	FENG Bin, HU Yijie, HUANG Gang, et al. Review on optimization methods for new power system dispatch based on deep reinforcement learning[J/OL]. Automation of Power Electric System:1-22(2023-04-03)[2023-05-07]. http://kns.cnki.net/kcms/detail/32.1180.TP.20230331.1354.004.html.
[12]	SILVER D, HUANG A, MADDISON C J, et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature, 2016, 529(7587): 484-489. doi: 10.1038/nature16961
[13]	MNIH V, KAVUKCUOGLU K, SILVER D, et al. Playing atari with deep reinforcement learning[J]. arXiv preprint arXiv:1312.5602, 2013.
[14]	孙庆凯, 王小君, 王怡, 等. 基于多智能体Nash-Q强化学习的综合能源市场交易优化决策[J]. 电力系统自动化, 2021, 45(16):124-133.
	SUN Qingkai, WANG Xiaojun, WANG Yi, et al. Optimal trading decision-making for integrated energy market based on multi-agent Nash-Q reinforcement learning[J]. Automation of Power Electric System, 2021, 45(16):124-133.
[15]	WU X, LIU B, YUAN S, et al. Pricing strategy of regional integrated energy system considering privacy protection based on deep reinforcement learning[J]. CSEE Journal of Power and Energy Systems, 2022.
[16]	FAZLALIPOUR P, EHSAN M, MOHAMMADI-IVATLOO B. Risk-aware stochastic bidding strategy of renewable micro-grids in day-ahead and real-time markets[J]. Energy, 2019, 171: 689-700. doi: 10.1016/j.energy.2018.12.173
[17]	LILLICRAP T P, HUNT J J, PRITZEL A, et al. Continuous control with deep reinforcement learning[J]. arXiv preprint arXiv:1509.02971, 2015.
[18]	BOUSSETTA M, MOTAHHIR S, BACHTIRI R E, et al. Design and embedded implementation of a power management controller for wind-PV-diesel microgrid system[J]. International Journal of Photoenergy, 2019: 1-16.
[19]	Information on individual ISO markets, market products, and ancillary services[EB/OL].[2023-06-03]. https://www.iso-ne.com/markets-operations/markets/.
[20]	Heat demand profile[EB/OL].[2023-06-03]. https://www.esru.strath.ac.uk/EandE/Web_sites/17-18/gigha/heat-demand-profile.html.
[21]	Decision intelligence,across the enterprise[EB/OL].[2023-06-03]. https://www.gurobi.com/.

神经网络	动作Actor	评价Critic
隐藏层数量	2	2
神经元数量	[64,32]	[64,32]
激活函数	tanh	ReLU
学习率	1e^-4	1e^-4
软更新参数	1e^-3	1e^-3
延迟更新频率	1	2
优化求解器	Adam optimizer	Adam optimizer

训练参数	参数值
经验回放缓冲区规模	1e⁶
经验回放起始数	100
回放经验批量大小	16
折扣率	0.99

基于深度强化学习的区域综合能源定价策略研究

Pricing strategy in district-level integrated energy market based on deep reinforcement learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 21

相关文章 15

编辑推荐

Metrics

本文评价

[1]	邹风华, 朱星阳, 殷俊平, 孟诗语, 江海燕, 陈爱康, 刘澜. “双碳”目标下建筑能源系统发展趋势分析[J]. 综合智慧能源, 2024, 46(8): 36-40.
[2]	邓振宇, 汪茹康, 徐钢, 云昆, 王颖. 综合能源系统中热电联产机组故障预警现状[J]. 综合智慧能源, 2024, 46(8): 67-76.
[3]	王俊, 田浩, 赵二岗, 舒展, 万子镜. 计及电动汽车共享储能特性的园区柔性资源低碳运行控制方法[J]. 综合智慧能源, 2024, 46(6): 16-26.
[4]	龚钢军, 王路遥, 常卓越, 柳旭, 邢汇笛. 基于能源枢纽的综合能源信息物理系统安全防护架构研究[J]. 综合智慧能源, 2024, 46(5): 65-72.
[5]	李云, 周世杰, 胡哲千, 梁均原, 肖雷鸣. 基于NSGA-Ⅱ-WPA的综合能源系统多目标优化调度[J]. 综合智慧能源, 2024, 46(4): 1-9.
[6]	史明明, 朱睿, 刘瑞煌. 交直流电力系统与供热系统联合经济调度[J]. 综合智慧能源, 2024, 46(4): 10-16.
[7]	陈勇, 肖雷鸣, 王井南, 吴健. 基于场景扩充的低碳综合能源系统高可靠性容量规划方法[J]. 综合智慧能源, 2024, 46(4): 24-33.
[8]	王京龙, 王晖, 杨野, 郑颖颖. 考虑多重不确定性的电-热-气综合能源系统协同优化方法[J]. 综合智慧能源, 2024, 46(4): 42-51.
[9]	钟永洁, 王紫东, 左建勋, 王常青, 李靖霞, 纪陵. 计及多时段尺度与地域分层的多能互补系统经济调度[J]. 综合智慧能源, 2024, 46(4): 52-59.
[10]	徐聪, 胡永锋, 张爱平, 由长福. 基于特征筛选的综合能源系统多元负荷日前-日内预测[J]. 综合智慧能源, 2024, 46(3): 45-53.
[11]	鲍海波, 梁浚杰, 李想. 园区供电系统广义负荷需求响应建模与分析[J]. 综合智慧能源, 2024, 46(1): 11-17.
[12]	张力, 金立, 任炬光, 刘小兵. 计及气象因素与分时电价影响的综合能源系统负荷调控策略研究[J]. 综合智慧能源, 2024, 46(1): 18-27.
[13]	李铂航, 李宏仲, 张民元. 计及负荷特性的综合能源系统低碳经济调度[J]. 综合智慧能源, 2023, 45(8): 72-79.
[14]	王永真, 韩艺博, 韩恺, 韩俊涛, 宋阔, 张兰兰. 基于知识图谱的数据中心综合能源系统研究综述[J]. 综合智慧能源, 2023, 45(7): 1-10.
[15]	曹紫霖, 王文静, 赵薇, 康利改, 高晓峰, 杨炀, 王金柱. 考虑需求响应的负荷密集区分布式综合能源系统优化调度研究[J]. 综合智慧能源, 2023, 45(7): 11-21.