基于深度强化学习的电动汽车虚拟电厂优化调度策略

安科瑞鲁一扬15821697760

摘要：众多电动汽车（EV）用户的无序充电易引发电网负荷大幅波动，威胁电网安全稳定。伴随 EV 入网（V2G）技术的应用，将 EV 充电站及其周边分布式新能源发电整合为虚拟电厂（VPP）并优化调度，既利于提升 EV 用户充放电的经济性与满意度，又能提高分布式新能源利用率，平抑电网负荷波动。然而，EV 充电站整体充放电负荷系大量个体 EV 用户随机行为的集合，难以用数学模型精准表述。针对含 EV 的 VPP，提出一种基于深度强化学习的交互式调度框架，旨在最大化 VPP 内 EV 用户的总效益。VPP 控制中心作为智能体决策 EV 个体的充放电动作，无需掌握个体详细模型，通过与区域电网环境交互，持续学习并更新动作策略，以此突破集中式优化方法的局限。该优化调度框架借助深度确定性策略梯度（DDPG）算法求解。仿真结果显示，相较于集中式优化方法，此优化算法提升了各 EV 用户的效益，使 EV 充放电负荷与分布式新能源发电协同实现削峰填谷，优化了 VPP 的整体运行性能。

关键词：虚拟电厂；电动汽车；V2G；分布式新能源；深度确定性策略梯度算法；优化调度；强化学习

一、引言

大量电动汽车的无序充电不但会干扰电网的安全稳定运行，还会给用户带来经济损失。实际上，EV 充电负荷不但调节弹性较大，而且借助 V2G 技术可实现发电与用电侧的角色转换，具有可观的优化调度潜力。构建虚拟电厂整合区域配电网中的 EV 充放电负荷与分布式新能源发电资源，合理引导 EV 用户的充放电行为，既能削减 EV 车主的充电费用，提高充电需求满足度，又能促进 EV 充放电负荷与分布式新能源发电协同配合，提升新能源利用率，平缓 VPP 整体负荷的波动。VPP 是电力系统智能配电网运行的关键技术，通过设立 VPP 控制中心，可将配电网中的 EV 充放电负荷与分布式新能源聚合成一个整体参与电网运行，从而更好地挖掘 EV 充放电负荷与分布式新能源的价值与效益。

不过，在包含 EV 充放电负荷及分布式新能源的 VPP 里，EV 充电站的总负荷特性是大量个体 EV 用户随机充放电行为的聚合，难以对其进行精确的数学建模与准确预测，这给基于负荷预测开展优化计算的传统集中式调度模式带来了挑战。解决此难题的有效途径之一是采用基于强化学习（RL）方法的交互式优化调度模式。在该模式下，VPP 控制中心作为智能体，涵盖 EV 个体用户及分布式新能源的区域电网成为智能体所处的环境。VPP 控制中心在不了解 EV 个体用户详细模型的情况下确定 EV 个体的充放电动作决策，通过与区域电网交互评估当前决策的成效，不断学习并更新动作策略，直至获取令人满意的优化决策。基于智能体与环境间信息交互的 RL 方法能够在缺乏精确数学模型时模拟顺序决策问题，并对环境作出精准响应。这种基于 RL 的交互式调度模式克服了传统集中式调度的不足，有望在 VPP 优化调度中得到应用。

二、含 EV 的 VPP 优化调度模型

考虑一个 VPP，其包含 EV 充电站与分布式新能源发电两类对象。对该 VPP 在 T = 24h 范围内予以优化调度，时间段表示为 t = {1, 2, …, T}，决策间隔 Δt = 1h。

假定 VPP 中充电站内充电桩数量充足，在 T 时间范围内共有 I 辆 EV 随机进入充电站，每辆 EV 进站后即刻连接充电桩进入上线状态；当 EV 的电池荷电状态（State of Charge，SOC）达到充电上限后便自动断开充电桩连接，转为离线状态。第 i 辆 EV 在充电站内的在线时段表示为集合 Tion = {tion, …, tiout}，其中 tion 和 tiout 分别为上线和离线时间。VPP 控制中心作为智能体，在 Tion 时段内能够通过对充电桩的智能控制，决定第 i 辆 EV 的充放电功率，而在其他时段该 EV 不进行任何充放电活动。

VPP 中的分布式新能源发电资源由若干分布式风机单元和分布式光伏板单元构成，VPP 控制中心在分布式发电资源的可发电功率范围内确定其实际出力。

三、基于 RL 的 VPP 优化调度方法

传统的集中调度模式难以精准预测 EV 个体用户充放电负荷，为此，基于 RL 方法提出一种交互式的 VPP 优化调度框架。VPP 控制中心作为智能体，无需事先知晓 EV 个体用户及分布式新能源的精确模型与负荷预测信息，而是借助充电桩与 EV 个体用户交互，即下达充放电动作指令并获取用户奖励值，经 RL 逐步形成令人满意的调度策略。

RL 是一个包含（S, A, P, R, γ）五个元素的马尔可夫决策过程，其中：S 为智能体的状态空间；A 为智能体的动作空间；P 为状态转移概率；R 为奖励函数；γ 为折扣因子。本文构建的 VPP 优化调度模型可描述为图 1 所示的 RL 框架，其中 VPP 控制中心为智能体（Agent），VPP 区域电网为环境（Environment），涵盖状态（State）、动作（Action）和奖励（Reward）三大要素。

图1 用于VPP优化调度的RL框架

四、解决方案

图2 平台结构图

充电运营管理平台是基于物联网和大数据技术的充电设施管理系统，可实现对充电桩的监控、调度与管理，提升充电桩利用率和充电效率，改善用户充电体验与服务质量。用户可通过 APP 或小程序提前预约充电，避免在充电站排队等候，同时为充电站提供更精确的充电需求数据，便于后续调度与管理。借助平台可实时监控充电桩的功率、电压、电流等参数，及时察觉并处理充电桩故障与异常情况，对充电桩功率加以控制与管理，确保其在合理功率范围内充电，防止对电网造成过大负荷。

五、安科瑞充电桩云平台具体的功能

平台除了对充电桩的监控外，还对充电站的光伏发电系统、储能系统以及供电系统进行集中监控和统一协调管理，提高充电站的运行可靠性，降低运营成本，平台系统架构如图3所示。

图3 充电桩运营管理平台系统架构

大屏显示：展示充电站设备统计、使用率排行、运营统计图表、节碳量统计等数据。

图4 大屏展示界面

站点监控：显示设备实时状态、设备列表、设备日志、设备状态统计等功能。

图5 站点监控界面

设备监控：显示设备实时信息、配套设备状态、设备实时曲线、关联订单信息、充电功率曲线等。

图6 设备监控界面

运营趋势统计：显示运营信息查询、站点对比曲线、日月年报表、站点对比列表等功能。

图7 运营趋势界面

收益查询：提供收益汇总、实际收益报表、收益变化曲线、支付方式占比等功能。

图8 收益查询界面

故障分析：提供故障汇总、故障状态饼图、故障趋势分析、故障类型饼图等功能。

图9 故障分析界面

订单记录：提供实时/历史订单查询、订单终止、订单详情、订单导出、运营商应收信息、充电明细、交易流水查询、充值余额明细等功能。

图10 订单查询界面

六、产品选型

安科瑞为用户提供慢充和快充两种充电方式，以及便携式、壁挂式、落地式等多种类型的充电桩，涵盖智能 7kW/21kW 交流充电桩，30kW 直流充电桩，60kW/80kW/120kW/180kW 直流一体式充电桩，以满足新能源汽车行业快速、经济、智能运营管理的市场需求。实现对动力电池快速、高效、安全、合理的电量补给，同时为提高公共充电桩的效率和实用性，具备智能监测：充电桩智能控制器对充电桩进行测量、控制与保护；智能计量：输出配置智能电能表，开展充电计量，具备完善通信功能；云平台：可连接云平台，实现实时监控、财务报表分析等；远程升级：具备完善通讯功能，可远程升级设备软件；保护功能：有防雷保护、过载保护、短路保护，漏电保护和接地保护等；适配车型：满足国标充电接口，适配所有符合国标的电动汽车，适应不同车型的不同功率。以下是具体产品的型号和技术参数。

产品图	名称	技术参数
	AEV200-AC007D	额定功率：7kW 输出电压：AV220V 充电枪：单枪 充电操作：扫码/刷卡 防护等级：IP65 通讯方式：4G、Wifi 安装方式：立柱式/壁挂式
	AEV210-AC007D	额定功率：7kW 输出电压：AV220V 充电枪：单枪 人机交互：3.5寸显示屏 充电操作：扫码/刷卡 防护等级：IP54 通讯方式：4G、Wifi 安装方式：立柱式/壁挂式
	AEV300-AC021D	额定功率：21kW 输出电压：AV220V 充电枪：单枪 人机交互：3.5寸显示屏 充电操作：扫码/刷卡 防护等级：IP54 通讯方式：4G、Wifi 安装方式：立柱式/壁挂式
	AEV200-DC030D	额定功率：30kW 输出电压：DC200V-750V 充电枪：单枪 人机交互：7寸触摸屏 充电操作：扫码/刷卡 防护等级：IP54 通讯方式：以太网、4G（二选一）
	AEV200-DC060D/ AEV200-DC080D	额定功率：60kW/80kW 输出电压：DC200V-1000V 充电枪：单枪 人机交互：7寸触摸屏 充电操作：扫码/刷卡 防护等级：IP54 通讯方式：以太网、4G（二选一）
	AEV200-DC060S/ AEV200-DC080S	额定功率：60kW/80kW 输出电压：DC200V-1000V 充电枪：双枪 人机交互：7寸触摸屏 充电操作：扫码/刷卡 防护等级：IP54 通讯方式：以太网、4G（二选一）
	AEV200-DC120S/ AEV200-DC180S	额定功率：120kW/180kW 输出电压：DC200V-1000V 充电枪：双枪 人机交互：7寸触摸屏 充电操作：扫码/刷卡 防护等级：IP54 通讯方式：以太网、4G（二选一）
	AEV200-DC240M4/ AEV200-DC480M8/ AEV200-DC720M12	额定功率：240kW/480kW/720kw 输出电压：DC150V-1000V 充电终端支持:常规单双枪终端 防护等级:IP54
	AEV200-DC250AD	最大输出：250A 1个充电接口； 支持扫码、刷卡支付； 4G、以太网通讯（二选一）
	AEV200-DC250AS	最大输出：250A 2个充电接口； 支持扫码、刷卡支付； 4G、以太网通讯（二选一）

七、现场图片

八、结论

本文基于 RL 框架，研究了含 EV 充放电负荷与分布式新能源发电的 VPP 优化调度问题，以实现 VPP 运行总效益最大化为目标。针对上述 VPP，提出基于 RL 的交互式调度框架。交互式调度助力 EV 用户达成较低的充电费用与较高的充电满意度。后续将针对电价动态变化机制下含 EV 充放电负荷的 VPP 优化调度问题展开研究，拟在 VPP 中增添储能单元，使其与 EV 充放电负荷和分布式新能源发电协同配合，进一步优化 VPP 运行性能。

审核编辑 黄宇