基于强化学习的多级微电网中锂离子邱健蓄电池储能的能量管理系统

在本研讨中，一种强化学习（RL）算法被运用于多级微电网内电池储能体系（BESs）的能量办理体系（EMS）。该微电网无缝集成了光伏（PV）电站和风力涡轮机（WT），选用根据电池储能准Z源级联H桥多级逆变器（BES-qZS-CHBMLIs）的多级装备。双推迟深度确定性（TD3）战略梯度智能体被完结为RL智能体，用于在满意请求的电网功率的一起，考虑BES效率和寿命来调度BES之间的功率。两个4.8 kW的光伏电站和一个5 kW的风力涡轮机，集成不同额定容量的BES，经过BES-qZS-CHBMLI装备连接到电网，并在MATLAB中对生成的微电网进行仿真，以评价所提出的RL-EMS功能。此外，还完结了SOC-EMS、含糊逻辑EMS（FL-EMS）以及两种根据非线性算法（PSO和fmincon）的EMS，以便将结果与RL-EMS获得的结果进行比较。比照表明，根据RL的EMS优于其他办法，与根据SOC、fuzzy、fmincon和PSO的其他EMS相比，其有功功率的时间绝对误差积分（ITAE）改进高达18.09%，无功功率的ITAE改进达17.77%，有功功率的标准差（STD）改进达21.38%。此外，fmincon-EMS相较于其他办法也表现出明显改进，完结了...

引言

可再生能源（RES）作为传统燃气和化石燃料发电设备的环保代替计划正日益受到重视[1,2]。风力涡轮机（WT）和光伏（PV）体系因其可以在不排放污染物的情况下产生很多能量而锋芒毕露，成为极具前景的RES挑选。但是，这些能源的有效性取决于太阳辐照度、温度和风速等要素[3]。为了缓解RES能源的这种间歇性，通常会将电化学电池等储能体系（ESS）集成到体系中，以支撑发电或贮存能量供需求时运用[4,5]。
为了在生产和消费之间传输电能，inverters充当了至关重要的环节[6,7]。在现有的inverters中，Z-source inverters（ZSI）被证明比同类产品更适用于RES运用。Z-source inverters（ZSI）的固有特性——如其buck-boost才能、在各种运用（包括electric drives和RES）中的通用性、无需额外DC/DC转换器即可运用energy storage systems（ESS）的才能、DC/AC单级转换以及卓越的可靠性——使其在工业运用中极具吸引力[8,9]。ZSI的核心在于一种以X形网络为特征的根底拓扑结构，该网络由电感和电容对组成。这种inverter的基本概念涉及在零模式中插入shoot-through（ST）状况以扩大电压。针对根底ZSI规划提出了若干改进以增强其拓扑结构，其间quasi-ZSI（qZSI）引起了明显关注。这一变体因其较低的元件额定值、软启动才能和降低的噪声水平而备受喜爱[10]。
为了习惯大规模电力体系的需求，出现了很多quasi-ZSI规划，特别是构建在CHBMLI框架下的结构，被称为qZSI-based CHBMLI（qZS-CHBMLI）[11]。该拓扑结构便于无缝添加更多模块，而无需在逆变器输出端运用电压变压器以满意兆瓦级电力体系运用的需求，一起与其他多电平装备相比，它还能减小电网滤波器的尺寸[12]。此外，qZS-CHBMLI架构为每个模块供给了独立的maximum power point tracking（MPPT）和DC-link电压控制[13]，然后简化了这些模块的控制机制。
一个鲁棒的电池EMS关于保证运用BES来增强RES或存储所产生的可再生能源的体系有效运转至关重要。智能算法通常用于此目的，而强化学习（RL）作为其间最具有前景的挑选之一锋芒毕露。[14]提出了一种针对锂离子电池组的actor-critic（SAC）RL算法，以改进快速均衡充电。尽管该论文经过仿真证明了该战略的有效性，但与热电耦合模型及RL算法相关的计算成本或许会给电池办理体系的实时完结带来应战。这或许会限制其在资源受限环境或计算资源有限的体系中的运用可行性。[15]专心于运用根据buck-boost转换器的均衡器和RL算法优化特定设置下的均衡。但是，在实践场景中，电池组或许在尺寸、化学成分、电芯排列和环境条件方面存在差异，这或许会影响所提战略的功能和适用性。假如不解决可扩展性和习惯性问题，该均衡战略的有效性或许仅限于研讨中测试的特定条件，然后阻碍其在各种电池组装备和运转环境中的更广泛实用性。在[16]中，一种Q-learning算法被用作微网的BES EMS，以向指定区域供电。
事实上，选用RL算法作为BES-qZS-CHBMLI体系的EMS在很大程度上仍未得到探索。其复杂性在于需求为RL规划合适的环境和奖赏函数，而关于具有不同输出电平的多模块逆变器而言，这变得更具应战性。此外，整合电池效率和保护问题等考量要素，进一步增加了为该类体系规划RL EMS的复杂程度。
在本研讨中，提出了一种新颖的办法，运用单个TD3-RL智能体作为微电网的BES EMS，该微电网包括WT、PV电池以及BES-qZS-CHBMLI。该EMS考虑了多种要素，如每个模块的不同BES参数、波动的辐照度和风速曲线以及可变的电网需求，以评价其效能。选用传统控制办法来调节DC-link电压、电网电能质量、dq维电流重量以及电源的最优运转。RL智能体的任务是确定最合适的解决计划，以便促进从BES到满意体系运营商设定的电力需求的功率调度，一起兼顾BES的效率和寿命。值得注意的是，该办法的立异之处在于为微电网开发了一个根据RL的BES EMS，这是经过练习一个根据预界说目标的单个TD3-RL智能体完结的，无需事先了解体系动力学知识。这种办法经过运用单个智能体一起处理充电和放电模式，明显降低了练习复杂度，消除了对多智能体架构的需求，这是本作业的一项重要贡献。此外，所提出的学习办法使得RL智能体可以用于长时间仿真，而其练习在短时间内即可完结，然后加速了学习过程。另外，还引入了粒子群优化（PSO-EMS）、fmincon EMS、含糊逻辑（FL-EMS）以及一种SOC算法（“