基于强化学习元启发式算法的动态可重构微电网中混合邱健蓄电池-氢储能随机能量管理

由于其清洁且灵活的特性，氢能在全球动力体系脱碳中发挥着至关重要的作用，使其成为未来微电网的要害要素。但是，将具有高渗透率Renewable Energy Sources（RESs）的微电网接入配电网络会带来诸如功率损耗添加和电压误差等应战。本文提出一个归纳结构，经过动态网络重构来处理这些问题。采用了一种混合电池-氢能储能体系，其间电池供给快速响应以完成短期平衡，而氢能则在RESs长时间短缺期间保证长时能量可靠性。引进需求响应以增强负荷灵活性，一起运用Monte Carlo模拟处理RESs发电、负荷需求和氢气消耗的不确认性。构建随机多方针优化问题，旨在最小化体系本钱、功率损耗和电压误差，一起确认最佳微电网方位。开发了一种新式Scale-Invariant Value Adaptive Weight（SIVAW）办法，以有用处理多方针权衡。运用所提出的Secretary Bird Optimization Algorithm with Q-Learning（SBOA-QL）进行优化，其间强化学习经过依据过去体现调整查找战略来进步收敛速度和鲁棒性。成果表明，动态重构使功率损耗和电压误差别离下降了30.23%和31%。

引言

氢能因其清洁、多功能和轻量化的特性日益遭到重视，凸显了其重塑全球动力体系并克服环境应战的潜力[1]。这种不断增长的兴趣体现在对氢气稳步上升的需求上，2024年需求量已接近1亿吨，估计到2050年每年将飙升至5.85亿吨[2]，[3]。这一不断增长的需求强调了从可再生动力（RESs）出产氢气的重要性，这为完成动力部分脱碳并在2050年前完成净零碳排放供给了要害途径[2]。微电网（MGs）是可以独立运转或与配电网和谐运转的紧凑型电力网络。能量办理体系（EMS）关于和谐MG中的组件至关重要，例如风力涡轮机（WT）、光伏（PV）、微型燃气轮机（MT）和柴油发电机（DG），以保证最佳且高效的运转。
间歇性RES在MGs中日益添加的集成给供需平衡带来了重大应战。经过EMS，Energy Storage Systems（ESS）已成为MG中的一项要害技能，用以缓解这种动摇性，然后进步体系的可靠性、电能质量和经济可行性[4]，[5]，[6]，[7]。在近期的研讨中，所探讨的两种首要方式的ESS是Battery Energy Storage Systems（BESS）[4]，[5]，[8]，[9]，[10]，[11]，[12]，[13]，[14]和Hydrogen Energy Storage Systems（HESS）[1]，[6]，[7]，[15]。BESS作为一种高度灵活且有用的处理方案，用于办理功率动摇。BESS的首要作用是进步MG的经济性和运转功能[8]，[10]。HESS中的电解槽用于将剩余电力转化为氢气并贮存在Hydrogen Storage Tank（HST）中，随后经过Fuel Cell（FC）将其重新转化为电力，然后供给可靠且具有本钱效益的电源供给[6]，[15]。
处理WT和PV等RES以及负荷和氢气需求中的不确认性，关于保证MG可靠、安全且经济的运转至关重要。这些不确认性源于依靠天气的RES发电的随机性以及消费方式的可变性。为了处理这些问题，采用了场景生成和猜测等不确认性处理技能。场景生成一般经过蒙特卡洛模拟（MCS）等办法完成，经过生成不确认变量的多个场景来对广泛的或许成果进行建模[1]，[14]。另一方面，猜测办法运用历史数据来猜测不确认参数的未来值，有助于做出前瞻性的决议计划[4]，[11]，[12]。已有几项研讨施行了这些技能以有用办理不确认性。例如，文献[1]运用MCS处理了WT、PV、负荷需求和氢气需求的不确认性，而文献[14]专门针对WT和负荷需求运用了MCS。在文献[11]中，猜测办法被用于负荷需求；而在文献[4]和[12]中，该办法被用于WT、负荷和氢气需求，这证明了两种办法在EMS中办理不确认性的广泛适用性。
EMS经过元启发式算法和求解器进行优化，以保证高效且具有本钱效益的运转。例如，运用GUROBI求解的Mixed-Integer Linear Programming（MILP）最小化了包含资本、运营、退化和电网本钱的总体系本钱，这些本钱被表述为一个单一的方针函数[4]。同样地，用CPLEX求解的MILP专心于最小化总本钱，其间包括运营本钱、碳交易本钱和风电弃风损失[5]。Golden Jackal Optimization（GJO）经过考虑电网本钱、发电机启动本钱、RES本钱、DR激励和功率损耗来处理一个多方针函数[8]。在另一种办法中，采用了Neural Network and Optimization Decoupled Heuristic（NNODH）来下降总本钱，该本钱一起计入了运营和BESS退化本钱[9]。此外，运用带有GUROBI的MILP来最小化与BESS出资和替换、热发电、电网交换以及罚款相关的本钱[10]，而依据CPLEX的MILP则最小化归纳运营和出资本钱[11]。另一个依据MILP的多方针函数运用Rainflow Algorithm（RA）求解，旨在最大化净现值并最小化折现回收期[13]。Particle Swarm Optimization（PSO）被应用于最小化一个包含出资、运转维护、替换和电网相关本钱的单一方针函数[1]。Quantum Beluga Whale Optimization（QBWO）遵从相似的单方针结构...
鉴于上述讨论，大多数研讨并未考虑MGs与配电网的和谐。将MG连接到配电网可以完成能量交换，然后进步可靠性和经济功能。由于这些优势，近年来与配电网的和谐已日益增多[16]。比较之下，独立运转会约束灵活性，并使得办理供需失衡变得愈加困难。但是，RESs固有的随机性和不确认性会导致明显的需求动摇，这或许会损害配电网的稳定性并下降电压质量。为了缓解这些应战，高效整合其他资源（如DG、MT、ESS和Demand Response (DR)）至关重要[16]。在RES发电量较低的时期，DG和MT可供给快速且可靠的备用电源，保证供给的连续性。ESS有助于在低需求期间吸收剩余能量并在顶峰需求期间开释，然后平衡负荷改变。一起，DR经过依据电网状况调整或转移顾客需求来增强电网灵活性，进一步支撑电压调理和体系稳定性。
大多数现有研讨首要集中在以最小化MG运转总本钱为方针的单方针模型上，往往疏忽了MG与配电网和谐这一要害方面[16]。但是，当MG接入配电网时，会引进额外的功率损耗和电压误差，特别是如果连接点没有经过战略性挑选的话。当MG连接到非最优母线时，这些影响更为明显，会导致损耗添加和电压质量下降，然后或许损害整个网络的可靠性和功率[17]。因而，不仅要最小化总运转本钱，还必须一起减少功率损耗和电压误差。这凸显了对可以归纳处理所有这些功能指标的多方针优化结构的需求。此外，确认MG在配电网中的最佳放置方位至关重要，由于合理的选址可以明显下降功率损耗和电压动摇，然后进步体系稳定性和运转功率[17]。一个拟定良好的多方针办法可以完成统筹经济、技能和运转因素的平衡决议计划，保证MG与配电网的可继续且和谐的集成。
为了求解多方针函数，已经开发了多种办法，如 $\epsilon$-constraint [18]、weighted sum [19] 和 Value Adaptive Weight (VAW) [20]。VAW优于$\epsilon$-constraint和weighted sum，由于它能依据当前的方针值动态调整权重，保证所有方针的奉献保持平衡，即便它们的量级存在明显差异。$\epsilon$-constraint办法生硬地将一个方针固定为约束条件，约束了灵活性，而weighted sum往往难以处理量级问题。但在VAW办法中，权重的挑选仅依据方针函数的不确认性，未考虑其敏感性。为了处理这一局限性，可以经过对数缩放引进scale-invariant机制并将其整合到VAW办法中，使权重挑选可以一起统筹敏感性和不确认性[21]。因而，Scale-Invariant VAW (SIVAW) 办法会优先考虑具有更高敏感性和不确认性的方针，然后保证更平衡且稳健的权重分配。
BESS 的一个首要缺点是其存储时长有限，由于容量和放电约束，一般仅适用于短期动力需求[9]，[10]。这使得它们在应对长时间的低发电量时作用较差。HESS 经过完成长时储能克服了这一局限性，由于它可以长时间贮存大量能量。在 HESS 中，氢气可以以紧缩气态氢（CGH2）、液氢（LH2）、低温紧缩氢（CCH2）的方式贮存，也可以以固体/材料基方式（金属/络合物氢化物、MOFs/COFs/沸石/碳吸附剂）、化学载体（例如 LOHCs、氨、甲酸）以及地质洞穴（如盐层）中贮存。在紧缩气体 HESS 拓扑结构中，剩余的可再生电力驱动 PEM 电解槽产生氢气，该氢气经过枯燥并被紧缩至 350–700 bar 的高压 Type IV 复合储罐中；HST 起到缓冲作用并满足氢气需求，以便在低发电期间经过 PEM 燃料电池进行后续再转化，然后供给可靠且具有本钱效益的电力[22]。
HESS由于其相关技能资本本钱高昂，这构成了广泛施行的首要障碍[7]。这种高本钱一般并非由HST本身引起，而是首要受制于贵重的电力转化组件、用于出产氢气的电解槽以及用于将其重新转化为电力的FC[23]。另一个要害缺点是电-氢-电循环进程中产生的明显能量损失，这导致其往复功率低于BESS[24]。但是，跟着HESS技能的成熟，电解槽的出资本钱估计每年将下降9%–13%，而FC和HST的本钱估计将别离下降11%–17%和10%–13%[16]。混合BESS–HESS体系结合了两种技能的优势，以克服各自的局限性。BESS为短期动力需求供给高往复功率和快速响应，而HESS则保证在长时间供给缺口期间完成长时储能[16]，[25]。经过协同工作，混合BESS–HESS体系优化了EMS，减少了对单一技能的依靠。这增强了整体体系的可靠性，进步了功率，并缓解了与独立BESS或HESS相关的本钱和功能缺点。
元启发式算法更适合EMS问题，以保证高效且具有本钱效益的运转，而GUROBI和CPLEX等求解器在寻找大局最优解时或许会遇到困难[26]。它可以高效地探究大型查找空间并供给近乎最优的处理方案。最近开发的Secretary Bird Optimization Algorithm（SBOA）展现出了卓越的功能，这归功于其混合打猎战略，该战略比PSO、ABC、GJO和QBWO更有用地平衡了探究与开发。其自适应操控因子完成了动态决议计划，并进步了收敛速度。此外，SBOA独特的协作与侵略性查找行为相结合，增强了优化问题的解精度和鲁棒性[27]。但SBOA依据启发式的探究与开发操控，这或许导致过早收敛或过度探究。这一问题经过集成强化学习中的Q-Learning（QL）得到了处理，使算法可以依据过去体现自适应地挑选动作[28]。它引导算法在探究与开发之间进行动态挑选，然后进步查找功率。因而，SBOA-QL可以进步收敛精度、更好的自适应才能以及更强的跳出局部最优的才能。
上述研讨未考虑配电网中的动态重构，而这是现代电力体系办理的要害方面。动态重构涉及经过操控开关的开闭状况来改变网络的拓扑结构。这种才能使体系可以实时适应不断改变的运转条件，例如需求动摇以及所连接MGs的发电改变。经过完成这种灵活性，动态重构进步了体系的可靠性，改善了电压分布，并明显下降了功率损耗。此外，它还经过进步网络的整体运转功率促进了更好的负荷平衡[18]。因而，在配电网规划和运转中考虑动态重构具有明显优势，包括增强韧性、下降运转本钱以及改善动力资源的整合。
上述研讨也未考虑随机优化，由于它们仅重视确认性办法。在微电网的能量办理中，随机优化更具优势，由于它清晰考虑了可再生动力发电、负荷以及氢气需求动摇的不确认性[29]。与假定输入值固定的确认性办法不同，随机模型可以捕捉现实国际的变异性，并供给更稳健、可靠的运转战略。因而，随机优化可用于增强不确认条件下的决议计划拟定，并保证微电网运转的可靠性和经济功能。
因而，本文提出了一种配电网内的随机动态重构战略，并结合了混合BESS–HESS体系。为了增强电网稳定性，引进DR以在发电量低时转移或减少用电需求，然后平衡供需。这还经过进步负荷灵活性来应对发电的固有动摇性，然后支撑RESs的有用集成。RES发电、负荷需求和氢气需求的各种不确认性采用MCS办法进行处理。此外，经过最小化功率损耗和电压误差来确认MGs在配电网中的最佳方位。构建了一个考虑总本钱、功率损耗和电压误差的随机多方针优化结构。总本钱包括资本本钱、运转维护本钱、退化本钱、替换本钱、电网交互本钱以及DR相关本钱。为处理该多方针问题，采用了一种新式SIVAW办法，该办法依据每个方针的敏感性和不确认性分配权重，保证优化进程平衡且稳健。最终，运用所提出的SBOA-QL算法对EMS进行优化，该算法进步了收敛精度，增强了适应性，并强化了跳出局部最优的才能。表1展示了本研讨与现有文献比较的独特性。本研讨的首要奉献如下：

• 本文独特地将动态网络重构与混合BESS–HESS的战略性运转相结合。这种集成办法经过运用短时和长时储能增强了电网灵活性，进步了可靠性，并明显下降了体系损耗和电压动摇。
• 本文开发了一个随机多方针结构，一起最小化总本钱、功率损耗和电压误差。与大多数侧重于确认性和依据本钱办法的研讨不同，本研讨处理了将MG集成到配电网络中的要害技能应战，包括确认其最佳方位。
• 提出了一种新颖的SIVAW办法来处理多方针问题。该办法经过依据每个方针函数的灵敏度和不确认性分配权重，逾越了现有技能，然后保证决议计划进程愈加平衡、稳健且智能化。
• 提出了一种新式SBOA-QL算法用于优化EMS。经过集成强化学习，SBOA-QL展现出更强的适应性、更高的收敛精度以及更优的跳出局部最优的才能。