Gebotsverhalten in sequentiellen Elektrizitätsmärkten mit Deep Reinforcement Learning

  • Beschreibung

    Ein Umbau der Energieversorgung hin zu erneuerbaren Energien bringt weitreichende Systemänderungen mit sich. Aufgrund der zunehmend volatilen Stromeinspeisung und der damit verbundenen Unsicherheit hat sich die zeitliche Granularität auf den europäischen Energiemärkten in den letzten Jahren stark erhöht. Beispiele hierfür sind die Einführung des viertelstündlichen Intraday-Handels und die Verkürzung der Verträge für Regelenergie. Dieses zunehmend komplexe Marktdesign stellt Akteure auf dem Strommarkt, die Ihre Erzeugungskapazitäten auf immer mehr und immer kleinschrittigeren Märkten platzieren müssen, vor neue Herausforderungen.

     

    Eine optimale Gebotsstrategie für ein Kraftwerk lässt sich dabei nur unter Berücksichtigung aller der aufeinanderfolgenden Energiemärkten ableiten. Nur wenige Studien in der Literatur versuchen, die Interdependenzen sequentieller Märkte bei der Ableitung von Gebotsstrategien zu berücksichtigen, obwohl in manchen Studien eine ehrbliche Steigerung der Erträge durch koordiniertes Bieten auf mehren Märkten gefunden wurde. Viele der bisherigen Studien stützen sich auf klassische Methoden wie die stochastische Optimierung, welche allerdings mit ehebliche Rechenkomplexität und -zeit einhergeht und darüber hinaus aufgrund der Pre-Szenario Definition nicht für die Online Verwendung, während des Betriebs, geeignet ist.

     

    Einen vielversprechenden innovativen Ansatz stellt das Deep Reinforcement Learning (DRL) in diesem Kontext dar. Im Rahmen dieser Arbeit soll ein DRL Agent entwickelt werden der, angelehnt an bestehende Modelle mit stochastischer Optimierung, der auf dem Sekundärregelleistungsmarkt, dem Day-Ahead Markt und dem Intraday Markt agiert. Dafür sollte sich der/die Studierende mit der Anwendung von Reinforcement Learning in Auktionen auseinandersetzen und aufbauend darauf den Agenten entwickeln. Da Strommarktauktionen sich durch verschiedenen zeitliche Granularitäten auszeichnen, liegt eine Herausforderung in der Formulierung des DRL Umgebung und Parameter. Was ist ein Zeitschritt? Zu welchem Zeitpunkt werden welche Gebote abgegeben? Über welchen Aktionsraum verfügt der Agent? Dementsprechend gibt es hierbei die Möglichkeit nicht nur verschiedene DRL Methoden sondern auch Designentscheidungen zu vergleichen.

     

    Anforderungen

    Bestehende Programmierkenntnisse in Python.

    Vorkenntnisse aus der Energiewirtschaft (optional)

     

    Formales

    Die Arbeit kann in Deutsch oder Englisch geschrieben werden. Bitte bewerben Sie sich mit einem kurzen Motivationsschreiben (max. ½ Seite), Ihrem Lebenslauf sowie einer aktuellen Notenübersicht. Mit der Bearbeitung kann sofort begonnen werden. Die Arbeit kann auf Deutsch oder Englisch verfasst werden.

     

    Relevante Einstiegsliteratur:

    Stochastische Optimierung in Multi-Market Setting:

    Kraft, Emil; Russo, Marianna; Keles, Dogan; Bertsch, Valentin (2021): Stochastic optimization of trading strategies in sequential electricity markets. In: Working Paper Series in Production and Energy (58). DOI: 10.5445/IR/1000134346.

    Löhndorf, Nils; Wozabal, David (2022): The value of coordination in multi-market bidding of grid energy storage. In: Operations Research 0 (0), Artikel 0. DOI: 10.1287/opre.2021.2247.

    Literaturübersicht DRL im Strommarkt:

    Zhu, Ziqing; Hu, Ze; Chan, Ka Wing; Bu, Siqi; Zhou, Bin; Xia, Shiwei (2023): Reinforcement learning in deregulated energy market: A comprehensive review. In: Applied Energy 329, S. 120212. DOI: 10.1016/j.apenergy.2022.120212.

    Beispielhafte DRL Anwendungen in multiplen Strommärkten:

    Tran, Jacob; Gajewski, Lutz; Varghese, Nitty; Pfeifer, Pascal; Krahl, Simon; Moser, Albert (2021): Deep Reinforcement Learning for Modeling Market-Oriented Grid User Behavior in Active Distribution Grids. In: 2021 IEEE PES Innovative Smart Grid Technologies Europe (ISGT Europe). 2021. Espoo, Finland, 18.10.2021 - 21.10.2021: IEEE, S. 1–6.

    Ye, Yujian; Qiu, Dawei; Sun, Mingyang; Papadaskalopoulos, Dimitrios; Strbac, Goran (2020): Deep Reinforcement Learning for Strategic Bidding in Electricity Markets. In: IEEE Trans. Smart Grid 11 (2), S. 1343–1355. DOI: 10.1109/TSG.2019.2936142.

    Di Cao; Hu, Weihao; Xu, Xiao; Dragičević, Tomislav; Huang, Qi; Liu, Zhou et al. (2020): Bidding strategy for trading wind energy and purchasing reserve of wind power producer – A DRL based approach. In: International Journal of Electrical Power & Energy Systems 117, S. 105648. DOI: 10.1016/j.ijepes.2019.105648.