Zum Inhalt springen

Deep Reinforcement Learning


PeWi

Empfohlene Beiträge

5 hours ago, skunk said:

Zum Thema Overfitting gab es ein paar interessante Ansätze einige Neuronen zeitweise zufällig zu deaktivieren. Das hat zur Folge, dass die restlichen Neuronen plötzlich gezwungen sind den Ausfall aus zu gleichen. Das soll sich positiv auf das Overfitting Problem auswirken.

Das nennt sich Dropout-Layer, wird hier u.a. auch verwendet. Zitat aus dem Paper:

"Regularisation techniques: Because a strong tendency to overfit was observed during the first experiments with the DRL trading strategy, three regularisation techniques are implemented: Dropout, L2 regularisation and Early Stopping."

  • Like 2
Link zu diesem Kommentar
Auf anderen Seiten teilen

Unter
https://financial-hacker.com/please-send-me-a-trading-system/
gibt es wieder einen interessanten Artikel.

(Der Blog Financial Hacker befasst sich mit diversen Themen beim algorithmischen Traden, von kritischen Besprechungen neu erfundenen Indikatoren bis hin zu Grundlagen der Systemerstellung. (Die Quelltexte der Artikel sind mit dem Tradingsystem Zorro geschrieben.))

Außer dem Vertrieb von Zorro an Leute, die Tradingsysteme selber schreiben wollen, schreiben sie auch komplette Systeme gemäß Kundenvorgaben:

"We do not invent systems, but program them from clients’ specifications. And we do not trade them, except for testing. But after almost 1000 systems, we can see a pattern emerging."


Zur besseren Übersicht werden die Kundensysteme in vier Gruppen eingeteilt:


"Risk premium systems gain higher profits by accepting higher risks. In that category fall many stock portfolio rotation and options trading systems.

Market model systems exploit a particular market inefficiency by detecting anomalies in price curves. Trend following, mean reversion, market cycles, statistical arbitrage, or HFT arbitrage are typical model based trade methods.

Data mining systems predict a price trend by evaluating signals with a machine learning algorithm. Those signals are usually derived from the order book or the price curve, but sometimes also from fundamental data or exotic data sources.

Indicator soups do not target a particular market inefficiency. They generate trade signals from a complex combination of traditional or newly invented and fashionable indicators, with no recognizable concept or idea behind."


Das Fazit ist ganz interessant und gibt der Männergruppe Monk mehr oder weniger recht. Die typischen erfolgreichen Systeme sind keine hochkomplexen, über-raffinierten und hochgezüchteten KI-Systeme, sondern die eher bodenständigen, simplen long-term Tradingsysteme wie z.B. Trendfolger.

Für das Thema unseres Threads hier - Deep Reinforcement Learning - ist dieser Artikel also nicht so ermutigend. 😜


"And the winner is…

The statistics are spoiled by the forex and crypto systems, half of which were losers. This is at least better than most such systems from trading books or trader forums, of which 90% already fail in a proper backtest. We got a surprising result in the ‘Indicator soup’ systems. You would normally expect that they all fail big time, since they are not based on a rational market model or trading method. But in fact almost every third indicator hodgepodge was successful, even in a reality check. Maybe the clients knew more than we did.

It is also a bit surprising that the most complex systems of all, the data mining systems that usually employ deep learning algorithms, did not fare much better. They have an acceptable success rate, but are easily surpassed by a certain sort of much simpler systems.

Of all systems we tested so far, the big winners were the long-term trading systems for ETFs or options. Of the option traders, the simpler systems had often better performance. It’s relatively hard to specify a losing option system, but some still managed it by using short expiration dates, complex entries or fancy rollovers. One of the very simple, but successful option traders was included in the Zorro scripts."
 

Die Ergebnistabelle habe ich als Grafik angehängt.

 

Noch ein interessanter Punkt - langsamere Systeme sind meistens profitabler als recht schnelle (das deckt sich mit meinen eigenen Erfahrungen 😉)

"We found another trend that is not visible in the table: With a few exceptions like HFT or arbitrage, there was an almost linear correlation between time frames and performances. Systems on one, five, or ten minute bars were rarely profitable. The good systems traded mostly on 1-hour, 4-hour, or 24-hour time frames. Faster is not always better."

 

Nicht vergessen sollte man, dass der Kundenkreis, der sich hier ein System programmieren lässt, nicht aus Profis besteht; die könnten es entweder gleich ganz selber oder haben eine eigenen Abteilung dafür.

Aber genau das ist auch das interessante - wir sind ja auch keine Profis, insofern sollten wir uns - wenn wir dem Artikel Glauben schenken wollen - auch eher auf die einfachen Geschichten beschränken und die Basics wie Position Sizing etc beachten. 🤔

 

 

zorro_erfolgreiche_systeme.png

Bearbeitet von PeWi
Formatierung
  • Thanks 2
Link zu diesem Kommentar
Auf anderen Seiten teilen

45 minutes ago, Männergruppe Monk said:

Nach meiner Erfahrung in der Entwicklung von professionellen System, macht es einfach, die bringen am meisten. Diese System funktionieren ne Zeit und ne Zeit nicht, also bau einen Mechanismus, der das managed und verdien Geld. Tharp hat hier funktionierende Rezepte gegeben.

Ich habe mich aufgrund deiner früheren Empfehlung einige Zeit mit Tharp beschäftigt und bin zu dem Schluss gekommen, dass seine Konzepte im hochvolatilen Kryptomarkt nicht so gut funktionieren wie bei Aktien o.ä.

Auch die beim oben erwähnten System Zorro mitgelieferten Strategie-Module verwenden verschiedene Algorithmen gleichzeitig und schalten jeden einzelnen per Equity Modeling nur ein, wenn er profitabel ist. Trotzdem hat mir die Strategie Z12 (Forex) über den Zeitraum eines Dreivierteljahres Schritt für Schritt 25 % meiner Balance vernichtet.

Hätte eigentlich nicht passieren dürfen, wenn Equity Modeling und risk adjusted Position Sizing so flutschen, wie du schreibst ...?

 

 

Link zu diesem Kommentar
Auf anderen Seiten teilen

39 minutes ago, Männergruppe Monk said:

Und ja, Tharp funktioniert auch für Coins, sogar noch besser.

Warum?

Aufgrund der höheren Volatilität muss der Stop zur Risikobegrenzung merklich weiter weg als üblicherweise bei Aktien. 3 ATR bei Aktien ist prozentual weniger als 3 ATR bei Coins.

43 minutes ago, Männergruppe Monk said:

Doch tun sie, dann musst Du noch mal ran 🙂

Das steht sogar irgendwo noch auf meiner ToDo-Liste, zusammen mit ein paar anderen Büchern. 😉

44 minutes ago, Männergruppe Monk said:

Was nicht bei Coins funktioniert ist ein Trend Ansatz.

Gerade langsame Trendfolge funktioniert bei mir noch am besten. Dann funktioniert aber Equity Modeling nicht so toll.

Was mich grundsätzlich mal reizen würde, wäre sowas wie eine Marketmaker-Strategie. Viele schnelle Trades, dann müsste EM auch gut funktionieren.

Link zu diesem Kommentar
Auf anderen Seiten teilen

17 hours ago, Männergruppe Monk said:

Nein, wenn du 3ATR nimmst bist Du auf System Ebene. Das ist nicht Tharp. Tharp is Equity Kurve Modelling.

Reden wir nicht über den gleichen Tharp?

Der Tharp, den ich meine, fängt sein Buch "Van Tharp's Definite Guide To Position Sizing" mit der Einführung der R-multiples an. Und darauf baut er sein ganzes System des Position Sizing auf.

17 hours ago, Männergruppe Monk said:

Kauf Dir das Buch von Irene Aldride "High frequency Trading", das ist wirklich gut.

Das habe ich aufgrund einer früheren Empfehlung sogar schon gelesen. Ich gestehe aber, dass ich mit dem Inhalt wenig anfangen konnte.

Link zu diesem Kommentar
Auf anderen Seiten teilen

2 hours ago, Männergruppe Monk said:

Sowas wie diese Tripple Barrier-Methode habe ich vor einiger Zeit bei meinen NN-Experimenten auch genutzt. Ich kann also bestätigen, dass diese Idee nicht un- intuitiv ist. 😉

Dein Artikel dazu ist nicht schlecht, noch interessanter fand ich allerdings Teil 1 mit den Hinweisen auf  fractional differentiation  und  volume bars.

2 hours ago, Männergruppe Monk said:

Wie gesagt, Du musst die Dinge verstehen, nicht einfach durchtesten und die richtigen Tools sind Key. Sonst sitzt Du da wie 100000 andere in 5 Jahren noch. Ich kann nicht mehr tun, als Dich in die richtige Richtung schubsen. Rest musst Du selber machen. 

Das ist leider auch ein zeitliches Problem. Im Gegensatz zu dir kann ich mich mit diesen Themen nicht hauptberuflich beschäftigen, sondern muss mich auf die Zeit und Energie, die abends noch bleibt, beschränken. Da bleibt zwangsweise viel Tiefe auf der Strecke.

Wenn man also mehr Engagement braucht, als ich leisten kann, dann wird's halt nix. 😜

Link zu diesem Kommentar
Auf anderen Seiten teilen

  • 2 Monate später...

Sagt mal, habe ich nirgendwo das richtige gefunden, oder ist es tatsächlich schwierig, die historischen Preistdaten for Kryptowährungen zu bekommen bis auf zB 1 min Ebene und nicht bloß auf Tageslevel? Denn dann muss man ja sofort anfangen die Daten selbst zu scrapen. ich will nämlich keine böse Überraschung haben, wenn mit Algorithemn anfange und dann merke es gibt ja gar keine daten!

 

Wisst ihr ob man mit irgedwelchen APIs (vllt sogar von denen der Börsen wie kraken?) intraday auf minuten basis Daten bekommt?

Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 2 Stunden schrieb Trado:

Wisst ihr ob man mit irgedwelchen APIs (vllt sogar von denen der Börsen wie kraken?) intraday auf minuten basis Daten bekommt?

OHLCV und/oder Tick Daten bekommst bei jeder "vernünftigen" Exchange per API, zB:

Für kraken: https://www.kraken.com/features/api#get-ohlc-data

Für Binance Spot Market: https://github.com/binance/binance-spot-api-docs/blob/master/rest-api.md#klinecandlestick-data

oder Monk würde sagen, nimm https://strategyquant.com/quantdatamanager/ (find das tool aber net so toll und ist eher was für Nicht-Programmierer) 

ansonsten auch noch hier: https://gitlab.com/tuangeek/cryptocurrency-historical-data

Bearbeitet von ¯\_(ツ)_/¯
Link zu diesem Kommentar
Auf anderen Seiten teilen

vor einer Stunde schrieb Trado:

Ja für kraken steh als Kommentar, dass man nur die letzten 12 h bekommt? Also ich hätte schon gerne bis zum letzten halben Jahr.

oh, das war früher mal anders .. aber gibt die historischen Daten jetzt hier als ZIP scheinbar:

https://support.kraken.com/hc/en-us/articles/360047124832-Downloadable-historical-OHLCVT-Open-High-Low-Close-Volume-Trades-data

vor 45 Minuten schrieb Trado:

Verwendet von euch einer eigentlich erfolgreich Reinforcement Learning oder einfachere Algorithmen fürs Krypto Traden?

Kennt ihr eine Community bzgl dazu vlt auf github oder reddit?

https://www.reddit.com/r/algotrading/

 

Bearbeitet von ¯\_(ツ)_/¯
  • Thanks 1
Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 2 Minuten schrieb Trado:

Suchen kann ich viel. Der Sinn, war ja nach Erfahrungen, ob das brauchbar ist, oder sich da nur Idioten rumtummeln.

keine Ahnung was du unter "brauchbar" verstehst und was für dich "Idioten" sind...  klar gibt es da auch Leute die noch ganz am Anfangen stehen und ggf offensichtliche Fragen stellen... Aber das gehört eben dazu, jeder fängt mal an....

Wenn du unter "brauchbar" verstehst, dass dir da jemand ne Strategie auf dem Silbertablett serviert. Dann bist da falsch....

 

Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 8 Minuten schrieb Männergruppe Monk:

Der Vorteil ist, ich kann ganz einfach ein CSV in OHLCV exportieren, ohne irgendwas zu machen. Das Tool ist ein Preisdatenmanagement, das ist ein wesentlicher Unterschied zu reinen API Daten, die ich selber programmieren muss. es geht nicht ums Programmieren, sondern die Zeit , die ich brauche 10000 Werte zu managen.

ja, hatte es vor kurzen erst mal wieder ausprobiert. Aber ist einfach nichts für mich...  Wenn man es nur rein für BackTesting verwendet, okay. dann macht man das ab und zu mal. Aber ich bekomme ohnehin per WebSocket die OHLCV Daten gepusht und schreibe die weg und bin jederzeit akutell. 

Aber sind einfach verschiedene Anwendungsfälle von uns beiden. Mir reicht das Tool einfach nicht aus :) 

Bearbeitet von ¯\_(ツ)_/¯
Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 7 Minuten schrieb Männergruppe Monk:

Das stimmt nicht, ich nutze das jeden Tag und habe alle Binance Preisdaten auf 1m Level um meine DL Tests zu machen. Ich habe die 90% geknackt.

 

Was meinst du damit (mit den 90%)? Kriegt man mit binance API histrosiche Daten auf 1 min level einfach so (bis zur welchem max Zeitraum?)?

Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 6 Minuten schrieb Trado:

Was meinst du damit (mit den 90%)? Kriegt man mit binance API histrosiche Daten auf 1 min level einfach so (bis zur welchem max Zeitraum?)?

17.08.2017

https://api.binance.com/api/v3/klines?symbol=BTCUSDT&interval=1m&startTime=1420070400000

 

 

Bearbeitet von ¯\_(ツ)_/¯
  • Like 1
Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 3 Minuten schrieb Männergruppe Monk:

Also, ich meinte mit Machine Learing und Deep Learning liege ich bei 86-94% Erkennungsrate, das hat sich so im grossen und ganzen in der Realität bestätigt.

Ich habe alle verfügbaren Preisdaten mit den genannten Tools von Binance runtergeladen.

Ansonsten habe ich glaube ich, oben meinen Ansatz schon erklärt. Auch nehme Matlab, das ist alles eingebaut, was man braucht, wenn man DL machen will. 

Also, ohne jtezt deine Beiträge alle gelseen zu haben (oder worum es geht). Was willst du denn mit deiner hohen Erkennungrate erkennen? Ich vermute mal du hast hier twas supervised gelernt...  Bringt dir das wirklich etwas, sodass du guten Profit machst? Denn mit einem 1-step LSTM modell kriegt man auch über 90% aber das bringt dir ja nix!

Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 3 Minuten schrieb Männergruppe Monk:

86-94% Erkennungsrate

das sit schon krass... Respekt dafür !

 

vor 1 Minute schrieb Männergruppe Monk:

1. Wenn Du klassische Algorithmen nimmst, kannst Du fast alles profitabel machen. Frage mal PeWi nach Tharp, der kann Dir da helfen.

kann ich so nur bestätigen. Hab die letzten Wochen viel mit Postionen Sizing und die Equity Curve von diversen Strategien durch - modelliert .... die Strategie ist schon fast nebensächlich dabei geworden...  

Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 4 Minuten schrieb Männergruppe Monk:

Ja echt jetzt.

1. Wenn Du klassische Algorithmen nimmst, kannst Du fast alles profitabel machen. Frage mal PeWi nach Tharp, der kann Dir da helfen.

2. RL ist nicht der Punkt. Du musst erst das Problem definieren und dann ML oder DL nehmen. Also Daten faktorisieren und versuchen, hier eine Erkennung aufzubauen. RL kommt dann oben drauf. Ist eigentlich ganz einfach.

Der eigentliche Ansatz ist die Tripple Barrier Strategie, die ist sehr effektiv. Schau einfach mal bei Google nach, da gibt es irgendwo eine Seite dazu.

Da ich Matlab nehme, nutze ich bestehende Software und kann alles einfach durchrechnen lassen. Danach setzt Du die eben Live ein. Mit Python geht das zwar auch, aber in meinen Augen ist das zuviel gedödel. Ich will Ergebnisse, nicht mehr Zeit mit Python verbringen.

Was mich aber immer zum kotzen bringt, ist die Binance API.

 

Sehr gut. Das werde ich mir mal genau anschauen! 

 

Link zu diesem Kommentar
Auf anderen Seiten teilen

Erstelle ein Benutzerkonto oder melde Dich an, um zu kommentieren

Du musst ein Benutzerkonto haben, um einen Kommentar verfassen zu können

Benutzerkonto erstellen

Neues Benutzerkonto für unsere Community erstellen. Es ist einfach!

Neues Benutzerkonto erstellen

Anmelden

Du hast bereits ein Benutzerkonto? Melde Dich hier an.

Jetzt anmelden
×
×
  • Neu erstellen...

Wichtige Information

Wir haben Cookies auf Deinem Gerät platziert. Das hilft uns diese Webseite zu verbessern. Du kannst die Cookie-Einstellungen anpassen, andernfalls gehen wir davon aus, dass Du damit einverstanden bist, weiterzumachen.