Deep Reinforcement Learning

[HansWurst80]

vor 14 Minuten schrieb Männergruppe Monk:

Dann muss ich wohl sein Buch nochmal lesen, was mit Widmung in meinem Regal steht.

Aber die Aussage war trotzdem richtig. Preise sind fraktal.

Schon richtig 🙂 Er hat die Fraktaltheorie auch irgendwie darauf angewandt, war's bei der Varianz der Variablen??? Ich habe nur noch die Levy-C-Kurve vor Augen, ist auch zu lange her, dass ich mich damit beschäftigt hab 😅 Mit Widmung, nicht schlecht 👍😄

Bearbeitet 3. Februar 2021 von HansWurst80

[HansWurst80]

vor 16 Minuten schrieb Männergruppe Monk:

Das Buch hat mir mal jemand geschenkt, weil ich ihm geholfen habe. Den Bollinger habe ich selber getroffen. Hat mich sehr beindruckt. Nur durfte man da keine Selfies machen.

Ja, so ungefähr. Ich habe mir früher meine Preisdaten damit selber gemacht, damit ich besser testen konnte. Andere können damit die Dynamik das Marktes beurteilen, aber das habe ich mir nie angesehen.

Es gibt noch den Fraktal Indikator von John Ehlers, der hat das weiterverwendet. (Ich nenne das immer Dreiecke schieben 🙂). Aber der ist gut beim Trend Trading.

Das sind ja echt schöne Erlebnisse und Erinnerungen 🙂 ...ich glaube, ich muss mich auch mal wieder mehr damit beschäftigen - wenn ich nur die Zeit für alles finden würde, was mich so interessiert 😅 Für die technische Analyse absolut sinnvoll, allerdings sehe ich gerade im Kryptobereich die Marktpsychologie bis dato noch relevanter/effektiver 😄

Bearbeitet 3. Februar 2021 von HansWurst80

[HansWurst80]

vor 18 Stunden schrieb Männergruppe Monk:

Das ist so wie Segler und Motorbootfahrer, wenn Du den Vergleich verstehst.

Absolut, ich mache beides 😅 Das war jetzt keine Metapher, aber trifft es trotzdem ganz gut - und beides hat absolut seine Daseinsberechtigung, es kommt halt immer auf den konkreten Fall an - aber ja, Segler und Motorbootfahrer kann auch bis Krieg bedeuten 😄 Mein Motto ist: Nur das Beste aus allen Welten 😇

Bearbeitet 4. Februar 2021 von HansWurst80

[PeWi]

22 hours ago, Männergruppe Monk said:

22 hours ago, PeWi said:

Andere Frage - zu den Z-Scores: Derzeit handle ich die verschiedenen Coins nicht unabhängig voneinander, sondern ranke sie nach gewissen Kriterien und nehme dann die oberen. Reicht es, einen Z-Score nur auf die Strategie zu berechnen oder müsste man für jeden Coin der Strategie einzeln einen mitführen?

Das verstehe ich nicht mit dem Z-Score. Bitte erklären. Auf was willst Du den Z-Score berechnen ?

Ich meinte den Z-Score, den man aus der Folge von 0 und 1 (Verlust- und Gewinntrades) berechnen kann.

https://www.forextraders.com/forex-education/forex-money-management/using-the-z-score-to-determine-trade-size/

https://www.mql5.com/de/articles/1492 (Kapitel über Z-Score)

Du hattest mal geschrieben, dass du eine Strategie, die long und short gehen kann, zur besseren Beurteilung in einen Long- und einen Short-Zweig aufsplitten und beide unabhängig voneinander equity-modellieren würdest.

Insofern: Würdest du eine Strategie, die mehrere Coins (abhängig voneinander, da Auswahl durch Ranking) auch in mehrere Zweige (nämlich ein Zweig pro konkreter Coin) aufsplittten? Oder spielt das deiner ANsicht nach keine Rolle, und man kann die Strategie als ganzes equity-modellieren?

[PeWi]

On 2/4/2021 at 9:52 PM, Männergruppe Monk said:

Verstanden ?

Halbwegs.

Ich muss mir das ein paarmal in Ruhe anschauen und durchdenken können. Derzeit reicht meine verfügbare Zeit nicht, um mich mit deinem ganzen Zeug mal gründlich zu befassen.

Bearbeitet 5. Februar 2021 von PeWi
Tippfehler

[PeWi]

2 hours ago, Männergruppe Monk said:

Wenn Du links oder rechts bist, hast Du einen Gewichteten Zustand. Also System Gewinnt oder verliert viel. In der Mitte einen Gauss Zustand, also random. 

Du tradest das System life, wenn das System rechts ist.

Gut und einleuchtend erklärt.

2 hours ago, Männergruppe Monk said:

Hast Du das Buch von Irene Aldridge über HFT Trading ? Da ist das gut erklärt.

Da muss ich nochmal reinschauen. Obwohl deine obige Darlegung schon gut verständlich ist. 👍

[Trado]

Also die kraken API ist etwas unverständlich. Frage mich immer noch wie ich einfach die OHLC Daten zu einem bestimmten Zeitraum, oder einfach der letzten Woche bis heute bekomme... Auch seltsam, dass man da mit sekunden arbeiten muss. 

Was soll denn "Begin time of interval, in seconds since epoch" epoch bittschön sein? 

https://docs.kraken.com/websockets/#message-ohlc

[¯\_(ツ)_/¯]

vor 16 Minuten schrieb Trado:

Also die kraken API ist etwas unverständlich. Frage mich immer noch wie ich einfach die OHLC Daten zu einem bestimmten Zeitraum, oder einfach der letzten Woche bis heute bekomme... Auch seltsam, dass man da mit sekunden arbeiten muss. 

Was soll denn "Begin time of interval, in seconds since epoch" epoch bittschön sein? 

https://docs.kraken.com/websockets/#message-ohlc

https://de.wikipedia.org/wiki/Unixzeit

(Hinweis für die Zukunft: Manche Programmiersprachen und Exchanges verwenden Miiliseconds) 

Bearbeitet 6. Februar 2021 von ¯\_(ツ)_/¯

[Trado]

erledigt.

Bearbeitet 6. Februar 2021 von Trado

[¯\_(ツ)_/¯]

vor einer Stunde schrieb Trado:

Ok, wenn man in Python ein Datumsformat eingibt wie (scheinbar muss man nicht unbedingt die sekunden eingeben):

 

start_date = datetime.datetime(2016, 7, 1) th = k.query_public('OHLC', data = {'pair': pair, 'since': start_date})

start_date = datetime.datetime(2016, 7, 1)
th = k.query_public('OHLC', data = {'pair': pair, 'since': start_date}) 

kommt oswas raus...

{'error': [], 'result': {'XETHZEUR': [[1612579020, '1401.56', '1402.29', '1397.66', '1397.66', '1399.35', '140.65338393', 51], [1612579080, '1397.65', '1398.61', '1397.42', '1398.42', '1397.74', '10.20760289', 20], ....

 

Außerdem wie gebe ich den das tick level, also ob ich etwa 5 min haben will...Das enspricht nicht dem, was hier steht: https://docs.kraken.com/websockets/#message-ohlc

Der Titel vom dem Thread ist "Deep Reinforcement Learning" ... mach doch ggf ein einen neuen Thread im Kraken Bereich auf. Da hast du dann evtl sogar Chancen dass dir geholfen wird. Mir ist nicht klar was du vorhast. Über den Websocket wirst du nur schwer historische Daten bekommen. Oder sind das zwei verschiedene Fragen ? Oder liest du die Websocket Doku für die REST API ? 🤔

Bearbeitet 6. Februar 2021 von ¯\_(ツ)_/¯

[Trado]

Achso ja hast recht. Versuch mich nur gerade in die api reinzufuchsen.

[Trado]

Hey, das hat zwar hier nix zu suchen (kennt ihr einen Ort ausser Reddit?) Werde vll dort später dazu fragen. Aber ich wollte erstmal bei euch nachfragen.

Wo kann ich mit einer API Aktien automatisiert kaufen?! Das scheint ja überhaupt nicht möglich zu sein in Europa. Da gibt es sehr wenig? Ich möchte alle oder viele deutsche/europäische Aktien handeln können.

 

Habt ihr damit Erfahrungen gemacht? oder macht ihr nur Kryptos?.;)

 

Möchte nämlich ungern die riesigen Broker aus den USA nehmen.

 

Mit kommt es so vor, dass das für Otto Normal Verbraucher nicht möglich ist. Das ist eine echte Verschwörung, da fähige Menschen tatsächlich vom Geld abgehalten werden (womöglich mit Absicht). Frage mich wie man denn eine dumme deutsche Aktie automatsiert traden kann, ohne riesige Gebühren oder ein Konto mit 30000€ .

Kein Wunder dass sich alle auf Kryptos stürzen. 

Bearbeitet 8. Februar 2021 von Trado

[¯\_(ツ)_/¯]

vor 11 Stunden schrieb Trado:

Hey, das hat zwar hier nix zu suchen

THIS

vor 11 Stunden schrieb Trado:

Das scheint ja überhaupt nicht möglich zu sein in Europa

Kann ich so jetzt nicht bestätigen

vor 11 Stunden schrieb Trado:

Habt ihr damit Erfahrungen gemacht?

Ja

vor 11 Stunden schrieb Trado:

Mit kommt es so vor, dass das für Otto Normal Verbraucher nicht möglich ist. Das ist eine echte Verschwörung,

Kann keine Verschwörung erkennen, ausser das hier jemand meint, das wir (ich) hier Dein persönliche Ratgeber sind und meine Motivation auf deine Fragen zu antworten gegen 0 tendiert. 

[Wintermute]

Für Binance Spot und Future Märkte gibts alle möglichen historische Daten unter:

https://data.binance.vision/

und auch ein paar python scripte die ggf dafür nützlich sind:

https://github.com/binance/binance-public-data

[PeWi]

Eine Frage an den oder die Experten unter uns ... 😉

Ich habe in den letzten Tagen einiges über genetische Algorithmen gelesen, was auch recht gut klingt. (Ich bin inzwischen schwer am Überlegen, ob ich nicht NDSGA II über meinen bisherigen Backtest stülpen soll: https://www.youtube.com/watch?v=SL-u_7hIqjA)

In den GA-Artikeln wurde öfters betont, dass eine Fitnessfunktion, die nur einen einzelnen Wert zurückgibt, i.A. zu schlechterer Trainierbarkeit (d.h. weniger Genvielfalt und mehr Overfitting) führt als Fitnessfunktionen, die einen mehrkomponentigen Wert zurückmelden.

Beim Reinforcement Learning gibt es ja etwas ähnliches, den Reward. Typischerweise ist das ja auch immer nur eine einzelne Zahl. Gibt es da ebenfalls Ansätze, mehrdimensionale Rewards zu verwenden, um das Agentverhalten differenzierter zu beeinflussen?

 

[PeWi]

 

On 4/8/2021 at 6:44 PM, Männergruppe Monk said:

GA : Ich halte nicht viel davon. Ich hatte mir das vor 5 Jahren mal angesehen. Mein Ergebnis war, dass die Algorithmen anhand von vergangenen Daten generiert werden, um dann die Zukunft zu bestimmt.

Machen das die anderen Verfahren nicht auch so - egal, ob Bots mit TA, neuronale Netze oder eben auch RL?

Und bei allen Verfahren muss man sich geeignete Maßnahmen überlegen, dem Overfitting auszukommen, damit das Verfahren nicht an den konkreten historischen Kursen klebt, sondern mehr oder weniger generalisiert.

On 4/8/2021 at 6:44 PM, Männergruppe Monk said:

Ein Beispiel ist, das jeder Algorithmus in Phasen funktioniert und in anderen nicht. Das hat was mit den Marktphasen zu tun. Hier muss Du den RL lernen lassen, das zu erkennen. Das geht nur, wenn Du einen Reward als Triggerlinie hast.

Wenn du bei  https://github.com/matlab-deep-learning/reinforcement_learning_financial_trading
in den Abschnitt "Reward" schaust - da steht haarklein aufgelistet, was sie mit dem Reward alles bezwecken wollen.

Den Reward lediglich als Triggerlinie für die passenden oder unpassenden Maarktsituationen zu bezeichnen, ist schon eine deutliche Untertreibung. 😉

On 4/8/2021 at 6:44 PM, Männergruppe Monk said:

Ich verstehe daher nicht, wie jemand lernen soll, wenn er zwei Rewards hat, es sei denn, Du gewichtest die. 

Ist das nicht einleuchtend, dass ein mehrdimensionaler Reward wesentlich mehr Information an den Agenten transportieren kann als ein eindimensionaler Wert?

Stell dir vor, dein Fahrlehrer früher hätte in deinen Fahrstunden zu dir nur sowas wie ganz schlecht/schlecht/mäßig/naja/mittel/ wird schon/brauchbar/fast gut/gut/recht gut/sehr gut/prima/ausgezeichnet gesagt.

Mir wäre als Fahrschüler detaillierteres Feedback für einzelne Aspekte ("du hast zuwenig geschaut", "dein Umgang mit der Kupplung ..", ...) lieber. 🙂

Ich habe zum Thema "mehrdimensionaler Reward" mal gegoogled, habe aber nichts wesentliches finden können.

"Beifang" waren jedoch mehrere Artikel, die sich darüber ausgelassen haben, dass eine gute Rewardfunktion das wichtigste am RL sei, und dass das eine echte Kunst wäre, eine gute hinzubekommen. Auch der oben erwähnte Matlab-Artikel schreibt, dass sie an der Rewardfunktion länger herumgetüftelt und -probiert haben.

Und weil das so schwierig ist, hat sich Interessanterweise deshalb "inverses RL" entwickelt. Man beobachtet einen menschlichen Experten bei allerlei Situationen und leitet aus dessen sinnvollen und erfolgreichen Aktionen durch irgendwelche Transformationsmaßnahmen eine Rewardfunktion her.

[PeWi]

Oha, jetzt bügelst du mich aber ab. 🙄

23 minutes ago, Männergruppe Monk said:

Mag alles sein. Wie Du weisst, mache ich meine eigenen Algorithmen zu dem Thema. Deswegen sehe ich die Dinge so, dass sie funktionieren. Ich will Geld verdienen, keine Wissenschaft betreiben. Deine Kommentare zeigen, dass Du die Grundprinzipen vom Trading im Network Design nicht berücksichtigst, das kann nichts werden.

Das kann durchaus sein, dass ich (zu) viel Wert und Zeit aufs warum und wie lege und verwende. Bin halt neugierig und wissensdurstig. 🤔
Aber okay, vielleicht sollte ich mich auch mehr aufs Geld Verdienen konzentrieren und weniger aufs Verstehen.

Was verstehst du unter "Grundprinzipen vom Trading im Network Design"?

 

 

 

[o0dy]

vor einer Stunde schrieb Männergruppe Monk:

P.S. Mein Fahrlehrer ist mit mir in der ersten Stunde in die Hauptverkehrszone gefahren und hat gesagt, mach mal.

Meiner ist ausgestiegen und hat sich die drifts in der Hauptverkehrszone von einer schöneren Perspektive angesehen.

*Schw...vergleich off*

Bearbeitet 9. April 2021 von o0dy

[PeWi]

On 4/8/2021 at 5:28 PM, PeWi said:

Ich habe in den letzten Tagen einiges über genetische Algorithmen gelesen, was auch recht gut klingt. (Ich bin inzwischen schwer am Überlegen, ob ich nicht NDSGA II über meinen bisherigen Backtest stülpen soll: https://www.youtube.com/watch?v=SL-u_7hIqjA)

Wer sich - trotz Monks Kritik -  auch mal für genetische Algorithmen im Umfeld Trading interessiert, dem sei folgende Artikelserie empfohlen:

https://fabian-kostadinov.github.io/2014/09/01/evolving-trading-strategies-with-genetic-programming-an-overview/

Das ist eine sechsteilige Artikelserie, mit der man gut in das Thema hineinschnuppern kann.

[Arther]

vor 5 Stunden schrieb Männergruppe Monk:

Hier mal ein Video zum Thema Ai und Financemodelling. Wohl eins der besten, die ich seit langem gesehen habe.

Jeder, der sich mit der Materie beschäftigen will, muss dieses Video sehen und verstehen. 

Explainability in the Age of Regulation Video 

Naja, das ist nicht wirklich Data Science oder Machine Learning, die Zielgruppe des Vortrages sind Analytiker, Menschen die PowerPoint Folien bauen, die Aufgabe für die besteht nicht darin, besonders fit in Data Science zu sein oder gar den Markt zu schlagen, sondern allgemeine Entscheidungen mit ein wenig Daten und Bildern zu untermauern.

Matlab generell hat sicherlich seinen Reiz wenn man da kostenlos dran kommt, war seiner Zeit weit voraus und hat bis heute ein paar coole Sachen in einzelnen Nischen und es ist einfacher sich was zusammen zu klicken. Nur zum traden sich das kaufen, davon ist jedenfalls abzuraten.

Wer mit sowas spielen will, der sollte sich als erstes mit z.B. Alphafehler-Kumulierung auseinander setzen, Aussagen wie "jeder Algorithmus funktioniert mal" schreien gerade zu danach. Man sollte sich auch klar machen, welche Risiko-Abwägung man gerade trifft, da kann man sich Martingale aka Verdopplungssystem als Fallbeispiel hernehmen, warum das schon aus theoretischer Sicht keine gute Idee ist (spoiler: Die Antwort lautet nicht 'weil mir das Geld zum verdoppeln ausgehen wird').

 

Am 9.4.2021 um 22:18 schrieb PeWi:

Das kann durchaus sein, dass ich (zu) viel Wert und Zeit aufs warum und wie lege und verwende.

Nein, nicht wirklich. Den Markt kann man nie mit ein bisschen herum klicken schlagen ohne zu wissen, was man da macht.  Aber das spricht natürlich nicht dagegen, einfach mal anzufangen und Erfahrugen zu sammeln. Das wichtigste ist, dass du dir ein objektives Vergleichsmaß definierst und die Performance deiner Ansätze korrekt misst. 100% Gewinn bei Bitcoin in einem Jahr? - da kann man die arme Person ja nur betrauern, die offensichtlich 900% Verlust gemacht hat gegenüber hodln.

Bearbeitet 15. April 2021 von Arther

[Arther]

Ich denke auf dieser allgemeinen Ebene haben wir keinen Dissenz, Matlab hat immer schon ein paar Dinge vorzüglich gemacht und die Usability und Workflows sind zum Teil wirklich hervorragend. Ich wusste gar nicht, wie günstig Matlab Home ist. Um die 200 Euro für das was man hier bräuchte ist eine Null weniger als ich das grob verortet hatte, weil ich nur die Standard Lizenzen kannte.

Leider hat Matlab Bugs ohne Ende, aber ich bin sofort bereit zu glauben, dass dieser neue und ggf. recht wichtige Bereich da etwas besser aufgestellt ist und das man auch ohne Service 'überleben' kann.

Bearbeitet 16. April 2021 von Arther

[PeWi]

On 2/3/2021 at 5:20 PM, ¯\_(ツ)_/¯ said:

btw. Ich hab noch neben Van Tharp "Positions Sizeig" nen ganz guts Buch gefunden von Kevin Davey "Building Winning Algorithmic Trading Systems:"

Hab' gerade angefangen, "Building Winning Algorithmic Trading Systems:" zu lesen. Der bisherige Eindruck ist sehr gut.

[PeWi]

On 2/3/2021 at 6:00 PM, ¯\_(ツ)_/¯ said:

Ja, pro Trade ist das relativ wenig Profit, aber dadurch das es ca 50 Trades/ Tag sind summiert sich das auf und durch die Prozentuale Position Size spührt man da einen deutlichen Effekt. Ist jetzt halt ein relativ kurzer Beobachtungszeitraum erst mit 20 Tagen Laufzeit ... Denke ich müsste erstmal verschiedene Martkphasen durchlaufen haben um das ne zuverlässige Aussage treffen zu können. 

Bei den Gebühren hab ich momentan mit 0.08 % gerechnet. Aber rechnerisch könnten die relativ schnell sinken dann. 

Ich suche grade noch die ganze Zeit nach nem Fehler in meinem System oder Berechnungen, und befürchte grade das Slipage mir im Echtbetrieb das Genick brechen könnte...  

Nachdem ich diesen alten Thread sowieso schon aufgewärmt habe, kann ich auch dazu gleich fragen:

Hast du deine Simulationen irgendwann auch mal praktisch ausprobiert? Und hat es dann geklappt, oder hat sich tatsächlich ein Fehler/Problem gefunden, der das ganze - entgegen deiner Backtests - unrentabel gemacht hat?

[Chantal Krüger II]

3 hours ago, PeWi said:

Nachdem ich diesen alten Thread sowieso schon aufgewärmt habe, kann ich auch dazu gleich fragen:

Hast du deine Simulationen irgendwann auch mal praktisch ausprobiert? Und hat es dann geklappt, oder hat sich tatsächlich ein Fehler/Problem gefunden, der das ganze - entgegen deiner Backtests - unrentabel gemacht hat?

Ich habe intensive Tests zu dem Thema gemacht, besonders dem Automatischen Trader Risiko beizubringen, damit er sich nicht "overtraded", was immer ein Klassiker ist.

Das funktioniert sehr gut. 

Wer erwartet, er findet die Richtigen Regel zu traden, der wird das Ergebnis bekommen, es gibt ein System, das mal funktioniert und mal nicht. Dafür brauche ich das nicht. Es bleibt dabei, ich muss in den funktionierenden Phasen etwas mehr riskieren (bei gleichem Risiko) und wenn es nicht funktioniert, dann runter mit dem Risiko.

Bedeutet, nach ca. 8 Monaten Rechenzeit, habe ich das Ergebnis, nimm irgendein System und verwendet die Van Tharp Regeln und es wird Profitable sein.

Wieviel hängt vom Risiko ab, das man nehmen will.

[¯\_(ツ)_/¯]

4 hours ago, PeWi said:

Hast du deine Simulationen irgendwann auch mal praktisch ausprobiert? Und hat es dann geklappt, oder hat sich tatsächlich ein Fehler/Problem gefunden, der das ganze - entgegen deiner Backtests - unrentabel gemacht hat?

Puhhh... lange ist es her... hatte das ganzen im Paper Trading laufen.. und ich meine die Slipage hatte es bei mir dann schlussendlich ins negative gekippt...