同じ処理をしているコード(DDQN)のはずなのにタスクが解けるコードと解けないコードがあって混乱

Open AI gym の 倒立振り子の課題を DQN(DDQN)で解けるか確認しているのですが、以前、解けることを確認したコードでは解けるのに、WinMergeで差分を確認するまでした、開発中のFXトレードシミュレーション用のコードをベースにその課題を解くように修正したもの(元を辿れば先祖返りしてるんですが)だと解けない。パラメータやら何やらかんやらも同じにしたのに。
わけがわからないです・・・・。
 
・解ける方
https://github.com/ryogrid/fx_systrade/blob/165dc936a2877f9dde903f628ecb88cbecfc5f91/ddqn_cartpole_tensorflow_runnable_win10.py
・解けない方
https://github.com/ryogrid/fx_systrade/blob/165dc936a2877f9dde903f628ecb88cbecfc5f91/dqn_fx_trade_tensorflow_testing_with_cartpole.py
 
実行しているvirtualenvも同じ、というか、同じコマンドプロンプトで同じpythonコマンドで実行している。
ディレクトリも一緒。
なお、実行環境はWIndows10。
 
もう呪われているか、gymがローカルにソースファイルごとに何かのデータをキャッシュしてるか、とかしか思いつかないです・・・。