我觉得可以不用最后得到的解来算，而是可以取整个计算过程中reward最多的那个episode的解法。

类变量：可在类的所有实例之间共享的值（也就是说，它们不是单独分配给每个实例的）。
实例变量：实例化之后，每个实例单独拥有的变量。

class student():
age = 0
name = 'stu'
# age,name是类变量
def init(self,age,name):
self.age = age
self.name = name
# 访问实例变量(用self.age self.name)

student1 = student(18,'hello')
print(student1.name)

打印实例变量，输出hello

print(student.name)

打印类变量，输出stu

————————————————
版权声明：本文为CSDN博主「七分半刚刚好」的原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_43465312/article/details/90725277

1.Coverage是计算覆盖性，若计算地面目标（no radar）对于卫星的coverage，则得到的是可见性。
2.如果是计算sat而不是子目录下面sensor的coverage，得到的也是可见性而不是覆盖。
3.在x目标下面的子目录点击coverage，计算得到的是x目标对于assigned target的覆盖，就是传感器能否探知到assigned 目标。

https://blog.csdn.net/HYXING520/article/details/80889496

如果同时分开两个分支，并且两个分支各自之后都有修改，在合并时，merge a into b, 则a中修改而b中没有修改的地方会被添加到最新的版本中，但a中修改而b中也修改了的地方会产生冲突，你需要选择选择哪一个文件的修改内容

其实相当于一种剪支，缩小了搜索空间的范围

1.simulink Simulink模型中Configuration Parameters https://blog.csdn.net/qq_17777405/article/details/80853052

https://blog.csdn.net/mzpmzk/article/details/80136958

PG和AC的收敛性不是很好，发现一开始可能收敛到最佳policy，跑着跑着又发散了，然后再收敛到其它次优解

请问 TimewindowGet.py 中输入的 TWorbitdata.csv 和 TWorbitdata3ECEF.csv 是如何得到的呢？

取不同实例的获得reward的区别很大，如何选取

2019/11/26 小思考：状态量选择的本质是为了辨识出卫星的可接受任务的的状态，最简单的状态量设置就是记录卫星已经接收和拒绝的任务，判断下一个任务是否可执行，但是那样的话要么卫星状态量大小在变，而且状态量越变越大，因此采用（timewindow，energy，nexttask）代表那些状态量，可以用较小的状态空间来表示较多的状态。

问题：如果有一模一样的任务很多的话，卫星可能选择了不同的任务接收或拒绝，但对应的状态量是可能重复的，也就是说，卫星已经接收和拒绝的任务这个状态与我们新定义的状态量并不是单一对应的。这样的话，如果使用q-learning的话就会把本质上的不同状态更新到同一个状态里面。这样是否会影响呢，就解决任务规划问题而言？

可能的回答：就任务规划问题而言，卫星的tw，energy，是判断是否能执行其它任务的物理限制，如果卫星当下tw，energy，nesttask都相同的话，即使在过去卫星已经接收的任务不同，但对于将来的选择应该是一样的，所以可以看作同一个状态去评估其好坏。

如果是只给出时间窗口，不仅仅需要选择时间窗口，还需要选择成像的时间，这就好像有点像continuous问题，后面需要思考一下

发现如果单纯用苗悦文章中的数据去仿真，得到最优解的概率并不是很大，打算从大规模任务入手，只要可以得到一个较高的reward即可，不要求best，而且苗悦的方法需要对任务进行分级

可以用空间中一条直线来映射

1.连续型动作空间的问题可以使用策略梯度算法求解

1.发现一个问题就是，像遗传算法，mip等方法是可以顺带规划出任务开始的时间，而不是直接给出任务的执行时间再规划选择，而rl如何实现这一目的呢？

发现如果初始的reward比较低，后面得到好结果的可能性反而更大

默认你这里指的是动作空间是离散的。理论上，DDPG无法处理离散动作空间的问题。因为在DDPG中，要求策略函数（输出动作）相对于状态是可导的。如果是离散的动作，显然不满足。如果非要用，我想大概也只能拟合一个连续函数来近似离散的动作。但是这个函数可能很复杂或者不光滑。另外，DDPG本来就是为了解决连续问题开发的，相当于DQN 的连续版本。如果你非要用梯度的方法解决离散问题，不如试试PPO或者A3C。

作者：张文
链接：https://www.zhihu.com/question/336743099/answer/762702214
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

1.任务规划的问题比较特殊，因为整个环境是人为设定的，如果用model based的话，整个环境模型是可以很准确的给出来，那与直接和环境交互没有区别了。

设置一个机制，在动作选择前，如果时间窗口冲突，则不输入规划系统里

The cart is free to move within
the bounds of a one-dimensional track. The pole is free to
move only in the vertical plane of the cart and track. The
controller can apply an impulsive "left" or "right" force F
of fixed magnitude to the cart at discrete time intervals.
The cart-pole system was simulated by digital computer
using a very detailed model that includes all of the nonlinearities
and reactive forces of the physical system (the
Appendix provides details of the cart-pole model and
simulations).

关于添加地面站数据下传问题，地面站数据下传问题直接看为一个新的任务，其storage cost设置为负数，执行完这个任务后卫星中storage状态量便可以增加，为后续任务腾出空间。但是关于选取地面站任务后给多少reward是一个很关键的问题，因为storage本身可能导致后续reward增加，那对于数传任务本身给予多少reward值得思考。

python代码执行是由python虚拟机(又称解释器主循环)控制的。python在主循环中同时只能有一个控制线程在执行，就像单核cpu系统中，内存中可以有很多程序，但任意给定时刻只能有一个程序在运行。同理，尽管python解释器可以运行多线程，但在任意给定时刻只有一个线程会被解释器执行。

1.RemainingTimeTotal
2.globalvariable
3.卫星的storage

突然发现ac起始的概率很重要，要不然很容易收敛到其它解