安装环境
gym是用于开发和比较强化学习算法的工具包，在python中安装gym库和其中子场景都较为简便。
安装gym:
pip install gym
安装自动驾驶模块，这里使用 Edouard Leurent 发布在 github 上的包 highway—env:
其中包含6个场景:
高速公路mdash，mdash，highway—v0 汇入mdash，mdash，merge—v0 环岛mdash，mdash，roundabout—v0 泊车mdash，mdash，parking—v0 十字路口mdash，mdash，intersection—v0 赛车道mdash，mdash，racetrack—v0
详细文档可以参考这里:
配置环境
安装好后即可在代码中进行实验:
import gymimport highway_env%matplotlib inlineenv = gym.makeenv.resetfor _ in range: action = env.action_type.actions_indexes obs， reward， done， info = env.step env.render
运行后会在模拟器中生成如下场景:
env类有很多参数可以配置，具体可以参考原文档。
训练模型 1，数据处理
state
highway—env包中没有定义传感器，车辆所有的state 都从底层代码读取，节省了许多前期的工作量根据文档介绍，state 有三种输出方式:Kinematics，Grayscale Image和Occupancy grid
Kinematics
输出V*F的矩阵，V代表需要观测的车辆数量，F代表需要统计的特征数量。例:
数据生成时会默认归一化，取值范围:，也可以设置ego vehicle以外的车辆属性是地图的绝对坐标还是对ego vehicle的相对坐标。
在定义环境时需要对特征的参数进行设定:
config = "observation": "type": "Kinematics"， #选取5辆车进行观察 "vehicles_count": 5， #共7个特征 "features": ， "features_range": "x": ， "y": ， "vx": ， "vy": ， "absolute": False， "order": "sorted" ， "simulation_frequency": 8， # "policy_frequency": 2， #
Grayscale Image
生成一张W*H的灰度图像，W代表图像宽度，H代表图像高度
Occupancy grid
生成一个WHF的三维矩阵，用W*H的表格表示ego vehicle周围的车辆情况，每个格子包含F个特征。
action
highway—env包中的action分为连续和离散两种。连续型action可以直接定义throttle和steering angle的值，离散型包含5个meta actions:
ACTIONS_ALL = 0: 'LANE_LEFT'， 1: 'IDLE'， 2: 'LANE_RIGHT'， 3: 'FASTER'， 4: 'SLOWER'
reward
highway—env包中除了泊车场景外都采用同一个reward function:
这个function只能在其源码中更改，在外层只能调整权重。
2，搭建模型
DQN网络，我采用第一种state表示方式mdash，mdash，Kinematics进行示范由于state数据量较小，可以不考虑使用CNN，直接把二维数据的size转成即可，模型的输入就是35，输出是离散action数量，共5个
各个部分都完成之后就可以组合在一起训练模型了，流程和用CARLA差不多，就不细说了。
初始化环境:
import gymimport highway_envfrom matplotlib import pyplot as pltimport numpy as npimport timeconfig = "observation": "type": "Kinematics"， "vehicles_count": 5， "features": ， "features_range": "x": ， "y": ， "vx": ， "vy": ， "absolute": False， "order": "sorted" ， "simulation_frequency": 8， # "policy_frequency": 2， # env = gym.makeenv.configure
训练模型:
dqn=DQNcount=0reward=avg_reward=0all_reward=time_=all_time=collision_his=all_collision=while True: done = False start_time=time.time s = env.reset while not done: e = np.exp #随机选择action的概率，伴随着训练次数增多逐渐降低 a = dqn.choose_action s_， r， done， info = env.step env.render dqn.push_memory if amp，): loss_=dqn.learn count+=1 print('trained times:'，count) if (count%400): avg_reward=np.mean(reward) avg_time=np.mean(time_) collision_rate=np.mean(collision_his) all_reward.append(avg_reward) all_time.append(avg_time) all_collision.append(collision_rate) plt.plot(all_reward) plt.show plt.plot(all_time) plt.show plt.plot(all_collision) plt.show reward= time_= collision_his= s = s_ reward.append(r) end_time=time.time episode_time=end_time—start_time time_.append(episode_time) is_collision=1 if info('crashed')True else 0 collision_his.append(is_collision)
我在代码中添加了一些画图的函数，在运行过程中就可以掌握一些关键的指标，每训练40次统计一次平均值。
平均碰撞发生率:
epoch平均时长:
平均reward:
可以看出平均碰撞发生率会随训练次数增多逐渐降低，每个epoch持续的时间会逐渐延长
总结
相比于模拟器CARLA，highway—env环境包明显更加抽象化，用类似游戏的表示方式，使得算法可以在一个理想的虚拟环境中得到训练，而不用考虑数据获取方式，传感器精度，运算时长等现实问题对于端到端的算法设计和测试非常友好，但从自动控制的角度来看，可以入手的方面较少，研究起来不太灵活
。
