为了进行如此复杂的感知任务，特斯拉在神经网络结构的选择上做了很多考量。2.1. Single task network vs Multi tasks network2.2. Loosely coupled heads vs Tightly coupled heads松耦合指的是每个相机单独进行感知，然后将不同相机的感知结果利用Filter或其他技术进行拼接(stitch)，例如1.0版本的Smart Summon就采用了这一方法，利用不同相机检测到的curb进行拼接的到停车场的Occupancy Grid的地图，从而在这个地图进行导航。
训练这样一个拥有48个网络，1000多个感知输出的庞大的Multi-task模型是十分苦难的，单次训练就要花费70000GPU小时，更别说模型训练要经过多次迭代，调优等过程，虽然为了提高训练效率，Tesla自研了专门用于训练的Dojo Computer，但是训练过程仍充满了各种挑战。3.1. Loss Function在庞大的HydraNet中，所有的子任务的Heads最终都通过加权平均的办法整合到一个Loss里面，训练的过程就是优化这个整合后的Loss。这些不同子任务的weights则是这个模型的hyperparameter。学术研究中有通过自动的方法找到最优的子任务权重的办法，但是当子任务数量扩展到数百上千后，这样的自动方法就变得不可使用。最终这些子任务权重的选择变成一个十分需要谨慎思考，且一旦确定不能轻易更改的超参数。选择这些超参数需要综合考虑许多因素，例如：
为了达到模型在所有任务都能取得良好的性能，需要合理的调节不同任务的权重，并且一旦确定不同权重的比重，就要在确定的权重下进行任务的调优，而不能频繁更改权重，导致其他任务的性能回退。3.2. Training Across Different Tasks因为模型在不同任务间进行不同程度的参数共享，因此利用不同的数据对一些子任务进行训练的时候，并不是整个网络模型都会得到训练，而是根据任务和数据sample整体网络的一部分进行训练，如下图所示。
Figure 6某一项子任务对应的数据只对粉色部分的模型进行训练为了避免训练部分网络的时候对于其他任务的影响，可以采取类似Transfer Learning中的freeze部分参数的方法。3.3. Data Balance为了解决长尾任务的训练，采用Data Oversampling来保证任务内的Data Balance以及任务间的Data Balance。下图是红绿灯检测任务内的Data Oversampling的示意图：
一、SAE J1939协议概述SAE J1939协议是由美国汽车工程师协会（SAE，Society of Automotive Engineers）定义的一种用于重型车辆和工业设备中的通信协议，主要应用于车辆和设备之间的实时数据交换。J1939基于CAN（Controller Area Network）总线技术，使用29bit的扩展标识符和扩展数据帧，CAN通信速率为250Kbps，用于车载电子控制单元（ECU）之间的通信和控制。小北同学在之前也对J1939协议做过扫盲科普【科普系列】SAE J
