环境感知的对象，有路面、静态物体、动态物体。无人驾驶汽车要有先进的传感器，收集环境中有关图像、声音等的信息，并构建一个三维立体的实时景象，进行车道监测，能够随时避开障碍物，对于动态物体要实时检测它的位置，并预测它的轨迹。这些对于我们人类习以为常的过程，在自动驾驶中却是一个难度极高的问题。
再者是精确定位。自动驾驶要求定位精度达到厘米级别，要实现高精度，目前业界主要有以下三种方法：基于GPS与惯性传感器的传感器融合；基于LiDAR点云与高精度地图的匹配；基于视觉的道路特征识别。实际应用中，则采取的是组合定位的方法。通用的方法是：激光雷达的SLAM，利用车辆自带的GPS和IMU做出大概位置判断，然后用预先准备好的高精度地图（Prior 再者是精确定位。自动驾驶要求定位精度达到厘米级别，要实现高精度，目前业界主要有以下三种方法：基于GPS与惯性传感器的传感器融合；基于LiDAR点云与高精度地图的匹配；基于视觉的道路特征识别。实际应用中，则采取的是组合定位的方法。 通用的方法是：激光雷达的SLAM，利用车辆自带的GPS和IMU做出大概位置判断，然后用预先准备好的高精度地图（Prior Map）与激光雷达SLAM云点图像与之对比，或者说Registration，放在一个坐标系内做配准。配对（Matching）成功后确认自己位置。这是目前最成熟，准确度最高的方法。
前两个技术解决的是“我在哪”以及“我要去哪”的问题。
路径规划解决的是我该怎么去的问题，自动驾驶的路径规划第一层是点到点的非时间相关性拓扑路径规划，第二层是实时的毫秒级避障规划。第三层是将规划分解为纵向（加速度）和横向（角速度）规划。简而言之，就是要根据给定的起点和终点，通过一些特定的约束条件安全地到达终点。路径规划是从出发点到目标点之间的纯几何路径规划，实际上还有避障规划，也就是动态路径规划，主要是探测障碍物并对障碍物的移动轨迹跟踪（ 路径规划解决的是我该怎么去的问题，自动驾驶的路径规划第一层是点到点的非时间相关性拓扑路径规划，第二层是实时的毫秒级避障规划。第三层是将规划分解为纵向（加速度）和横向（角速度）规划。简而言之，就是要根据给定的起点和终点，通过一些特定的约束条件安全地到达终点。 路径规划是从出发点到目标点之间的纯几何路径规划，实际上还有避障规划，也就是动态路径规划，主要是探测障碍物并对障碍物的移动轨迹跟踪（ Moving Object Detection and Tracking ，一般缩写为MODAT）做出下一步可能位置的推算，最终绘制出一幅包含现存碰撞风险和潜在碰撞风险的障碍物地图。然而这种规划在繁华的市区计算量是惊人的，是无人驾驶难度最高的技术。还有一种轨迹规划，也就是在前两者的基础上，对汽车自身运动参数的设定并及时反馈给执行系统。
线控执行就是系统根据传感器的信息向汽车的控制系统发出一系列指令并得到高效率执行［3.］。这需要先进的行为决策算法和强大的计算能力。目前使用的算法主要有三种：基于神经网络、基于规则、混合路线（混合了前两者）。实际上，核心还是人工智能算法与芯片［4.］。