為什么需要時間同步？

在自動駕駛中，需要用到很多傳感器的數(shù)據(jù)（Lidar，Camera，GPS/IMU)，如果計算單元接收到的各傳感器的消息時間不統(tǒng)一，則會造成例如障礙物識別不準(zhǔn)等問題。

時間同步包含哪些內(nèi)容？

自動駕駛中，時間同步可以分為幾部分的內(nèi)容：統(tǒng)一時鐘源，硬件同步，軟件同步。其中硬件時間同步主要針對相機 。

1.統(tǒng)一時鐘源

假設(shè)各傳感器都有自己的內(nèi)部時鐘，但由于每個時鐘的鐘漂不一樣，導(dǎo)致各時鐘之間存在時間差，所以需要統(tǒng)一各傳感器的時間源。

一般采用GPS時間作為統(tǒng)一時間源，通過GPS給各個傳感器提供基準(zhǔn)時間，各傳感器根據(jù)提供的基準(zhǔn)時間校準(zhǔn)各自的時鐘時間。

各傳感器根據(jù)已經(jīng)校準(zhǔn)后的各自時間為各自獨立采集的數(shù)據(jù)加上時間戳信息，來做到所有傳感器時間戳同步。

統(tǒng)一時鐘源的常見方式有兩種，一種是基于GPS的“PPS+NMEA”，另一種是基于以太網(wǎng)的IEEE 1588（或IEEE 802.1AS）時鐘同步協(xié)議。

a.PPS+NMEA

GPS能夠從衛(wèi)星獲得高精度的時鐘信號，因此通常作為整個系統(tǒng)的時鐘源。常規(guī)的GPS單元都支持輸出精確到毫秒的秒脈沖信號PPS和包含年月日時分秒信息的NMEA指令，通過PPS和NMEA的組合就能夠?qū)崿F(xiàn)對激光雷達或主機的毫秒級時鐘同步。

PPS+NMEA的優(yōu)點是協(xié)議簡單，容易實現(xiàn)；缺點是必須基于RS232。多個設(shè)備之間實現(xiàn)同步比較困難。

b.PTP（IEEE 1588或IEEE 802.1AS）

PTP(Precision Time Protocol，1588 V2)是基于以太網(wǎng)的高精度時鐘同步協(xié)議，能夠?qū)崿F(xiàn)以太網(wǎng)中多個從節(jié)點（各種傳感器）與主節(jié)點（主機）之間的亞微秒級時鐘同步，前提是所有節(jié)點之間都通過以太網(wǎng)互聯(lián)，交換機支持PTP協(xié)議，并且每個節(jié)點都支持PTP協(xié)議。

與PTP同時出現(xiàn)的還有一種NTP，即網(wǎng)絡(luò)時間協(xié)議，不同的是PTP是在硬件級實現(xiàn)的，NTP是在應(yīng)用層級別實現(xiàn)的 。

2.硬件同步

由于每種傳感器的采樣頻率不一致，如lidar通常為10Hz，camera通常為25/30Hz，不同傳感器之間的數(shù)據(jù)傳輸還存在一定的延遲，那么可以通過尋找相鄰時間戳的方法找到最近鄰幀，但如果兩個時間戳相差較大，且傳感器或障礙物又在運動，那么最終會得到較大的同步誤差。這個情況可以采用硬件同步觸發(fā)的方法來緩解查找時間戳造成的誤差現(xiàn)象。

那如何實現(xiàn)硬件同步呢？也就是在激光雷達和相機的時間源都統(tǒng)一到GPS時間后，如何保證他們同步觸發(fā)采集呢？方式是以PPS信號為觸發(fā)信號，實現(xiàn)激光雷達和相機均在PPS信號上升沿的時候采集數(shù)據(jù)，且打上各自時鐘的時間戳。由于PPS的頻率只有1Hz，所以通常需要一個設(shè)備把PPS信號轉(zhuǎn)發(fā)為任意頻率、但是跟PPS信號同相位的方波，這樣就可以控制相機的采集頻率了。

用外部信號觸發(fā)相機比較好理解，那如何保證激光雷達在PPS信號上升沿的時候采集數(shù)據(jù)呢？激光雷達制造商想出了一個相位鎖定功能，也就是輸入PPS，但PPS上升沿到來時，激光雷達的激光束恰好旋轉(zhuǎn)到一定的角度。

于是乎，我們設(shè)置激光雷達的相位鎖定角度為相機視野中央，如果相機視野朝著車輛正前方，激光雷達的坐標(biāo)系也是朝著車輛正前方的話，相位鎖定角度應(yīng)該是0度。那么問題就這樣解決了，每當(dāng)激光雷達的激光束旋轉(zhuǎn)到0度位置，也就是相機視野正中央，PPS上升沿剛好到來，相機也因此觸發(fā)，就這樣就實現(xiàn)了激光雷達和相機的同步采集。但是，由于激光雷達和相機采集數(shù)據(jù)的方式不同，我們只能近似地保證激光雷達和相機的同步采集。如下圖所示，激光雷達的激光束不斷地360度旋轉(zhuǎn)，假設(shè)幀率為10Hz的話，那么一幀點云中采集時刻最早的一個點和采集時刻最晚的一個點時間相差100ms。而相機就不同了，相機是瞬間曝光的，因此圖像里面所有像素點的采集時刻都是一樣的。這就導(dǎo)致了我們只能近似地保證激光雷達和相機的同步采集。具體方法就是當(dāng)激光束旋轉(zhuǎn)到相機視野中央的時候，觸發(fā)相機，這樣就保證了相機視野內(nèi)的點云采集時間是跟圖像采集時間是近似的。為什么說是近似的呢？對于相機視野中央的那些點云，它們的采集時間是跟圖像采集時間一致的，但是對于相機視野邊緣的那些點云，它們的采集時間就跟圖像采集時間要有一定的時間偏差了，根據(jù)相機視野的大小和點云采集幀率的不同，時間偏差可能會有5ms~20ms左右。

3.軟件同步

當(dāng)兩傳感器的采集時刻不一致，但又想得到同一時刻下兩傳感器的結(jié)果，就可以使用軟件同步的方式。目前常采用的軟件同步方式為內(nèi)插外推法，此方法適用于傳感器間幀率不存在倍數(shù)關(guān)系的情況，或者傳感器有幀率不穩(wěn)定的情況。主要利用兩個傳感器幀上的時間標(biāo)簽，計算出時間差，然后通過包含有運動信息的目標(biāo)幀與時間差結(jié)合，對幀中每一個目標(biāo)的位置進行推算，推算出新的幀時各個目標(biāo)的位置，并于原有的兩幀之間建立新的幀。