隨著人工智能技術的快速發展，自動駕駛技術已經逐漸從實驗階段邁向商業化應用。在自動駕駛技術架構中，端到端大模型正逐步成為推動行業進步和技術革命的重要力量。
一、端到端大模型概述
端到端大模型（End-to-End Model）是一種人工智能模型架構，即一個能夠直接處理原始輸入數據并產生最終輸出結果的AI模型，中間不需要傳統機器學習流程中復雜的數據預處理和特征提取等步驟。例如，在語音模型方面，傳統方式的流程鏈為：語音轉文字、文字輸入大模型、大模型處理得到文字結果、文字轉換為語音；但端到端大模型可以省略中間的轉化過程，直接理解輸入的語音并給出基于語音的輸出結果。在自動駕駛領域，端到端大模型將自動駕駛中的感知、決策和控制環節整合到一個統一的深度學習框架中，即車載攝像頭、激光雷達等傳感器采集到的圖像、距離等環境信息直接輸入大模型，大模型輸出方向盤轉動角度、車速控制等駕駛操作指令。
圖片來源：北國咨繪制
圖1 端到端自動駕駛模式示意圖
（一）技術優勢
由于端到端大模型具有系統簡潔直接性、數據驅動性等特點，在自動駕駛領域應用具有如下優勢：
1.減少信息傳遞損耗，更接近人類駕駛體驗
傳統的自動駕駛系統需要感知、決策、控制等多個模塊獨立運行，每個模塊之間的接口和協調都需要額外的計算和時間消耗。而端到端大模型將多模塊整合形成一體化的單模型，信息直接在單模型內部進行傳遞，避免模塊之間信息有損傳遞、延遲和冗余，提升系統效率。例如，在進行變道操作時，從判斷周圍車輛距離與自身車速，到做出最終的變道決定，并執行加速或者減速、轉向操作，端到端大模型在輸出駕駛指令時的連貫性和自然性更好，能夠像人類一樣一氣呵成。
2.以全局最優為目標進行學習，提升可靠性
傳統自動駕駛模型依賴于預先設定的規則來判斷不同的交通狀況，且各個模塊單獨進行優化，難以達到整個系統的全局最優。端到端大模型能夠將整體駕駛任務作為一個目標，通過海量的駕駛場景數據訓練優化，使其在各種真實的駕駛場景下都能做出更加合理和準確的決策。
3.自動且持續優化，場景適應能力更強
端到端大模型能夠通過海量數據的輸入進行自我學習，隨著數據量增加，模型性能和精度會不斷提升；同時，其具有更好的泛化能力和零樣本學習能力，在沒有針對某個特定場景進行預訓練的情況下，依然能夠根據已學習到的知識和模式進行一定的理解和駕駛決策，提升車輛在動態環境中的反應能力。如對于一個新建設且沒有出現在訓練數據中的新型環島交通設計，端到端大模型可以根據與環島類似的圓形道路、讓行規則等做出合理的駕駛決策。
（二）面臨挑戰
1.高質量數據需求巨大
端到端大模型的訓練需要不同天氣、不同時間段、不同道路條件下的大量標注數據，且數據需滿足準確性、一致性等質量要求。而數據采集、處理和標注是一個非常龐大且復雜的任務，對于企業來說是一個巨大的挑戰。
2.計算資源需求高
端到端大模型要一次性處理從輸入到輸出的整個流程，大量的數據計算，需要強大的計算能力，包括高性能的GPU等硬件設備，不僅增加了技術研發成本，也對計算資源的部署和管理提出了更高要求。
3.模型可解釋性差
端到端大模型通常被視為“黑箱”，其內部決策過程和依據難以清晰解釋，對管理造成困難，例如當模型做出錯誤決策時，很難確定問題根源，給故障排查、安全性驗證和責任界定帶來困難，也可能影響公眾對自動駕駛技術的信任。
圖片來源：北國咨繪
圖2 端到端大模型在自動駕駛領域應用的優勢與挑戰
二、端到端大模型在自動駕駛領域的應用
端到端大模型已經成為自動駕駛技術發展的重要方向，尤其在特斯拉和小鵬汽車等企業的推動下，逐步實現了量產應用。
（一）眾多新勢力車企率先實現端到端大模型產業化
新勢力車企基于互聯網思維基因與開發能力，率先自研端到端大模型，并促進其在自動駕駛領域產業化。特斯拉是端到端大模型技術全球引領者，2023年推出全新FSD V12（Full Self-Driving Version 12），在北美和中國等多個市場進行廣泛測試，標志著特斯拉成功地將端到端大模型應用于自動駕駛系統并產業化落地。小鵬汽車2024年7月全量推送AI天璣系統，在國內率先實現了端到端自動駕駛大模型的量產應用。截至2024年11月，小鵬汽車已完成全國2595個城市的測試，實車測試里程達958萬公里，推動其端到端大模型快速迭代。理想汽車2024年7月發布基于端到端模型、VLM視覺語言模型和世界模型的全新自動駕駛技術架構；10月理想汽車將行業首創的“端到端+VLM”雙系統智能駕駛方案正式全量推送。蔚來汽車2024年7月發布智能駕駛技術架構，在其NIO Pilot智能駕駛系統中，逐步采用端到端大模型來提升自動駕駛的安全性與擬人性，特別是在城市道路和復雜環境下的表現逐步提升。
圖片來源：北國咨繪制
圖3 端到端大模型車企對比
（二）自動駕駛產業鏈條關鍵企業快速入局協同發展
端到端大模型的產業化不僅依賴于單一車企的研發，還需要整個產業鏈的協同發展。硬件方面，車規級芯片、傳感器等核心硬件的進步為大模型運行提供基礎支持。當前，英偉達、英飛凌等國際芯片廠商主導了自動駕駛領域的計算硬件供應，華為、地平線等國內企業通過自主研發打破技術壁壘，華為昇騰系列、地平線征程系列芯片，已廣泛應用于國內車企的自動駕駛系統，為端到端大模型提供強有力的計算支持奠定基礎。軟件方面，人工智能企業也為車企的自動駕駛系統提供了全方位的服務。元戎啟行推出DeepRoute IO平臺，是業界率先將端到端技術應用于高階智能駕駛汽車的方案之一，目前與比亞迪合作，負責比亞迪POC端到端智能駕駛項目。紐勱科技推出將算法、軟件、硬件融于一體的自動駕駛技術方案Nullmax Intelligence，基于端到端的架構，采用多模態大模型和安全類腦，以純視覺、真無圖、多模態的技術特點，助力汽車智能化。
（三）商用車或將更快實現端到端大模型產業化落地
由于商用車應用場景較為簡單，交通環境和駕駛場景較為單一，供應鏈中專屬定制較少，共享復用較多，易于形成商業化閉環，降低了大規模量產的難度，預計商用車將在較早階段實現L4級別的商業化應用。新能源重卡“造車新勢力”零一汽車已實現驚蟄和小滿兩款車的量產，其端到端自動駕駛系統計劃于2025年實現量產，2026年實現高階自動駕駛的大規模商業化運營。未來將會從礦區、港口、封閉物流園區等封閉式場景，到短途專線、高速專線等半封閉式區域，再到城郊/國道或者高速公路等全開放式區域，通過場景漸進逐漸推動商用車自動駕駛發展。
（四）行業標準與法規監管體系不斷完善
自動駕駛法規和行業標準體系的建設為端到端大模型的產業化提供了重要保障。法律法規與監管方面，2023年9月，十四屆全國人大常委會將《道路交通安全法》修訂工作列入國務院2024年度立法計劃，將對自動駕駛汽車的道路測試、上路通行、交通違法和事故處理相關責任追究等作出詳細規定。2023年12月，交通運輸部印發《自動駕駛汽車運輸安全服務指南(試行)》，明確自動駕駛運輸經營者、車輛等要求及運輸安全保障、監督管理等措施，引導并規范自動駕駛汽車在運輸服務領域的應用。標準體系方面，2023年5月，工業和信息化部、國家標準化管理委員會聯合發布《國家車聯網產業標準體系建設指南(智能網聯汽車)(2023版)，為保障自動駕駛產業高質量發展提供了基本指導。2024年8月，國內智能網聯汽車領域的首批強制性國家標準正式發布，明確了汽車信息安全、汽車軟件升級的管理體系以及自動駕駛數據記錄系統等技術要求和試驗方法，為提升自動駕駛安全水平、保障產業健康有序發展提供有力支撐。
三、總結與展望
端到端大模型通過深度學習和數據驅動的方式，打破了傳統自動駕駛系統中模塊化處理的局限，整合感知、決策和控制等功能，提高了系統的整體性能和對復雜環境的適應能力，使自動駕駛更加擬人化。但對大量高質量數據的需求、高性能計算平臺的依賴及因可解釋性差導致的管理困難，端到端大模型在自動駕駛領域的應用與普及也面臨著巨大挑戰。隨著更多車企和跨行業企業對技術不斷研發創新，自動駕駛數據不斷積累，算力支持不斷強化，法規與標準體系不斷健全，端到端大模型將助力高階自動駕駛的應用與普及，推動智能網聯汽車行業邁向新階段。
楊佳玲
咨詢師
長期專注新能源汽車等領域、完成了北京市汽車產業相關的政府、企業委托咨詢業務。
魯 楠
高級經濟師（運輸經濟）
中級工程師（經濟技術）
咨詢工程師（投資）
長期專注新能源汽車及充電基礎設施、重大技術裝備等領域。近年來作為主要負責人完成了新能源汽車產業發展研究、電動汽車充電基礎設施行業研究、重大技術裝備發展研究等大量政府、企業委托咨詢業務，為北京市新能源汽車及充電基礎設施發展、智能制造業發展建言獻策。
編輯：張 華
審核：孫 磊
