2024年4月17日，正在第二届汽车人为智能大会上太阳诚娱乐为旌科技：车规软件架构及用具链对BEV+Transformer的援手，上海为旌科技副总裁&拉拢创始人张晓峰道到，正在智能驾驶方面，已推出为旌御行系列行泊一体域控芯片VS919、VS919L、VS909，以高度集成、高机能、低功耗等特质为客户供应单芯片智能驾驶办理计划。产物内部集成ASIL-D级安宁岛，同时供应完全的autosar办理计划。通过自研ISP撑持高动态、全域降噪等需求，知足低光、强光及百般形势要求下图像还原，下降机械推理难度；自研高效力NPU和器械链，采用近存谋略、乱序推广、多部队、多维度调和等前辈本事，取得古板GPU谋略数倍的有用算力，供应高质地办理计划的同时，下降了用户完团体例本钱、研发本钱和研发周期。

　　为旌是一家潜心于芯片研发与修造的企业，正在座的嘉宾多为咱们的上下游配联合伴或业界同仁。自2020年8月缔造以还，咱们永远竭力于本事更始与产物研发。2021年，咱们胜利启动了首个灵巧视觉芯片项目，2022年完毕了流片并一版胜利，并于年尾取得了首个客户订单，这符号着咱们开端正在墟市中赢得了承认。

　　同年，咱们进一步拓展了产物线，推出了智能驾驶芯片VS9系列。正在研发流程中，咱们同步展开了车规、以及ISO26262成效安宁系统的设立事业，以确保产物吻合行业尺度。首颗车规芯片回片后，咱们登时启动了AEC-Q100认证流程，并于2022年年尾已毕了某车企计划商的design in。

　　2023年，咱们正在北京谨慎发表了灵巧视觉旌海山系列芯片，其图像质地抵达了业内当先秤谌。正在智能驾驶周围，咱们于2023年7月份通过了ISO26262系统认证，并正在11月份胜利取得了首颗车规芯片的AEC-Q100认证。同年12月，咱们发表了为旌御行VS919系列芯片，并正在本周一取得了VS919系列芯片的ISO26262成效安宁产物ASIL-D认证，这进一步结实了咱们老手业内的当先职位。

　　：国内首颗极致性价比的单芯片行泊一体VS919芯片行为咱们主打产物，以其极致性价比和行泊一体计划受到了墟市的普遍体贴。该芯片集成了知足ASIL-D等第的安宁岛MCU，具有8核A55、4核R5F以及两个撑持96G算力的DSP。其余，咱们还自研了24T算力的NPU，并对Transformer举行了加快收拾。双核GPU的算力高达80G，撑持3D衬托，确保了健壮的图像收拾才具。

　　正在接入才具方面太阳诚娱乐，VS919芯片同样再现精采，总接入才具抵达3200万像素，可撑持多达16道200万像素的输入，同时兼容12CAN-FD以及其他常用表设接口如PCIE、USB等。

　　值得一提的是，咱们还自研了宽动态领域抵达140dB的为旌遥光ISP，有用办理了车载视觉体例正在庞大情况下的可见性题目。其余，智能编码模块撑持H.264、H.265等多种编码花样，具备的编解码才具，知足了高清视频收拾的需求。

　　闭于VS919单芯片行泊一体域控计划太阳诚娱乐，咱们采用了前辈的传感器本事，撑持5R7V12U等多种传感器接入式样。通过can接口接入5道毫米波雷达，通过SPI、GPIO接口接入12道超声波雷达工具，完毕了全方位的情况感知。同时，咱们还供应了富厚的车载以太网接口，撑持与其他车载开发的邻接与通讯。

　　正在软件方面，咱们搭修了吻合ISO26262：2018ASIL-D尺度的嵌入式软件拓荒流程，并采用V模子笼盖全面打算和测试流程。咱们界说了厉刻的编译标准、打算设施和验证尺度，并供应了一套完好的知足ASIL-D等第的拓荒器械链。这些门径确保了软件拓荒的高效性和牢靠性。

　　其余，咱们还对车载软件安排举行了深远咨议，提出了基于硬件算力单位的软件架构计划。咱们紧要正在大核上安排SDK，并对接三方中心件，为客户供应了活泼的算法安排空间。同时，咱们看重安宁岛的设立，供应了ASIL-D等第的安宁岛以及相应的操作体例和中心件撑持。

　　正在完全软件架构方面，咱们完毕了从AI算法到APP的全方位笼盖，并整合了雷达、毫米波等多种传感器数据工具。通过中心件完毕通讯拘束、功夫同步等成效，并通过硬件以太网撑持DDS等通讯赞同。咱们为客户供应了一系列软件库和器械，征求媒体收拾、AI安排、DSP API以及图形衬托等方面的撑持太阳诚娱乐。

　　的实行探求目前，咱们正在MCU中内置了ASIL-D级另表安宁岛，并供应了相应的API和CP赞同栈撑持。客户可能通过这些接口轻松移用咱们的使用和任事。咱们盼望与更多的AUTOSAR配联合伴联袂共进，完毕共赢发达。

　　现将咱们构修的数据通道图浮现如下：图中左侧撑持两个800万像素的通道，辅以四条200万像素的环顾通道工具，并增设一条300万像素的后视通道。

　　正在BEV形式下，四道环顾信号需与前视信号仍旧同步功夫戳，以便将相干音信传达至NPU举行BEV收拾。若仅推广停车成效，则需举行图像拼接。拼接算法安排于GPU上，，GPU推广拼接与衬托操作后，最终由VO承担显示。

　　值得一提的是，咱们撑持BEV+Transformer架构，供应高度活泼且可编程的算子撑持。目前，咱们已撑持200多个算子硬件加快，撑持夹杂精器量化等成效，可能有用撑持Transformer模子的加快运算。

　　其余，咱们还通过OBU模块撑持可界说算子的完毕。，经本质芯片评测，咱们正在CNN上的机能抵达友商的1.5倍，而正在SwinT上的机能更是友商的6倍。

　　咱们的为旌星图器械链重点包括两个人：量化器械与精度评估器械通过器械链转化后，咱们取得量化参数表与浮点安排模子。随后，诈骗编译器与机能评估器械举行优化收拾，征求图优化、算子拆分与调和，以及与硬件直接相干的算子调和。最终将模子转换为硬件可识另表模子与指令，并通过咱们的安排流程直接加载至芯片上。

　　图示为Yolov5正在VS919芯片上的量化安排，芯片邻接7个摄像头。显示器顶部为两个主摄工具，中心一排为环顾摄像头，底部为后视摄像头。扫数摄像头均朝向统一偏向，充沛浮现7V的才具。正在SwinT量化安排方面，咱们首前辈行模子打算与冲洗事业，随后遵循数据集类型选拔相应的量化设施。颠末模子量化后，天生中心量化文献太阳诚娱乐，并诈骗咱们的量化器械举行收拾。最终，通过编译器械天生芯片可识另表文献，并通过安排流程加载至芯片上。目前，咱们正在机能上已抵达竞品的6倍。

　　瞻望另日，咱们笃信配合共赢是发达的环节。行为旌科技这家潜心于芯片研发的公司，咱们竭力于打造好用、易用、耐用的芯片产物，正在算力底座方面阐发咱们的特长。咱们盼望与更多的配联合伴，征求中心件配联合伴与算法配联合伴，联合打造国产智能驾驶计划。

　　（以上实质来自上海为旌科技副总裁&拉拢创始人张晓峰于2024年4月17日-18日正在第二届汽车人为智能大会宣布的《车规软件架构及器械链对BEV+Transformer的撑持》主旨演讲。）