车牌(自动)识别系统，简而言之是基于各种图像处理算法，对前端摄像机抓取到的车辆图片进行分析，进而从中提取出诸如车牌号(英汉字符及数字)、车牌颜色，甚至车型、生产厂家、车辆颜色等信息，实现准确锁定车辆“身份”，并与相应车辆的道路行驶信息联系起来，最终实现对上路车辆的智能自动管理。
车牌识别系统主要由触发机制、图片抓取以及图片识别三大模块组成。为得到优质的原始图片，需要事件触发与车牌抓取的默契配合，其最终实现的效果将依据所涉硬件设备的性能(摄像机、镜头、图像处理芯片、抓拍控制机构、触发和照明及控制设备等)、图像识别算法的优劣、工程架构和安装等，此三部分相辅相成，共同影响着系统最终的识别率以及使用效果。
触发&检测机制
所谓检测，通俗地说在相应事件发生时能准确采集到相关信息，亦即当需抓拍的路段出现车辆，且当车辆进入最佳拍照范围时，检测设备发出相应信号，控制系统接收到该信号，会控制摄像机抓拍，且同步启动照明系统。此步骤尽管不是整个车牌识别过程中最难实现的，却是其成功应用的第一步，故也发展出了几大不同的技术形式：
地感线圈+车辆检测器：优点是灵敏度和准确率高(一般可达99%)，且投入少，故应用最为广泛。但其剖路施工量较大、后期维护难度也大。且由于地埋，易受路面环境等因素影响;
雷达：优点是受气候温度影响较小，已在我国东北地区成为主流应用，在深圳等大型城市也因为架构较为简便有占有率上升的趋势。灵敏度和捕获率不及地感线圈，且因为基于微波技术，故可能存在一定误码率;
智能视频侦测：简单说来，其是直接集成在摄像机内部或者构建在前端工控机内的一个功能强大的综合事件侦测“软件”，对道路视频信息进行实时识别检测，一旦在分析过程中发现“车辆”，便进行视频跟踪，当视频检测到相应的车辆进入到最佳的拍照范围时，便触发相应抓拍及后续的车牌识别行为，优点是无需硬件施工，比较灵活。目前较好的智能视频侦测技术其灵敏度和捕获率也可达到95%以上，且因为性能更加稳定卓越，应用愈加广泛，常被应用于压线、违章变道等综合检测系统中，具有更宽广的应用灵活性和多样性，但是技术难度也更大。其缺点是较易受天气环境的影响。
目前国内主流车牌识别厂商，通常会把地感线圈等硬件检测技术和智能视频侦测技术做为互备份，自动切换。
图像抓取
俗话说巧妇难为无米之炊，对于车牌识别系统，虽然各种图像识别算法不断推陈出新，一定程度上补救了原始图像可能的质量缺陷，但也必将牺牲一定的识别准确率。反过来，在识别技术相对成熟稳定的情况下，对前端摄像机以及配套设施的合理选择与架构，即最大限度提高原始图片的质量，可在提升系统识别率上达到事半功倍的效果。而这一步中起到决定性因素的除了摄像机本身，更有补光设备等。
摄像机
车牌识别与车牌在图片中占据的横向比有关，一般需求在60～100个像素，最大不高于300(根据识别软件厂家的研发能力而不同)。一条标准车道(3.75～4.5米)大概占据800个横向像素，故而两百万的高清摄像机可兼顾到1～2条车道，五百万则可以兼顾2～3条车道的信息，亦即在提供更优质图像的同时，高清摄像机也节省了前端硬件的投入。
从标清到高清，前端摄像机像素上的革命性升级，也给车牌识别带来了革命性发展，据此凌云光子技术集团客户经理王锐更深入到了感光传感器的角度：“CMOS可提高图像质量，解决CCD诸如成本偏高、帧率限制等固有弱势。可以说，CMOS或将引领未来的高端高清摄像机市场，而尖端的CMOS技术，会对车牌识别起到很好的推动作用。”另一方面，浙江大华技术股份有限公司产品经理朱克玉则表示了不同的看法：“考虑到行业应用需求，因为CCD传感器灵敏度相对较高，且能有效避免移动物体的成像变形等问题。至少在目前，在智能交通领域采用CCD传感器机会较多。”
除了高清趋势，针对车牌识别系统的需求，前端摄像机必须允许用户自行设置快门、增益等图像参数，以得到最佳图像效果，同时还需具备优秀的低照度、灵敏度、稳定性及白平衡效果，并具备二次开发的能力，方便工控机或内嵌抓拍处理器获取摄像机的参数信息，或写入配套的算法。最后，其需具备丰富的I/O接口，以便接入地感线圈、闪光灯等外围设备。
辅助硬件
目前我国对于车牌识别准确率的标准是白天不低于95%、夜晚不低于80%，由此可见夜间识别率存在大幅的降低，究其原因，还是图片的质量问题，当然这里的影响因素较为单一，即光照。
针对这一问题，算法方面一直有所升级，可在一定程度上降低噪点并提亮抓拍到的图片，但针对夜间光照度差的情况，更多的升级选择在硬件上。除了在摄像机方面采用灵敏度更好的尖端CCD、CMOS芯片(当前选用灵敏度更好的CCD仍较多)及大口径镜头，以提升相机的夜间灵敏度。更多的还在于夜间补光设备的选择与安装。通过立杆高度与补光灯角度的配合，获得科学的补光效果，尽量使光线正面打到车牌上，而在补光灯的选择上也经过了一定的发展：
闪光灯(气体灯)：峰值亮度高，优点是可以拍摄到驾驶室的人。但平均寿命短，光污染大，对人眼有一定损伤，甚至可能影响驾驶员的驾驶安全。目前我国部分城市已有相关硬性要求出台，限定了闪光灯的使用范围;
LED频闪灯：能与摄像机保持同步，亮度优于常亮灯，也具备爆闪的方式，亦可看清驾驶室，相对而言安全性更好，只是图片质量会比闪光灯稍差。
除了补光方式的演变，博康智能产品经理王朝英还补充道：“安装上可从过去摄像机位置固定的静态方式，慢慢发展为搭配云台，以配合运动车辆来进行更好的抓取。”
图像识别
算法
目前车牌识别系统的软硬件相对而言都较为成熟，其中图像识别的过程虽然根据各个厂家的研发能力与侧重点有所不同，但其大致过程可总结为如下五个步骤：
图像的预处理：对采集到的图片的背景以及噪声进行处理，方便后续工作;
车牌定位：通过形态学滤波等方式，使车牌区域连通，并根据车牌的先验知识，对联通区域进行筛选;
车牌校正：捕捉到的车牌可能跟摄像头存在角度差，用相应算法进行变换校正;
车牌分割：对车牌进行投影分析的时候，根据车牌字符之间的宽度使之分割成一个个字符;
字符识别：模板匹配，对分割来的字符进行归一化，与标准字库里的字符进行逐一比较识别。
“近年来出现了一些较新的识别算法与技术，如扩展小波分析、Fractal、Morphology、Retinex、超分辨率以及遗传和神经网络算法等。其中Fractal算法广泛用于图形/图像处理和纹理分析，将杂乱无章随意性很强的事物以数学的方法加以规范和描述，在分析和描绘自然现象上有独到之处。Retinex是基于人类视觉系统的图像增强理论，可以在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，具有很广的应用前景。而超分辨率算法，可以以人为的方式模拟地恢复出图像获取过程中丧失的一些信息，使数字图像能够还原为原始信息。这些算法和理论在未来图像处理技术发展的道路上都可能产生很大的影响。”大华产品经理朱克玉对于近年来出现的算法做了如上归纳。
而杭州中威电子股份有限公司工程师陈芝斌则进一步补充了国外的相关进展：“YuniaoCul提出了一种车牌识别系统，在车牌定位以后，利用马尔科夫场对车牌特征进行提取和二值化，对样本的识别达到了较高的识别率。EunRyung等利用图像中的颜色分量，对车辆牌照进行定位识别，其中提到了三种方法：以Hough变换为基础的边缘检测定位识别;以灰度值变换为基础的识别算法;以HLS彩色模式为基础的车牌识别系统，它们的识别率分别为81.25%、85%、91.25%。”
