1 门锁的解锁锁定逻辑修改

(1) 问场景描述

1、人脸、掌静脉解锁尝试失败多次后，导致系统整体被锁定，必须等待一定时间后才能再次解锁，此期间即使使用密码、指纹等也无法解锁。

2、有人（如司机）使用密码、指纹等方式在解锁中或者解锁失败，此时雷达锁定，即使是正确的人脸、掌静脉也无法自动感应开锁，手动再唤醒面板操作麻烦。

(2) 问题原因

智能门锁的公共安全行业标准《电子防盗锁》(GA 374-2019)中规定：

采用未授权的数字钥匙、PIN钥匙、生物钥匙在5min内连续错误输入次数达到制造商文件中规定的次数时（次数范围：1-5），智能锁应能给出报警提示和/或发出警报信息，同时自动进入无效输入状态，且无效输入状态应至少持续90s。

目前360门锁结合行业标准当前的实现方式是：

1、  人脸识别错误有错误提示音，每5秒为一个识别间隔，错误3次禁用雷达感应2分钟，禁用后无法自动感应门前有人，从而无法触发人脸识别或者掌静脉；

2、  雷达禁用后不影响继续开锁，可以继续输入密码、刷指纹，但是5分钟内所有解锁方式累计错误超过5次，整体锁定2分钟。

(3) 改善方案结论

2019年行业标准发布时，人脸解锁尚未普及，针对指纹等解锁方式，按照标准实现并不会带来太负面的体验，但是在人脸解锁的使用场景下，严格的错误锁定逻辑会让体验变差。

在遵守行业标准的前提下，放宽人脸锁定逻辑，平衡用户体验，具体改动项：

1、  无接触的人脸、掌静脉拉长错误确认间隔，每10秒内无正确输入判定为输入错误1次，连续3次错误禁用雷达感应，不影响继续输入密码或者通过面板唤醒继续人脸识别；

2、  去掉不同解锁方式累计连续错误输入5次锁定的逻辑，某一种解锁方式错误超出次数仅禁用当前解锁方式，不同解锁方式的禁用互不影响；

3、  用户已经开始使用指纹、密码或者NFC输入时，保留禁用人脸或者掌静脉，但是在输入错误或者闲置5秒后能够再次开启人脸识别。

(4) 当前实现与逻辑分析

1、有人靠近1米范围内通过雷达自动感应，人脸、掌静脉同时运行，哪一种先被识别使用哪一种方式（合理）；

2、人脸识别错误有错误提示音，连续检测错误3次，则人脸检测关闭，同时关闭雷达感应2分钟，此时需要重新触摸面板才能够再次开启人脸或者掌静脉检测（需改进）；

a)参考目前手机方案：

  i. 苹果：面部解锁连续失败3次，禁用人脸解锁，必须输入密码，密码连续输错10次，整体禁用1分钟；

ii. 华为：面部解锁连续失败3次，禁用人脸解锁，必须输入密码，密码连续输错5次，整体禁用1分钟；

b) 问题点：例如，人脸识别失败，想换用掌静脉解锁此时无法自动触发，可以使用密码或者指纹，但是用户不容易理解，可能会持续尝试；

3、人脸识别错误3次只锁定雷达感应，不会自动触发人脸识别，此时可以输入密码或者验证指纹，或者触摸面板唤醒继续检测人脸，累计错误达到5次，则所有解锁方式锁定2分钟；（按照智能门锁公共安全行业标准GA 374-2019实现，在人脸场景中确实影响体验）

4、因为有不同解锁方式解锁错误累计超过5次整体锁定的逻辑在，在输入密码或者验证指纹时，关闭人脸及掌静脉解锁，否则可能会出现输密码的过程中人脸持续失败导致整体锁定。

a)去除不同解锁方式累计超过5次整体锁定的逻辑，人脸识别错误次数再多，不影响其他解锁方式。

b)上一条限制去除后，即使在输入密码时人脸不识别，但是在输入错误或者闲置5秒后重新开启人脸识别。

5、防止出门回头重复解锁，开关门后20秒内屏蔽人脸解锁，必须手动触摸面板唤醒或者间隔之后再使用人脸开锁，指纹、密码等需要触摸交互的开锁方式不受此限制（合理）；

2 语音提醒与交互功能优化

(1) 功能场景描述

1、  出门的时候可以通过门锁播报备忘事项、天气等信息提醒如出门带伞之类的事项；

2、  按门铃时门外响铃，但是针对别墅场景不确定门内是否听到，应当补充语音提醒，如“正在呼叫中，请稍后！”

3、  可以通过语音交互简化门锁操作，如指纹、人脸录入流程；

4、  人员不在家时，有人按门铃可以直接触发对应的语音提醒，

(2) 功能实现分析

当前门锁已经实现出门语音提醒功能，但是仅限于播放设置好的录音，可以进一步完善功能。

对应的功能在小米、华为等智能家居联动场景中实现，之前的360 AI音箱也做了类似的功能。如下图，通过IoT云平台的场景联动功能，将门锁的门内开锁事件，联动音箱的服务，如果要实现出门播报天气预报，则音箱设置自定义指令“今天天气”，如果要播报对应提醒，则可以设置播放指定文字。

图 1 小米门锁和智能音箱的联动

目前在我家的智能家居场景中，为了让出门提醒更简明扼要更个性化，基于低代码平台，联动出门时间做个个性化的语音提醒，实现了早上播放全天天气，下午播放当前天气，降雨提醒带伞，风力大于2级提醒给孩子穿衣服的功能。

图 2 智能家居场景基于Node-Red做的出门自定义提醒

针对门锁场景，由于目前只有门外的喇叭受到主控控制，可以实现自定义提醒功能，更进一步，为了具备更好的通用性，让不同的产品联动更好，计划将摄像机、门铃基站、门锁都可以做语音服务封装，支持播放录音、TTS、天气等几个常见服务。然后通过开门事件可以和门锁的外面板、室内的摄像机、门铃基站实现语音联动。也可以实现门外特定人员开锁，门内摄像机等播报“XX回来了”。

3 大模型的应用探索

(1) 功能场景描述

1、  基于多模态大模型，可以将感知升级为认知，准确描述门前出现的人，做的事；

2、  基于多模态大模型可以实现更智能的语音交互，将门锁的很多功能设置简单化。

(2) 当前现状与计划

在视觉大模型部分，已经开始针对门前、儿童照看、连锁店铺巡检进行探索落地，去年10月，基于视觉大模型的OVD能力上线公测。

目前在门锁上仅上线了人体检测、包裹检测等小模型，计划针对门前场景，合作微调训练“门前安全认知大模型”。

功能一：基于大模型的门前环境描述，目前小模型仅能检测人形，包裹，通知标题为“有人出现，有包裹出现”，基于大模型可以简要的描述门前的核心信息，如下图：

基于LLAVA-1.6-34B版本，搭建环境基于门锁的实际门前数据，基于不同的Prompt做了测试。计划在5月底上线公测。

图 3 基于大模型的门前场景描述

功能二：通过PIR或者微波雷达判断门前人员逗留后，通过大模型对逗留视频进行更进一步的分析处理。能够在徘徊检测的基础上，进一步识别视频中的人员信息，对可能得危险信息进行提醒，生成可疑信息的视频摘要截图或者片段，方便进行回看。

(3) 视觉大模型合作计划

之前主要是与研究院配合进行相关开发，考虑到多模态大模型的飞速发展，计划自研和同步开展外部合作，目前已经与北京大学人工智能研究院相关人员的创业公司阿莱门科技建立联系，目前已经开会两次探讨在视觉大模型相关的合作，相关商务部分正在沟通中，初步意向是我方提供数据和并进行标注，对方进行场景微调和对齐，符合条件上线后支付相应的费用。

此团队目前已经开源基于LLaVA的两个项目，MOE-LLaVA和Video-LLaVA，基于已有的开源项目，在视觉大模型的相关研究上已经有一定的基础。