Notification Privacy Protection via Unobtrusive Gripping Hand Verification Using Media Sounds

笔记模板源于网络，我稍微改了一下，使其更符合我的习惯。

笔记

Summary

这项工作提供了一种不显眼的解决方案来保护用户的通知隐私，同时保持完整的通知功能。

通过IIR以及高通滤波器去噪，导出声音、振动频谱图来描述两个领域中人们抓握的手部生物特征，并基于 CNN ，SNR进行用户身份验证。

Background / Problem Statement

研究的背景以及问题陈述：

目前，手机app的通知会直接在手机上显示，这容易泄漏隐私，造成不便。尽管android以及iphone都有相应的对策，但用户并不满意。用户需要一个易于使用的解决方案，使手机在显示通知前隐蔽的验证用户身份。

Major Contributions

该研究的贡献：

1. 引入通知音来验证用户身份这一方法
2. 在不修改系统的前提下，解决了声学威胁，噪声攻击等
3. CNN分析频谱图验证用户身份
4. 振动、音频两个域

How Do You Think

你认为作者会采用那些方法解决问题？

捕捉数据，mfcc或者其他类似方法,cnn分类。

我比较好奇他们对用户不同握力以及环境带来的干扰的处理。

Problem Statment/Challenge

作者需要解决的问题是什么？

个人认为，有以下几点：

1. 去噪
2. 如何区分用户的特征
3. 鲁棒性多大

Method(s)

作者解决问题的方法/算法是什么？是否基于前人的方法？基于了哪些？

系统总体设计

attack model

仍是类似的attack model,如zero-effort attack,即无意的查看通知或者被非用户拿到；impersonation attack,被攻击者刻意模仿握持姿势；replay attack,侧信道攻击，通过重放声音实现。

具体算法

去噪 通过设计最小阶无限脉冲响应 (IIR) 带通滤波器，去除低频机械声音和高频噪声，并且整合两个麦克风数据以去除噪声；用40hz的高通滤波器去除振动噪声。

特征 用st-dtft计算频谱图。声音上，不同用户的差异在7k∼8kHz 的频率；振动上，在于160Hz 处

他的cnn竟然是通过随机丢弃数据防止过拟合的。。。

其他

做的attack实验还是很全面的，

特别是，我们发现了三类基于机器扬声器的攻击：1）当外部扬声器与目标设备共享一个公共实体表面（例如，一张桌子）时，2）当两个设备之间没有共享表面时，以及 3 ) 当目标设备正好放在外接扬声器上时。直觉是外部扬声器引起的振动可以通过物理接触传递到目标设备

外部扬声器无法模仿内置扬声器施加的跨域 SNR 关系 ,可以计算声学和振动响应之间的 SNR 差异以确定认证有效性

Evaluation

作者如何评估自己的方法？实验的setup是什么样的？感兴趣实验数据和结果有哪些？有没有问题或者可以借鉴的地方？

setup

设备：

平台：

基于安卓，数据本地处理，我挺好奇cnn这些方案怎么用java/kotlin实现的

数据收集：

按照流程，以 2 秒的静音间隔连续播放九个音调和一个振动警报，并且每个音调仅使用 1 秒的声音，捕获数据，并且进一步模拟了背景噪音。

攻击：

作者直接模拟攻击，侧信道攻击直接用的手机内部采集到的合法声音

数据

握持对手机声音的影响，声音是由五个单频正弦波组成的长哔声

内置外置的影响，看来还是内置好一点

这个可以看一下他们具体怎么做的

聚类

Unresolved Issues

和我导聊的时候我导发现了这篇文章的一个问题，好像还挺严重的。现在想不起来了。。。

Conclusion

作者给出了哪些结论？哪些是strong conclusions, 哪些又是weak的conclusions（即作者并没有通过实验提供evidence，只在discussion中提到；或实验的数据并没有给出充分的evidence）?

这项工作提供了一种不显眼的解决方案来保护用户的通知隐私，同时保持完整的通知功能。

我们表明，智能手机媒体声音虽然比专用信号更复杂，但可用于感知和验证用户的握持手。我们导出频谱图来描述两个领域中人们抓握的手部生物特征，并开发了一种基于 CNN 的用户身份验证算法。

weak conclusions:

我们进一步推导出嵌入在同一主板上的智能手机麦克风、扬声器和加速度计之间独特的跨域物理关系，以防止外部声音（例如噪音和攻击）阻碍系统。

strong conclusions:

大量实验表明，我们的系统以 95% 的准确率验证用户，并防止 100% 的外部扬声器重放声音

Notes

(optional) 不在以上列表中，但需要特别记录的笔记。

表面notes,实际miscellaneous talk

摘要里面提到，他们是通过振动以及声音两个不同域内的信号进行识别身份的，用户通过手持手机，手机发出声音或者振动，经过手掌的吸收，再由手机的麦克风以及加速度传感器捕获，进而分析特征，转为分类问题，最终实现一个区分身份的功能。

作者“自恋”的认为他们的产品不错，实际上在我看来类似的验证方法，如

1. Training-free Keystroke Inference Attack with Smartphone Acoustic Side-Channel
2. TouchPass: Towards Behavior-irrelevant on-touch User Authentication on Smartphones Leveraging Vibrations
3. Velody: Nonlinear Vibration Challenge-Response for Resilient User Authentication

这种基于长时间信号的、难以复制的方法都比现有的指纹验证要易于部署，比密码验证更加方便快捷。这文章发出的时间也不算早。

同样是CNN-based,毕竟CNN在处理时间信号这方面还是比较成熟的。但缺点是不易于部署，虽然mobilenet等轻量模型近几年陆续出现，但功耗上肯定大于之前传统的knn,hmm这些方法。但是有这样一句：

The time and space complexity are 21.4M FLOPs and 1MB, respectively, which are suitable to deploy on most mobile devices

其余比较吸引我的就是作者通过SNR来验证某次身份验证是否有效，并在最终也使用了SNR得分来验证身份。可以尝试一下。

还有就是 有笨比 不知道怎么用java/kotlin写cnn...感觉工作量好大，全部从头写吗？

References

(optional) 列出相关性高的文献，以便之后可以继续track下去。

研究的问题来源

1. AppleSupport. 2020. Get a verification code and sign in with two-factor authentication. https://support.apple.com/en-us/HT204974.
2. Anthony Bouchard. 2019. Improve your iPhone’s notification privacy with Blurification. https://www.idownloadblog.com/2019/05/07/blurification/.
3. Chris Hoffman. 2017. How to Hide Sensitive Notifications From Your iPhone’s Lock Screen. https://www.howtogeek.com/252483/how-to-hide-sensitivenotifications- from- your- iphones- lock- screen/.

现有解决方案 /attack方案

1. Jonny Evans. 2017. How to use Guided Access to secure your iPad or iPhone. https://www.computerworld.com/article/3162738/how-to-use-guidedaccess- to- secure- your- ipad- or- iphone . html.
2. Google. 2020. Supporting Multiple Users. https://source.android.com/devices/ tech/admin/multi- user.
3. Nicholas Carlini, Pratyush Mishra, Tavish Vaidya, Yuankai Zhang, Micah Sherr, Clay Shields, David Wagner, and Wenchao Zhou. 2016. Hidden voice commands. In 25th {USENIX} Security Symposium ({USENIX} Security 16). 513–530.
4. Johan Lindberg and Mats Blomberg. 1999. Vulnerability in speaker verification-a study of technical impostor techniques. In Sixth European Conference on Speech Communication and Technology

理论支撑

1. Zong Chen and Michael Recce. 2007. Handgrip recognition. Journal of Engineering, Computing and Architecture 1, 2 (2007).
2. Anupam Das, Nikita Borisov, and Matthew Caesar. 2014. Do you hear what i hear? fingerprinting smart devices through embedded acoustic components. In Proceedings of the 2014 ACM SIGSAC Conference on Computer and Communications Security. 441–452.
3. Mat Honan. 2014. Why Notifications Are About to Rule the Smartphone Interface. https://www . wired . com/2014/06/smartphone- notifications/.
4. Sanorita Dey, Nirupam Roy, Wenyuan Xu, Romit Roy Choudhury, and Srihari Nelakuditi. 2014. Accelprint: Imperfections of accelerometers make smartphones trackable. In Proceedings of the Network and Distributed System Security Symposium (USENIX NDSS).
5. Mengwei Xu, Jiawei Liu, Yuanqiang Liu, Felix Xiaozhu Lin, Yunxin Liu, and Xuanzhe Liu. 2019. A first look at deep learning apps on smartphones. In The World Wide Web Conference. 2125–2136
6. Chen Wang, S Abhishek Anand, Jian Liu, Payton Walker, Yingying Chen, and Nitesh Saxena. 2019. Defeating hidden audio channel attacks on voice assistants via audio-induced surface vibrations. In Proceedings of the 35th Annual Computer Security Applications Conference. 42–56.

可能是选择的应用方向原因，似乎没有人把这种方法应用于通知信息的隐私保护上。