1.场景描述
最近在做web端的UI自动化测试，涉及与第三方页面的交互，发现selenium对带有安全控件的输入框使用senkeys方法不起作用，无法正常输入内容，此时放弃selenium的输入，更换其他思路。
1.python模拟鼠标键盘操作pymouse、pykeyboard，失败
2.系统事件的拷贝和粘贴，Ctrl+C,Crtl+V，失败
3.操作系统的键盘事件输入，DD插件，成功
注：安全控件需要在浏览器先完成安装，并且能够正常使用
2.解决方法
采用第三方虚拟键盘DD XOFT，通过系统的键鼠事件输入，控件键鼠完成安全控件的输入
官网地址 http://www.ddxoft.com 下载一个名为DD81200x64.64.dll的插件（其实就是在它官方群的文件中下载的）。
python实现代码
from ctypes import *
import time
import os
import win32api
class op_keyboard():
def __init__(self):
parentDirPath = os.path.dirname(os.path.abspath(__file__))
path = parentDirPath + ("\\DD94687.64.dll") # 这个dll是当前路径下面的
print(path)
self.dd_dll = windll.LoadLibrary(path)
# DD虚拟码，可以用DD内置函数转换。
self.vk = {'5': 205, 'c': 503, 'n': 506, 'z': 501, '3': 203, '1': 201, 'd': 403, '0': 210, 'l': 409, '8': 208, 'w': 302,
'u': 307, '4': 204, 'e': 303, '[': 311, 'f': 404, 'y': 306, 'x': 502, 'g': 405, 'v': 504, 'r': 304, 'i': 308,
'a': 401, 'm': 507, 'h': 406, '.': 509, ',': 508, ']': 312, '/': 510, '6': 206, '2': 202, 'b': 505, 'k': 408,
'7': 207, 'q': 301, "'": 411, '\\': 313, 'j': 407, '`': 200, '9': 209, 'p': 310, 'o': 309, 't': 305, '-': 211,
'=': 212, 's': 402, ';': 410}
# 需要组合shift的按键。
self.vk2 = {'"': "'", '#': '3', ')': '0', '^': '6', '?': '/', '>': '.', '<': ',', '+': '=', '*': '8', '&': '7', '{': '[', '_': '-',
'|': '\\', '~': '`', ':': ';', '$': '4', '}': ']', '%': '5', '@': '2', '!': '1', '(': '9'}
def down_up(self, code):
# 进行一组按键。(1：按下；2：抬起)
self.dd_dll.DD_key(self.vk[code], 1)
self.dd_dll.DD_key(self.vk[code], 2)
def dd(self, i): # 自己可以定义各种操作
# 500是shift键码。
if i.isupper():
# 如果想输入大写，先按下shift,再输入字母，然后松掉shift。
# 按下抬起。
self.dd_dll.DD_key(500, 1)
self.down_up(i.lower())
self.dd_dll.DD_key(500, 2)
elif i in '~!@#$%^&*()_+{}|:"<>?':
# 输入特殊字符一样的道理。
self.dd_dll.DD_key(500, 1)
self.down_up(self.vk2[i])
self.dd_dll.DD_key(500, 2)
else:
# 输入常规的字符
self.down_up(i.lower())
# self.dd_dll.DD_key(self.vk[i], 1)
# time.sleep(1)
# self.dd_dll.DD_key(self.vk[i], 2)
def click(self):
'''模拟鼠标，位置在鼠标位置'''
self.dd_dll.DD_btn(4)
self.dd_dll.DD_btn(8)
def shifang(self):
win32api.FreeLibrary(self.dd_dll._handle)
if __name__ == "__main__":
op = op_keyboard()
for i in '123456':
op.dd(i)
op.shifang()
注意问题：
1.pycharm(IDEA)要以管理员身份运行
2.如果无法正常加载驱动，进入BIOS，查找“secure boot”选项，设置成“disable”，或改以传统方式启动。
3.xxx.dll 尽量保持最新版
3.DD虚拟键鼠
原文链接：https://blog.csdn.net/sheng_lianfeng/article/details/7209995
DD_chk()
功能：检测驱动程序是否正常。
返回值： 0 ， -1 ，-2 ，-3
分别表示： 驱动正常，键盘驱动错误，鼠标驱动错误，键盘鼠标驱动都错误DD_btn(参数)
功能： 模拟鼠标点击
参数：
1 =左键按下，2 =左键放开
4 =右键按下，8 =右键放开
16 =中键按下，20 =中键放开
64 =4键按下， 128 =4键放开
256 =5键按下， 512 =5键放开
例子：模拟鼠标右键 只需要连写 dd_btn(4) ; dd_btn(8)DD_mov(参数x,参数y)
功能： 模拟鼠标移动
参数： 参数x , 参数y 以屏幕左上角为原点。
例子： 把鼠标移动到分辨率1920*1080 的屏幕正中间，
int x = 1920/2 ; int y = 1080/2;
DD_mov(x,y) ;DD_whl(参数)
功能: 模拟鼠标滚轮
参数: 1=前 , 2 = 后
例子: 向前滚一格, DD_whl(1)DD_key(参数1，参数2)
功能： 模拟键盘按键
参数： 参数1 ，请查看 DD虚拟键盘码表。
参数2，1=按下，2=放开
例子： 模拟TAB按键,只需连写
DD_key(15, 1);
DD_key(15, 2);DD_str(参数)
功能： 直接输入键盘上可见字符和空格
参数： 字符串
例子： DD_str("MyEmail@aa.bb.cc !@#$")DD_todc(参数)
功能： 转换Windows虚拟键码到 DD 专用键码.
参数： Windows虚拟键码
例子：
int ddcode = DD_todc(VK_ESCAPE);
Dim ddcode As int32 = DD_todc(27);
4.安全控件工作原理
原文链接https://blog.csdn.net/Bone_ACE/article/details/80765299
我的尝试
首先大家都应该知道，安全控件肯定会对密码做一个加密。银行的安全加密级别，基本上是没法直接正面破解的，所以就直接上模拟浏览器吧。然而在密码框，webdriver用各种姿势的按键输入都无效。疑惑开始。
想想，安全控件是独立的一个exe安装在系统上的，可能是密码输入调用了浏览器之外的东西，所以浏览器层的模拟输入无效。那就换系统级的模拟输入吧。来，python调用winAPI接口模拟键盘输入，无效；按键精灵，无效。
奇怪，再来。屏幕键盘，无效。我平时是用着两台电脑的，之间用mousewithoutborders共享鼠标键盘。发现直连键盘的那台机能输入，但另一台机没法输入，在密码输入框，怎么按都没有输入。
好吧，用键盘钩子监控一下键盘的输入吧。发现正常输入密码时，监控到的字符变成空了。看来加密控件在hook层之前就动了手脚。
寻找原因
以上为热身动作，开始吧。先搜索键盘输入一个按键的传递流程，再搜索安全控件的功能（目的）和实现原理。
Windows 操作系统中，PS/2 键盘输入信息的传递流程如下：
1）用户敲击按键，一个按键被按下时，键盘发送相应的电信号到计算机主板上的键盘控制器（i8042）；
2）键盘控制器告知CPU有键按下，同时将按键信息以键盘扫描码的形式写到键盘 I/O 接口（其中 0x60 端口保存按键扫描码，0x64 端口记录键盘控制器的状态），并产生终端请求IRQ1；
3）操作系统根据 IOAPIC 重定位表查到 IRQ1 所对应的中断号（正常情况为0x93），在根据中断向量表（IDT）查得这一中断对应的中断处理函数的地址，调用中断处理程序（ISR）进行处理；ISR 读出 0x60 端口的键盘扫描码，将之转换成系统扫描码，封装包含按键信息的 IO 请求包（IRP），将 IRP 发往键盘端口驱动（PS/2 键盘的端口驱动为 i8042 prt.sys）；
4）键盘端口驱动将按键信息发往键盘类驱动（Kdbclass.sys，所有类型键盘通用）；
5）键盘类驱动将按键信息封装到系统消息中发往 csrss.exe，按键信息首先被保存到系统消息队列中；
6）csrss.exe 将按键信息分发到各个应用程序的线程消息队列；
7）焦点窗口所属的程序从线程消息队列中读取被转为 ASCII 码（如果需要，还需要经过输入法编辑器 IME 的处理）的按键信息，并调用 use32.dll 更新用户界面。
54.png
以上，可以很清晰的看到 PS/2 类型键盘的传递流程。而银行的安全控件，应该是从第2层拿了端口数据进行加密。对于这种情况，我们只需要查询所要输入字符的键盘扫描码，发送到60/64端口即可。事实上我们网上搜到的大部分“驱动级模拟键盘输入”，都是这种。
然而，这是对于 PS/2 这种键盘而言的。可是目前只有笔记本和部分老台式机才保留有 PS/2 ，现在主流的服务器都是只接受 USB 键盘的。所以向端口发送键盘扫描码这种方式并不好用。
如上图所示，AcitveX 安全控件的防护原理如下：
1、 当用户将输入焦点定位到安全控件上，准备进行口令输入时，激活相应安全控件。
2、用户通过敲击键盘上的字符，产生相应的电信号。触动操作系统的相应的中断 IRQ。
3、操作系统调用键盘驱动解释相应电信号所代表的字符，并进行相应的数据加密。将驱动解释出来的字符发送到操作系统消息队列中。
4、安全控件将接收到的密文保存在控件内的私密控件中，然后在界面上显示星号（*），并且停止字符的继续传播。
5、当用户点击网页上的登录提交按钮时，安全控件中被通知执行提交动作。安全控件动态将已加密的口令内容添加到页面中要提交的表单中，然后提交表单。
6、IE 将表单中的数据通过 HTTPS 通道传送到服务器，进行相应的处理工作。
依靠微软的驱动，先于用户态下和核心态上层的病毒和木马程序（如 hook 和篡改 SSDT、系统服务 API）获取到键盘输入，以杜绝病毒和木马程序获取到键盘输入。。。
使用。但有些特殊的像游戏键盘，经常会编写自己的键盘驱动，我们可以找相关的开发资料。另外，有些游戏对鼠标键盘的输入要求高响应，经常会像安全控件的做法那样，直接读驱动解释出来的数据。我们只需要找相应的外挂程序，也能作一些参考。
《驱动挂载对网银的入侵以及相应的防御方式》中，就是通过驱动挂载监控到密码的输入。然而攻防是个博弈的过程，两者都不断在发展，技术不断更新。。
