自动化篇 - 为闲鱼制作一个客服机器人(上)

image

目标场景

我们都知道「闲鱼」的流量很大,除了淘宝、拼多多,很多商家和个人卖家都会在闲鱼上卖商品和各类服务。闲鱼 App 内置的「自动回复」仅仅包含了一些固定关键字,包含默认回复、价格、包邮、发货地 4 个功能,因此,没法做到完全自定义消息回复。

image

另外,如果你有多个闲鱼号,经常会因为消息处理不及时,导致订单丢失了。因此,对闲鱼消息进行统一管理变得非常有必要。

本篇文章的目的是利用 上篇文章 提到的无障碍方案带大家实现这些功能。

实现代码

首先,新建一个 Android 项目,然后在 app/src/main/res/xml/ 目录下新建配置文件。利用 packageNames 属性指定仅监听闲鱼 App 的页面事件,accessibilityEventTypes 指定监听所有的事件,其他属性使用默认的即可。

<accessibility-service xmlns:android="http://schemas.android.com/apk/res/android"
    android:accessibilityEventTypes="typeAllMask"
    android:accessibilityFeedbackType="feedbackGeneric"
    android:accessibilityFlags="flagDefault"
    android:canRetrieveWindowContent="true"
    android:description="@string/app_name"
    android:notificationTimeout="100"
    android:packageNames="com.taobao.idlefish" />

新建 AccessibilityService 的子类,在 AndroidManifest.xml 中配置服务后,然后来处理 onAccessibilityEvent() 事件方法。

public void onAccessibilityEvent(AccessibilityEvent event){}

无障碍服务会接受到很多种类的事件,这里我们只要处理下面 3 个事件,包含:通知栏事件、页面变换事件、页面内容变化事件。

# 通知栏事件
AccessibilityEvent.TYPE_NOTIFICATION_STATE_CHANGED 
# 页面切换变化
AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED
# 页面内容变化
AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED

所以,首先在 onAccessibilityEvent() 内需要对事件进行一次过滤,筛选出上面的 3 种事件。

 //事件类型
int eventType = event.getEventType();
//获取包名
String packageName = event.getPackageName().toString();
//类名
String className = event.getClassName().toString();

//只筛选下面三个事件,其他事件过滤掉
if (eventType != AccessibilityEvent.TYPE_NOTIFICATION_STATE_CHANGED && eventType != AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED && eventType != AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED)
{
      Log.e("xxx","eventType:"+eventType);
      return;
}

如果闲鱼应用在后台运行,这时如果收到一条闲鱼消息,会直接在通知栏展示出来,这个过程会触发「通知栏消息」事件。一旦触发了通知栏消息事件,可以拿到通知栏的内容。由于闲鱼消息通知文本没有实际的意义,这里通过通知对象拿到 Intent 对象,直接跳转到聊天界面。

/***
 * 处理通知栏消息
 * @param event
 */
private void handleNotificationEventMet(AccessibilityEvent event)
{
    if (event.getParcelableData() != null && event.getParcelableData() instanceof Notification)
    {
        Notification notification = (Notification) event.getParcelableData();
        if (notification == null)
        {
            return;
        }
        PendingIntent pendingIntent = notification.contentIntent;
        if (pendingIntent == null)
        {
            return;
        }
        try
        {
            //注意:通知栏的文字消息没有参考意义
            //跳转到聊天信息界面
            Log.e("xag", "准备跳转到聊天界面");
            pendingIntent.send();
        } catch (PendingIntent.CanceledException e)
        {
            e.printStackTrace();
        }
    }
}

跳转到聊天界面这一操作会立即触发「页面变更」事件,这里可以先将聊天界面滑到到底部。

/**
 * 模拟下滑操作
 */
public void performScrollBackward()
{
    try
    {
        Thread.sleep(500);
    } catch (InterruptedException e)
    {
        e.printStackTrace();
    }
    performGlobalAction(AccessibilityNodeInfo.ACTION_SCROLL_BACKWARD);
}

需要获取元素的 ID 可以利用 DDMS 或者 uiautomatorviewer 两个工具。

image

通过观察,可以发现每一条聊天记录都在一个「列表元素」中。

/**
 * 查找对应ID的View  Level>=18
 *
 * @param id id
 * @return View
 */
@TargetApi(Build.VERSION_CODES.JELLY_BEAN_MR2)
public AccessibilityNodeInfo findViewByID(String id)
{
    AccessibilityNodeInfo accessibilityNodeInfo = getRootInActiveWindow();
    if (accessibilityNodeInfo == null)
    {
        return null;
    }
    List<AccessibilityNodeInfo> nodeInfoList = accessibilityNodeInfo.findAccessibilityNodeInfosByViewId(id);
    if (nodeInfoList != null && !nodeInfoList.isEmpty())
    {
        for (AccessibilityNodeInfo nodeInfo : nodeInfoList)
        {
            if (nodeInfo != null)
            {
                return nodeInfo;
            }
         }
     }
     return null;
}

//聊天列表

通过列表元素,拿到所有子元素,然后遍历去查找「每一条聊天内容」元素。聊天消息又包含发送消息、接受消息、公共消息(包含一直未回复?试试语音/视频通话) 3 种消息。

image

判断左、右图片是否存在,判断是哪种消息。如果左图标存在,就是接收到的消息;如果右图标存在,便是发送的消息;否则,就是公共消息。

int chat_count = chat_lv.getChildCount();
​
//注意:包含自己发送的消息、收到的消息、公共提示消息,比如:一直未回复?试试语音/视频通话
Log.e(TAG, "一共有:" + chat_count + "条聊天记录");

/所有聊天记录
//系统聊天信息,可以忽略
List<String> chat_msgs_common = new ArrayList<>();
//收到的信息
List<String> chat_msgs_from = new ArrayList<>();
//发出去的信息
List<String> chat_msgs_to = new ArrayList<>();

for (int i = 0; i < chat_count; i++)
{

     AccessibilityNodeInfo tempChatAccessibilityNodeInfo = chat_lv.getChild(i);
     //注意:通过判断是否有头像元素、昵称元素来判断是哪种聊天记录

     //获取头像元素【左】【发送者】
     AccessibilityNodeInfo headPortraitAccessibilityNodeInfoLeft = findViewByID(tempChatAccessibilityNodeInfo, Ids.id_chat_head_portrait_left);

     //获取头像元素【右】【接受者】
     AccessibilityNodeInfo headPortraitAccessibilityNodeInfoRight = findViewByID(tempChatAccessibilityNodeInfo, Ids.id_chat_head_portrait_right);
​
     //获取文字内容
     AccessibilityNodeInfo tempTextAccessibilityNodeInfo = findViewByID(tempChatAccessibilityNodeInfo, Ids.id_chat_text);

     if (null == tempTextAccessibilityNodeInfo || null == tempTextAccessibilityNodeInfo.getText())
     {
          Log.e(TAG, "索引" + i + ",聊天内容为空");
          continue;
     }
     String chatText = tempTextAccessibilityNodeInfo.getText().toString();
     Log.e(TAG, "聊天内容为:" + chatText);

     if (null != headPortraitAccessibilityNodeInfoLeft)
     {
          chat_msgs_from.add(0, chatText);
     } else if (null != headPortraitAccessibilityNodeInfoRight)
     {
          chat_msgs_to.add(0, chatText);
     } else
     {
          chat_msgs_common.add(0, chatText);
     }
}

回复消息」可以拿到底部的输入框,把文本传入到输入框,模拟点击右侧发送按钮就能够实现。

/***
 * 回复消息
 * @param event
 */
private void reply_content(AccessibilityEvent event, String content)
{
    //元素:输入框
    AccessibilityNodeInfo chat_edit = findViewByID(Ids.id_edittext);

    //把文本输入进去
    inputText(chat_edit, content);

    //元素:发送按钮
    AccessibilityNodeInfo chat_send = findViewByID(Ids.id_sendtext);

    Log.e(TAG,"准备回复的内容是:"+content);

    try
    {
        Thread.sleep(5000);
    } catch (InterruptedException e)
    {
        e.printStackTrace();
    }
    //模拟点击发送按钮
    performViewClick(chat_send);
}

根据收到的消息数目判断是否是「第一次收到的消息」。如果是第一次收到消息,就可以返回一些引导语,告诉客户可以通过回复固定的内容返回对应的消息;否则拿到最新的一条消息,回复自定义的内容。ps:这部分内容可以完全自定义处理。

//定义一段固定的回复内容
public static String reply_first = "让我开心的是,可以在这里遇见有趣的事物,可以遇见您。\n有什么可以帮到您的呢?\n回复【11】获取商品信息\n回复【22】获取发货信息";
​
//11:商品信息
public static String reply_11 = "亲,商品还有货\n现在可以直接拍下\n等店主看到了会第一时间发货";

//22:发货信息
public static String reply_22 = "亲,我们是包邮的!\n需要邮寄快递可以给我们留言";

//other:其他
public static String reply_other = "亲,信息收到了!\n主人会第一时间给你答复,稍等哈~";

// 初次聊天就发送默认的信息
if (chat_msgs_from.size() == 1 && chat_msgs_to.size() == 0)
{
     //输入之后,返回,退出输入框
     Log.e(TAG, "第一次收到信息,回复默认准备的内容");
     reply_content(event, Constants.reply_first);

} else if (chat_msgs_from.size() > 0)
{
     //第一条文本内容
     String first_msg = chat_msgs_from.get(0);
     if ("11".equals(first_msg))
     {
          reply_content(event, Constants.reply_11);
     } else if ("22".equals(first_msg))
     {
          reply_content(event, Constants.reply_22);
     } else
     {
          reply_content(event, Constants.reply_other);
     }

} else
{
     Log.e(TAG, "对方没有应答,不处理");
}

消息回复完成后,需要模拟点击返回键,直到页面回到应用的主界面。

/**
 * 模拟返回操作
 */
public void performBackClick()
{
    try
    {
        Thread.sleep(500);
    } catch (InterruptedException e)
    {
        e.printStackTrace();
    }

    while (!AppUtils.judgeIsMainPage(getRootInActiveWindow()))
    {
        Log.e("xag","现在不是主页面,返回一次");
        performGlobalAction(GLOBAL_ACTION_BACK);
    }
}

当回到主界面,这时候如有收到新的消息,聊天主界面会触发「页面内容变化」事件。

image

可以先判断消息列表是否存在「未读」的消息元素。

/***
 * 获取消息列表中有未读的消息Node
 * @param node
 * @return
 */
public static AccessibilityNodeInfo getUnreadMsgNode(AccessibilityNodeInfo node)
{
    AccessibilityNodeInfo unread_node = null;

    if (node == null || node.getChildCount() <= 1)
    {
        Log.e("xag", "未读消息判断,node==null");
        return unread_node;
    }

    Log.e("xag", "未读消息判断,子类个数:" + node.getChildCount());

    //过滤ListView的头部,包含:通知消息、互动消息、活动消息、鱼塘消息
    for (int i = 1; i < node.getChildCount(); i++)
    {

        AccessibilityNodeInfo temp_node = node.getChild(i);
        List<AccessibilityNodeInfo> unread_nodes = temp_node.findAccessibilityNodeInfosByViewId(Ids.id_main_unread_tag);
        if (null == unread_nodes || unread_nodes.size() == 0)
        {
            Log.e("xag", "未读消息判断,索引:" + i + ",unread_nodes为空");
        } else
        {
            unread_node = unread_nodes.get(0);
            break;
        }
    }

    Log.e("xag", "未读消息判断,unread_node==null:" + (unread_node == null));

    return unread_node;

 }

如果应用「主页面聊天列表界面」存在未读的消息,就点击进入到聊天界面,重复利用上面的逻辑就可以回复消息了。

//选中在消息Tab,处理聊天页面
if (Constants.HOME_TAB.TAB_XIAO_XI == currentTab)
{
    Log.e(TAG, "当前Tab:消息Tab");
    //判断新消息在哪个位置,然后点击进入
    AccessibilityNodeInfo main_listview_node = findViewByID(Ids.id_main_conversation_listview);

    //未读消息Node
    AccessibilityNodeInfo unread_tag_node = AppUtils.getUnreadMsgNode(main_listview_node);

    if (null != unread_tag_node)
    {
         Log.e(TAG, "点击进入会话");
         //点击进入消息列表
         performViewClick(unread_tag_node);

         //处理聊天信息
         handleChatMet(event);
     } else
     {
         Log.e(TAG, "列表中没有未读消息");
     }
}

结果结论

经过上面的一系列操作,就能监听处理通知栏和闲鱼应用内的消息,并完全自定义处理消息。

当然,如果你有多个闲鱼需要进行消息管理,可以通过「一个主闲鱼账号 + 一个商品」作为消息中转站来接受和发送消息;对每条消息由闲鱼账号 + 聊天对象 + 商品来确定唯一性,就可以实现一个闲鱼账号管理多个闲鱼账号的聊天消息。

本文首发于公众号「 AirPython 」,关注公众号后,回复「 闲鱼 」即可获得。

如果你觉得文章还不错,请大家点赞分享下。你的肯定是我最大的鼓励和支持。

推荐阅读:
自动化篇 - 黑客们使用的自动化方案,很多人还不知道

谁偷偷删了你的微信?别慌!Python 帮你都揪出来了

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,204评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,091评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,548评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,657评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,689评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,554评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,302评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,216评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,661评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,851评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,977评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,697评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,306评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,898评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,019评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,138评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,927评论 2 355

推荐阅读更多精彩内容