在日常办公中，经常免不了和Excel打交道，每次手工处理数据，稍微不细心点。数据可能就出错了。而且重复的任务又会占据大量的工作时间。那有没有办法可以解决这些问题呢？

今天介绍一种方法，可以解决日常工作的重复工作，节省时间，从而优化自己工作。今天说的就是通过Python语言的selenium+numpy+js+pandas库。完成自动化办公。

首先，需要通过Python+Selenium+Js 封装一个函数get，用于在公司管理平台下载各类所需的数据表（如果数据是直接以excel提供，则忽略此步骤）。自动化办公目录图片如下：

123456.png

封装的数据获取的get函数：

from selenium import webdriver
import time,random
import json,os
from selenium.webdriver.support.select import Select
import cv2

'''封装函数，自动登录     //*[@id="img"]验证码xpath'''
class cook:
    def __init__(self):
        self.driver = webdriver.Chrome()
        self.driver.implicitly_wait(120)
        try:
            self.cook_login()
            time.sleep(3)
            if self.driver.title != '需求管理平台':
                print('cookie login fail')
                '''弹出框处理#send_keys(Keys.ENTER)'''
                self.driver.switch_to.alert.accept()
        except:
            time.sleep(2)
            self.driver.delete_all_cookies()
            self.driver.get('url')
            self.login()
            self.cookies_write()
            
    #cookies写入，从而每次调用可以跳过验证码
    def cookies_write(self):
        dictCookies = self.driver.get_cookies()
        jsonCookies = json.dumps(dictCookies)
        os.remove('C:/Users/lenovo/Downloads/cookies4.json')
        time.sleep(2)
        with open('C:/Users/lenovo/Downloads/cookies4.json', 'w') as f:
            f.write(jsonCookies)
        print(type(jsonCookies),jsonCookies)
        print('收集完成cookie')

    '''
    :param 账号密码
    '''
    def login(self,user='账号',pwd='密码'):
        time.sleep(1.5)
        self.driver.find_element_by_id('j_username').send_keys(user)
        time.sleep(1)
        self.driver.find_element_by_id('j_password').send_keys(pwd)
        # img_yzm = self.driver.find_element_by_xpath('//*[@id="img"]')
        # img_yzm.screenshot(r'D:\360MoveData\Users\lenovo\Music\Desktop\yzm.jpg')
        # time.sleep(1)
        # image1 = cv2.imread(r'D:\360MoveData\Users\lenovo\Music\Desktop\yzm.jpg')
        # cv2.imshow('image', image1)
        # cv2.waitKey(0)
        # cv2.destroyAllWindows()
        code = input('\n请输入验证码：')
        self.driver.find_element_by_id('code').send_keys(code)
        log_in = self.driver.find_element_by_xpath("//input[@value='登录']")
        log_in.click()
        while self.driver.title == '首页登录':
            self.login()

    def cook_login(self):
        with open('C:/Users/lenovo/Downloads/cookies4.json', 'r') as f:
            #, encoding='utf-8')
            listCookies = json.loads(f.read())
        self.driver.get('http://iimp.sh.cmcc/rip/login.do')
        self.driver.delete_all_cookies()
        for i in listCookies:
            self.driver.add_cookie(i)
        self.driver.get('http://iimp.sh.cmcc/rip/chaxun.do')
        self.cookies_write()

    ''':return 网址dict'''
    #返回各类数据的一个字典，从而可以通过链接进行下载
    def back(self):
        report_list = []
        for link in self.driver.find_elements_by_xpath("//*[@id='sf-menu2']/li/a"):
            herf = link.get_attribute('href')
            text = link.get_attribute('text')
            lis1 = [text, herf]
            report_list.append(lis1)
        report_list = dict(report_list)
        return report_list

    '''更改时间
    :param form H5标签的id
    :param t 更改的时间'''
    def alter_time(self,form, t):
        js = "document.getElementById('%s').removeAttribute('readonly');" % form
        self.driver.execute_script(js)
        js_value = "document.getElementById('%s').value='%s'" % (form, t)
        self.driver.execute_script(js_value)

    '''导出报表函数'''
    def report(self,name,start,end):
        report_list = self.back()
        if name == '政企业务需求报表':
            self.driver.get(report_list['政企业务需求报表'])
            self.driver.find_element_by_xpath(
                '//*[@id="bd"]/div[1]/div[2]/table/tbody/tr/td/table/tbody/tr/td/input').click()

        elif name == '政企KPI跟踪报表':
            self.driver.get(report_list['政企KPI跟踪报表'])
            self.driver.find_element_by_xpath(
                '//*[@id="bd"]/div[1]/div[2]/table/tbody/tr/td/table/tbody/tr/td/input').click()
            time.sleep(3)

        elif name == '需求确认时间查询报表':
            self.driver.get(report_list['需求确认时间查询报表'])
            self.alter_time('confirmTimeStart', start)
            self.alter_time('confirmTimeEnd', end)
            self.driver.find_element_by_xpath('// *[ @ id = "export"]').click()

        elif name == 'PATCH计划':
            self.driver.get(report_list['PATCH计划'])
            self.alter_time('planTimeStart', start)
            self.alter_time('planTimeEnd', end)
            self.driver.find_element_by_xpath(
                '//*[@id="bd"]/div/div[2]/table/tbody/tr/td/table/tbody/tr[10]/td/input[2]').click()

        elif name == '业支厂商工时报表':
            self.driver.get(report_list['业支厂商工时报表'])
            self.alter_time('planTimeStart', start)
            self.alter_time('planTimeEnd', end)
            self.driver.find_element_by_xpath(
                '//*[@id="bd"]/div/div[2]/table/tbody/tr/td/table/tbody/tr[2]/td/input[2]').click()

        elif name == '测试进度报表':
            self.driver.get(report_list['测试进度'])
            self.alter_time('planTimeStart', start)
            self.alter_time('planTimeEnd', end)
            time.sleep(1)
            self.driver.find_element_by_xpath('//*[@id="testPerson"]').clear()
            self.driver.find_element_by_xpath(
                '//*[@id="bd"]/div/form/div[1]/table/tbody/tr/td/table/tbody/tr[3]/td/input[2]').click()

        elif name == '缺陷工单修复时长报表':
            self.driver.get(report_list['缺陷工单修复时长报表'])
            self.alter_time('planOnlineTimeStart', start)
            self.alter_time('planOnlineTimeEnd', end)
            self.driver.find_element_by_xpath(
                '//*[@id="bd"]/div/div[2]/table/tbody/tr/td/table/tbody/tr[5]/td/input[2]').click()

        elif name == '需求查询':
            self.driver.get(report_list['需求查询'])
            self.alter_time('time', start)
            self.alter_time('time1', end)
            '''下拉选框选择'''
            Select(self.driver.find_element_by_xpath("//select[@id='remandType']")).select_by_visible_text('业务支撑')
            time.sleep(2)
            Select(self.driver.find_element_by_xpath("//select[@id='secondSelect']")).select_by_visible_text('集团下发')
            self.driver.find_element_by_xpath("//*[@name='importBtn']").click()
        elif name == '敏捷工时统计报表':
            self.driver.get(report_list['敏捷工时统计报表'])
            self.alter_time('planTimeStart', start)
            self.alter_time('planTimeEnd', end)
            self.driver.find_element_by_xpath('//*[@id="bd"]/div[1]/div[2]/table/tbody/tr/td/table/tbody/tr[4]/td/input[2]').click()
        else:
            print('发生错误，请检查判断条件')

    def quit(self):
        self.driver.quit()

准备工作完成后，然后利用Pandas对表格进行处理，处理数据的步骤：读取、排序、筛选、去重、计算时间差、透视表、交叉表，删除数据、时间修改以及excel的函数：计算首次上线、计算上线次数、计算最后一次上线等等。
以一个每日任务代码为例，代码如下：

'''政企KPI任务报表'''
from control.common.get import cook
from control.common import demand
import time, os, datetime
import pandas as pd
import warnings
warnings.filterwarnings('ignore')

# 每次记得更新时间
start = '2020-01-01'
end = '2021-01-31'

'''政企任务的报表下载'''
report1 = cook()
report1.report('PATCH计划', start, end)
report1.report('政企业务需求报表', start, end)
report1.report('政企KPI跟踪报表', start, end)

time.sleep(3)
#定义需要剔除考核的工单列表
zq_data = [政企工单列表]
sj_data = [数据工单列表]

#创建，处理后数据的导出路径
t1 = demand.ltime(0)
t1path = r'D:\数据统计\12.政企KPI日报/' + t1
if not os.path.exists(t1path):
    os.makedirs(t1path)
os.chdir(t1path)


def clean():
    time.sleep(2)
    #数据读取
    data1 = pd.read_excel(r'C:\Users\lenovo\Downloads\政企业务需求报表.xls')
    data2 = pd.read_excel(r'C:\Users\lenovo\Downloads\PATCH计划2.xls')

    df1 = data1.copy()
    df1.index = df1['工单编号']
    #数据排序和计算
    df1.sort_values(by=['工单编号', '上线时间'], inplace=True, ascending=True)
    df1['外部工时'][df1['是否重复'] == '是'] = df1[df1['是否重复'] == '是']['外部工时'] / 2

    '''删除指定的工单'''
    for i in zq_data:
        demand.drop_data(df1, i)
    '''修改时间'''
    df1.loc[工单编号1, '上线时间'] = '2018-04-24'
    df1.loc[工单编号2, '上线时间'] = '2018-03-30'
    df1.loc[工单编号3, '创建时间'] = '2018-06-12'
    df1.loc[工单编号4, '创建时间'] = '2018-06-12'
    df1.loc[工单编号5, '创建时间'] = '2018-06-28'
    
    #更改值为时间格式
    df1['需求确认'] = pd.to_datetime(df1['需求确认'])  # ,format='%Y-%m-%d')
    df1['到达时间'] = pd.to_datetime(df1['到达时间'])
    df1['上线时间'] = pd.to_datetime(df1['上线时间'])
    lst = df1[df1['到达时间'].isnull()].工单编号.unique().tolist()
    print(lst)
    #替换指定工单时间
    for i in lst:
        df1.loc[i]['到达时间'] = df1.loc[i]['需求确认'] - datetime.timedelta(2)
    df1.loc['政企-2018-17184', '到达时间'] = pd.to_datetime('2018-12-08')
    # 修改时间为年-月-日  去除时分秒
    df1['需求确认'] = df1['需求确认'].apply(lambda x: x.strftime('%Y-%m-%d'))
    df1['到达时间'] = df1['到达时间'].apply(lambda x: x.strftime('%Y-%m-%d'))
    df1['上线时间'] = df1['上线时间'].apply(lambda x: x.strftime('%Y-%m-%d'))

    df2 = data2.copy()
    df2.index = df2['工单编号']
    df2['计划上线时间'] = pd.to_datetime(df2['计划上线时间'])
    df2.sort_values(by='计划上线时间', inplace=True, ascending=True)
    #计算最后一次上线工单
    df2 = df2.groupby('工单编号').last()
    df2['计划上线时间'] = df2['计划上线时间'].apply(lambda x: x.strftime('%Y-%m-%d'))

    # 筛选出指定部门的工单
    df2 = df2[df2['提出部门'].str.contains('数据业务中心') | df2['提出部门'].str.contains('产品运营支撑中心') | df2['提出部门'].str.contains('客户响应与产品运营中心')]
    # 筛选出指定需求负责人的工单,后期用字典实现筛选
    df2 = df2[df2['需求负责人'].str.contains('name1') | df2['需求负责人'].str.contains('name2') |
              df2['需求负责人'].str.contains('name3') | df2['需求负责人'].str.contains('name4') |
              df2['需求负责人'].str.contains('name5') | df2['需求负责人'].str.contains('name6') |
              df2['需求负责人'].str.contains('name7') | df2['需求负责人'].str.contains('name8') |
              df2['需求负责人'].str.contains('name9') | df2['需求负责人'].str.contains('name10') |
              df2['需求负责人'].str.contains('name11') | df2['需求负责人'].str.contains('name12')]
    
    # 删除指定的行
    for i in sj_data:
        try:
            demand.drop_data(df2, i)
        except:
            print('无法删除的行:%s' % i)

    df2['工单编号'] = df2.index
    data3 = pd.read_excel(r'D:\360MoveData\Users\lenovo\Music\Desktop\svn\政企KPI日报.xlsx')
    data3.index = data3['工单编号']

    a = data3[data3.index.str.contains('数据')][['需求确认', '到达时间']]
    a['需求确认'] = pd.to_datetime(a['需求确认'])
    a['到达时间'] = pd.to_datetime(a['到达时间'])
    a['需求确认'] = a['需求确认'].apply(lambda x: x.strftime('%Y-%m-%d'))
    a['到达时间'] = a['到达时间'].apply(lambda x: x.strftime('%Y-%m-%d'))
    #两张数据表合并
    df2 = pd.merge(df2, a, left_index=True, right_index=True, how='left')
    concat2 = df2[['工单编号', '工单名称', '工单简介', '创建人', '需求负责人', '创建时间', '需求确认', '计划上线时间', '到达时间']]
    #修改列名
    concat2.rename(columns={'计划上线时间': '上线时间', '工单简介': '简介'}, inplace=True)
    df = pd.concat([df1, concat2])
    #数据排序，后期用insert插入方式实现
    df = df[['工单编号', '工单名称', '简介', '创建人', '需求负责人', '创建时间', '需求确认', '上线时间', '到达时间',
             '期望上线时间', '需求期望上线时间', '到达总控时间', '一级总控拆分', '来源部门', '工单大类', '工单类型',
             '一级业务标签', '二级业务标签', '一级指标库标签', '二级指标库标签', '三级指标库标签', '上线次数', '外部工时',
             '是否重复']]
    print('数据已经处理完成，正在导出中……')
    os.chdir(r'D:\360MoveData\Users\lenovo\Music\Desktop')
    
    # 写入Excel，并导出
    shet = pd.ExcelWriter('政企KPI日报.xlsx')
    df.to_excel(shet, sheet_name='政企KPI报表', index=False)
    df1.to_excel(shet, sheet_name='政企需求表')
    df2.to_excel(shet, sheet_name='patch计划表')
    shet.close()

    print('本次政企据共%i条' % len(df1))
    print('本次数据共%i条' % len(df2))
    print('本次政企日报数据共%i条' % len(df))
    print('\n在' + time.strftime('%Y-%m-%d %H:%M:%S', time.localtime()) + '分，导出处理后数据')

通过自动化，以前每次一小时左右完成的数据处理任务，现在只需要几分钟就可以完成。而且自动化处理的数据准确性高，防止手工操作可能由于一些原因导致数据的不准确性。自动化省出来工作时间，从而可以用于继续封装其他任务，提高整体效率。从而进入一个良性循环，低成本，高回报。