2018-07-25 实验室工作记录

实验室安排了一个任务给我,大意是
基于Python,从中科大的某个网站GET数据,填写在本地一个thread_send.py文件的对应位置,然后运行一下这个文件,将数据传到实验室的服务器

由于我的电脑前段时间重装了一下,所以Python没有了

安装流程是参照这篇博客
https://www.cnblogs.com/hongten/p/hongten_python_install.html
期间查阅了一下不同安装包区别

 [Windows x86-64 embeddable zip file | Windows | for AMD64/EM64T/x64
zip安装包,需要解压缩
 [Windows x86-64 executable installer]| Windows | for AMD64/EM64T/x64
直接下载可用的安装程序
 [Windows x86-64 web-based installer] | Windows | for AMD64/EM64T/x64
大小最小,安装过程中需要联网

安装了以后配置了环境变量,但是提示缺少python34.dll
下载了一个,并放到了C:\Windows\SysWOW64路径下,问题解决。在命令行输入python可以正常出现版本信息了

实验室的程序中有很多包我未安装,所以先安装一个pip,参照这个博客https://blog.csdn.net/lengqi0101/article/details/61921399/

又发现了新的问题,实验室采用的似乎是python2.x,而我本地的是3.x。很多导入方式已经改变

2.x            | 3.x
import httplib | import http.client
urlparse       | urllib.parse
iteritems      | items

改了一下午,出现了蜜汁bug,打算听从圈林的建议,同时在电脑上使用2.x和3.x的python
相关博客仿照的是这篇https://blog.csdn.net/qq_27089287/article/details/79114441

安装成功后,给pycharm导入python2环境,参照下述博客https://blog.csdn.net/u010801439/article/details/78460962

python2的pip版本太低了,更新的时候出现错误,参照这个博客,最终成功了
http://www.360doc.com/content/16/1114/13/3852985_606449918.shtml

实验室这次的任务可以分为几个步骤
1、撰写函数,自动从网站GET数据
2、正则匹配数据,分离不同信息
3、将运行文件改写成函数,修改信息改写成参数
4、调度器控制 GET函数-匹配函数-传参并运行执行函数

步骤一:
不知道中科大的url是什么,随便写一个好了

import urllib
import urllib2
url_const1 = "http://www.zhongkeda.edu.cn//mouwangzhan//"
url_const2 = "//GET"
for i in range(50):
    url = url_const1 + unicode(i) + url_const2
    req = urllib2.Request(url)
    res_data = urllib2.urlopen(req)
    res = res_data.read()
#得到的输出此时在res中

步骤二:
不知道GET到的数据类型如何,从学姐处观察,应该是一段json数据

假设数据为{"name":liudehua,"ID":233,"TESTID":666,"time":yyy-mm-dd}
import re
res = res.replace('{','').replace('}','').replace('\"','')
split_data = re.split(',|:',res)
处理后split_data = [name, liudehua, ID, 233, TESTID, 666, time, yyy-mm-dd]

步骤三:
为了简便,我们直接将处理后的分隔数据当做参数传入
后续处理,程序主体中也是通过调用函数实现,所以不需要额外修改

步骤四:
调度器也在步骤一中顺便完成,主体循环次数50,需要知道中科大数据的具体情况再做分析。

今天就到这里,明天测试程序是否可以正常实现功能。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,590评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 86,808评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,151评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,779评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,773评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,656评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,022评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,678评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,038评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,659评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,756评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,411评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,005评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,973评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,053评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,495评论 2 343

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,442评论 25 707
  • 只有枯枝才勉强 可以插在瓶子里供人赏味 花越好看 越不能 插花,是一种暴力的改写与抄袭 瓶子里的不是花,而是杀。 ...
    段童阅读 96评论 0 0
  • 我是14天小白训练营49期19班一组37号砧板上的肉,进入到小白营之后,真是打开了我的新世界,在此二十五年前我都是...
    二智若愚阅读 387评论 3 9
  • 1.印象最深的三个知识点或部分:①王玺淇今天的报告举的例子②视频③正念闭眼练习 2.对这三个知识点和部分印象深的原...
    汉五陈苗阅读 188评论 0 0
  • 瞪大了眼睛 我趴在草丛里 找一只七星瓢虫 红红的背 如火一样 散落着小黑点 像一只草莓 可我从没见过 如此可爱的草...
    斯人会阅读 178评论 0 0