2020 “高校计算机大赛-网络技术挑战赛”参赛记录

参赛作品要求

1.本次校赛只针对创意(A)类。

2.系列A的作品选题须至少关联以下网络技术范围之一:软件定义网络、物联网、工业互联网、网络安全、网络智能、云计算、网络数据分析,涉及网络系统的研究、设计、开发、部署或管理,或将相关技术用于解决经济社会各领域关注的应用热点或难点问题,鼓励体现学科交叉融合的作品选题;

3.按不同竞赛阶段的要求,以相应的形式申报作品成果;作品最终为可用的网络系统、实物或软件,并在选题领域或主题、设计思想或方法、技术开发与应用等方面有一定程度的开拓或创新。

4.作品的主要研究、设计与开发工作由参赛团队成员承担完成,不存在任何侵犯他人知识产权的问题,且未曾在任何其他赛事中获得过全国性奖项。

竞赛日程与安排

1.报名、选题阶段:2020年4月18 日~5月15日。各参赛队伍由队长填写附件中的竞赛报名表5月15日24:00前发至邮箱:527523122@qq.com,邮件主题请注明:“作品名称-队名-队长姓名”。并请同时在大赛官网:http://net.c4best.cn完成网上报名信息的填写。

2.校赛作品提交时间:5月20日。

3.校赛作品提交内容:作品提交邮箱:527523122@qq.com,作品包括但不限于:作品说明材料(文字、图片、视频等),请将所有文件打包压缩成一个Zip文件,命名格式为:“作品名称-队名-队长姓名”。并请同时在大赛官网:http://net.c4best.cn完成系统上作品的提交。


选题:网络安全,网络系统的研究、设计、开发、部署或管理

一.功能实现(姚余都灵,仝家俊,顾奕)

文章加密

安装插件:hexo-blog-encrypt

npm install --save hexo-blog-encrypt

快速使用:

高级设置:

配置优先级:文章信息头>_config.yml  > 默认配置

作为日记加密

根目录执行npm i hexo-generator-json-content --save

_config.yml里添加配置,再hexo g& hexo d即可

RSS订阅

安装rss插件 ,npm install hexo-generator-feed

配置_config.yml文件,启用插件

生成RSS订阅文件,hexo g& hexo d

插入本地图片

先在博客根目录中:

npm install https://github.com/CodeFalling/hexo-asset-img --save

接下来在根配置文件中修改如下:

然后在博客根目录中新建一篇文章:

      hexo  new post ceshi

这样同时会创建一个名为ceshi的文件夹,将你要插入文章的图片放入这个文件夹即可,图片名随意,例如图片test.jpg

在文章中需要插入图片的地方输入:

即可

幻灯片

https://blog.csdn.net/weixin_42073018/article/details/89600035

插入哔哩哔哩视频

npm i hexo-tag-bili --save

添加文章标签:{% bili video_id %}或 {% bili video_id page %} 即可

二.爬虫(刘海波)

from bs4 import BeautifulSoup

import requests

from contextlib import closing

import os

def Download(url,file_full_name):

    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}

    with closing(requests.get(url,headers= headers, stream =True)) as response:

         with open(file_full_name,'wb') as f:

              f.write(response.content)

              f.close()


def crawler_photo(url1,count):

    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}

    response = requests.get(url1,headers=headers)


    soup = BeautifulSoup(response.text,"html.parser")

    soup.prettify()

    picture = soup.body.article.find_all('img')

    for girm in picture :

        link = girm.get('src')

        if( link[-6:]== "00.jpg" ):

                url = link

                url = str(url)

                file_name = url.split('/')

                file_name = file_name[len(file_name)-1]

                file_full_name = './1/'+str(count)+file_name

                Download(url,file_full_name)

if __name__ =="__main__":

    print("开始爬图")

    if not os.path.exists('./1'):

        os.makedirs('./1')

    url = "https://www.huashi6.com/hot"

    count = 1

    crawler_photo(url,count-1)

    count = count + 1

    url = url + '_1'

    while 1:

     print("是否继续")

     print("如果是:Yes,不是:No")

     res = input()

     if (res == "Yes"):

        tmp = url.split('_')

        url =tmp[0]+'_'+str(count)

        print(url)

        crawler_photo(url,count)

        count = count + 1

     else :

        break

 

三.服务器部署(陈励勤)

1)配置Python3环境

因为服务器默认python2环境,而爬虫需要py3环境,故:

1. 登录https://www.python.org/downloads/source/,找到对应版本(我们以Python 3.6.5为例)如图:

下载Python-3.6.5.tgz

2. [endif]将文件上传到Linux系统的某个目录下,根据自己情况上传,本例上传到了/root/tools目录下,如图:

3. 执行tar -zxvf Python-3.6.5.tgz命令,将文件解压到当前目录,如图:

4. [endif]安装依赖:yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make。如果python是3.7版本,还需要安装libffi-devel。整个编译过程1分钟左右。

5. [endif]执行cd Python-3.6.5进入解压后的Python-3.6.5目录下,依次执行如下三个命令:

./configure --prefix=/root/training/Python-3.6.5

make

make install

其中--prefix是Python的安装目录,安装成功后,如图:

6. 创建软链接

7. 配置环境变量

配置环境变量主要是能快速使用pip3安装命令。

执行vi ~/.bash_profile,打开配置文件,添加如下配置:

#配置python

export PYTHON_HOME=/root/training/Python-3.6.5

export PATH=$PYTHON_HOME/bin:$PATH

保存退出(:wq),执行source ~/.bash_profile命令使配置生效。执行echo命令,查看是否配置成功,如图:

2)部署,配置接口

1. 将爬虫文件(picture.py)放入服务器后,使用python3 picture.py将会在当前文件夹创建picture文件夹,并一次性爬取200张图片

2. 批量获取爬取图片的文件名并加上url按行输出到picture.txt(从所有已爬取的图片中随机抽取20个进行输出):

3. 配置用户交互接口(让用户点击进行刷新图片):

四.摘要

在连接github时,公钥出现问题,执行ssh -T git@github.com 后会出现错误。

然后发现windows需要用git bash执行该命令,更改之后成功通过。

执行完hexo -d和hexo -g后查看指令反馈,发现报错

查看之后发现是缩进错误。进入config文件检查102行,果然是缩进格式错误。

更改之后解决问题。

在生成并上传时,出现permission denied(publickey)的错误,无法连接至github仓库。

在寻找了多个可能的解决方法后依然没能解决问题。

直到看到一篇文章中对于github仓库名的命名

然后我将连接的仓库名由Scalpel0507改为了Scalpel0507.github.io

问题解决。

修改前:

修改后:

hexo安装成功,并且正确运行,但是localhost:4000不能访问

原因及解决方案:端口4000被占用,在启动hexo s时换一个未被使用端口即可,如 hexo s -p 5000  ,这样就可以访问了

网站背景:大坑!!!

  由于有的next主题没有_custom文件,所以需要在next主题配置文件中,找到custom_file_path,并将如下代码取消注释

然后在博客根目录新建文件source/_date/styles.styl编辑styles.styl如下:

body {

    background:url(http://***********/******/images/bg.jpg);//图片路径

    background-repeat: no-repeat;//是否重复平铺

    background-attachment:fixed;//是否随着网页上下滚动而滚动,fixed为固定

    background-position:50% 50%;//图片位置

    background-size: cover;//图片展示大小

    -webkit-background-size: cover;

    -o-background-size: cover;

    -moz-background-size: cover;

    -ms-background-size: cover;

    opacity: 0.6;//设置整个页面的透明度。该透明度如果不加在这里会出现bug,bug就是菜单栏无法点击。

     #footer > div > div {

        color:#000000;//底部文字颜色

    }}.header-inner {

    background: #fff;//设置侧边栏透明

    opacity: 1;//这里设置为1,否则搜索栏会消失}.main-inner {

  background: #fff;

  opacity: 1;}

其中url替换为自己博客网址+images即可

再按同样的方式搭建两个网络系统

https://Tcoolboy.github.io

https://scalpel0507.github.io

由于github的关系,博客在国内访问速度过慢。于是尝试采用github和coding双线部署。

Coding部署过程和github相似。但是同样的遇到了和github一样的问题。

这次并未修改仓库名,问题在两天后自动解决了。

个人猜测是因为coding新账号第一天,并未通过审核,没有使用静态页面的权限。

五.参考文献

https://zhuanlan.zhihu.com/p/69213954

https://blog.csdn.net/muzilanlan/article/details/81542917

https://github.com/MikeCoder/hexo-blog-encrypt/blob/master/ReadMe.zh.md

https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/

https://github.com/shengqiangzhang/examples-of-web-crawlers/tree/master/5.%E7%88%AC%E5%8F%965K%E5%88%86%E8%BE%A8%E7%8E%87%E8%B6%85%E6%B8%85%E5%94%AF%E7%BE%8E%E5%A3%81%E7%BA%B8

https://requests.readthedocs.io/zh_CN/latest/user/quickstart.html

https://www.jianshu.com/p/4ff701257808

https://www.jianshu.com/p/9c087e19df3c

https://www.jianshu.com/p/b9665a8e8282

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,128评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,316评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,737评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,283评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,384评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,458评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,467评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,251评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,688评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,980评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,155评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,818评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,492评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,142评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,382评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,020评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,044评论 2 352