python获取网站 server

#coding=utf-8

import nmap
import optparse
import threading
import sys
import re
import socket
import datetime
import time
import datetime
import requests
import random


from pymongo import MongoClient
import re
class MongoDB(object):
  """"""
  #----------------------------------------------------------------------
  def __init__(self, host, port, database):
    """Constructor"""
    self.host = host
    self.port = port
    self.database = database
    self.conn = MongoClient(self.host, self.port)
    self.coll = self.conn[self.database]


Mongo = MongoDB('127.0.0.1', 27017, 'test')


def portscanner(target_url, url, url_name):

  try:
    scanner = nmap.PortScanner()
    try:
      results = scanner.scan(hosts=target_url, arguments='sS host-timeout 10 ')  #禁ping的快速扫描
    except Exception,e:
      pass
    #print('扫描语句是：',results['nmap']['command_line'])
    #print('[*]主机' + target_host + '的' + str(target_port) + '端口状态为：' + results['scan'][target_host]['tcp'][int(target_port)]['state'])
    ip_banner = results['scan']
    if len(ip_banner) != 0:
      for i in ip_banner:
        #print i 
        ip = str(i)
        scan_info = results['scan'][ip]['tcp']
        for i in scan_info:
          if len(scan_info) < 50:
            if scan_info[i]['state'] == 'open':  
              Mongo.coll['res'].update({'url':url},
                                         {"$set":{'ip': target_url, 'title': url_name,
                                                  'port.'+str(i):scan_info[i]['name']
                                                  }},upsert = True)
              print(url + '-----' + ip + '-----' + str(i) + '-----' + scan_info[i]['name'] + scan_info[i]['state'] +'\n')
    else:
      with open('error.txt', 'a+') as ee:
        ee.write(target_url + '\n')
  except Exception,e:
    print str(e)
    pass


def get_user_agent():
  user_agents = [
      "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
        "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
        "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
        "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
        "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
        "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
        "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
        "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",]
  return random.choice(user_agents)
  
def get_header():
  header={
      'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, sdch',
        'Accept-Language': 'zh-CN,zh;q=0.8',
        'Connection': 'keep-alive',
        'User-Agent': get_user_agent()
    } 
  return header
#----------------------------------------------------------------------
def  get_request(url):
  """"""
  requests.packages.urllib3.disable_warnings()
  resp = requests.get(url, headers = get_header(), verify=False, timeout = 60)
  requests.adapters.DEFAULT_RETRIES = 60

  return resp


def get_url_server(url, ip):
  """"""
  try:

    resp = get_request('http://' + url)
    requests.adapters.DEFAULT_RETRIES = 10

    for k in resp.headers.keys():
      if k.upper() == 'SERVER':
        header_server = resp.headers[k].upper()
        if re.search('iis/6.0'.upper(), header_server):
          short_server = 'IIS/6.0'
          Mongo.coll['res'].update({'ip':ip},{"$set":{'server': 'IIS/6.0'}},upsert = True)          
        elif re.search('iis/7.0'.upper(), header_server):
          short_server = 'IIS/7.0'  
          Mongo.coll['res'].update({'ip':ip},{"$set":{'server': 'IIS/7.0'}},upsert = True) 
        elif re.search('iis/7.5'.upper(), header_server):
          short_server = 'IIS/7.5'    
          Mongo.coll['res'].update({'ip':ip},{"$set":{'server': 'IIS/7.5'}},upsert = True)
        elif re.search('iis/8.0'.upper(), header_server):
          short_server = 'IIS/8.0'   
          Mongo.coll['res'].update({'ip':ip},{"$set":{'server': 'IIS/8.0'}},upsert = True)
        elif re.search('iis/8.5'.upper(), header_server):
          short_server = 'IIS/8.5'  
          Mongo.coll['res'].update({'ip':ip},{"$set":{'server': 'IIS/8.5'}},upsert = True)
        elif re.search('iis'.upper(), header_server):
          short_server = 'IIS'  
          Mongo.coll['res'].update({'ip':ip},{"$set":{'server': 'IIS'}},upsert = True)
        elif re.search('apache'.upper(), header_server):
          short_server = 'Apache' 
          Mongo.coll['res'].update({'ip':ip},{"$set":{'server': 'Apache'}},upsert = True)
        elif re.search('nginx'.upper(), header_server):
          short_server = 'Nginx' 
          Mongo.coll['res'].update({'ip':ip},{"$set":{'server': 'Nginx'}},upsert = True)
        elif re.search('vWebServer'.upper(), header_server):
          short_server = 'vWebServer' 
          Mongo.coll['res'].update({'ip':ip},{"$set":{'server': 'vWebServer'}},upsert = True)
        elif re.search('openresty'.upper(), header_server):
          short_server = 'OpebResty' 
          Mongo.coll['res'].update({'ip':ip},{"$set":{'server': 'OpebResty'}},upsert = True)
        elif re.search('tengine'.upper(), header_server):
          short_server = 'Tengine'  
          Mongo.coll['res'].update({'ip':ip},{"$set":{'server': 'Tengine'}},upsert = True)
        elif re.search('apusic'.upper(), header_server):
          short_server = 'APUSIC' 
          Mongo.coll['res'].update({'ip':ip},{"$set":{'server': 'APUSIC'}},upsert = True)
        elif re.search('marco'.upper(), header_server):
          short_server = 'Marco'  
          Mongo.coll['res'].update({'ip':ip},{"$set":{'server': 'Marco'}},upsert = True)
        elif re.search('twebap'.upper(), header_server):
          short_server = 'TWebAP' 
          Mongo.coll['res'].update({'ip':ip},{"$set":{'server': 'TWebAP'}},upsert = True)         
        elif re.search('360'.upper(), header_server):
          short_server = '360wzws'  
          Mongo.coll['res'].update({'ip':ip},{"$set":{'CDN': '365GCD'}},upsert = True)
        elif re.search('cdn'.upper(), header_server):
          short_server = 'CDN'  
          Mongo.coll['res'].update({'ip':ip},{"$set":{'CDN': str(header_server)}},upsert = True)          
        print short_server
          
        #print k + ':' + resp.headers[k] + '--' + short_server + '--' + url

        #return  resp.headers[k], short_server


  except Exception,e:
    #error_write(url, str(e))

    print str(e)
    pass

import os
if __name__ == '__main__':
  starttime = datetime.datetime.now()
  
  with open('0816.txt', 'a+') as f:
    list_target = f.readlines()
    count = 1
    for i in list_target:
      s = i.strip().split(' ')
      ret = os.system("ping  -w 4 %s"%s[2].strip())
      #s[2].strip(), s[1].strip(),s[0].strip() ,分别为ip,url,title
      url = s[1].strip()
      ip = s[2].strip()
      if ret == 0:
        try:
          #portscanner(s[2].strip(), s[1].strip(),s[0].strip())
          get_url_server(url, ip)   
          #Mongo.coll['test'].update({'url':ip},{"$set":{'CDN': '365GCD'}},upsert = True)
          
        except Exception,e:
          continue

      count += 1
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 216,240评论 6赞 498
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 92,328评论 3赞 392
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 162,182评论 0赞 353
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 58,121评论 1赞 292
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 67,135评论 6赞 388
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 51,093评论 1赞 295
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,013评论 3赞 417
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 38,854评论 0赞 273
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 45,295评论 1赞 310
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,513评论 2赞 332
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,678评论 1赞 348
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,398评论 5赞 343
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,989评论 3赞 325
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,636评论 0赞 22
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,801评论 1赞 268
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,657评论 2赞 368
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,558评论 2赞 352