使用python爬取互联网设备信息

扩大搜索范围

DNS服务器搭建好以后,需要寻找可修改的路由器目标,目标不能太多也不能太少,就从我路由器c段入手吧,65536个IP地址,使用nmap扫描,将所有开放80端口的主机找出来,然后分析结果:

由于某些主机不响应ping包,所以加上-Pn选项,防止漏报.--host-timeout指定连接超时,否则nmap会将速度减到很慢,浪费大量时间.经过一段时间后,结果出来了

可以看到输出的结果里包含有timeout的项目,需要将这些项目去掉,利用Notepad++的正则表达式功能删除这些不需要的项目.

点击全部替换,即可去掉超时的部分.9817个匹配项被替换:

剩下的结果为需要的部分,可以看到每个IP都会出现两次,需要单独将他们提取出来,手工剔除效率非常低,浪费时间.为了提高效率,写了个提取工具用来自动化这个过程.

脚本代码如下:

@echo off 
setlocal EnableDelayedExpansion
color 0a

set num = 1 , str = 0 ,total = 0
echo.

set /p p=input file name :

for /f "eol=# tokens=2" %%i in ( %p% ) do (

set /a str = num%%2
set /a num = num + 1
if !str! equ 0 (echo %%i >> %p:~0,-4%_ok.txt 
    set /a total = total + 1) else ( echo %%i )

)
echo.
echo total !total! IP
echo any key to close ...
pause > nul

经过批处理,开放80端口的主机ip被单独取出来了.共有1749个开放80端口的主机.

它们都是什么设备?得需要一个一个在浏览器中查看,可是这样太费时间了,而且有时候只需要看网页的title信息即可大概知道设备的类型是什么样的.基于此,我用python写了一个爬虫,来获取这些IP地址的title信息,这样可以大幅减少工作量:

下面是爬虫代码单线程版本:

# !/usr/bin/python
# -*- coding:utf-8 -*-
#code by skq9@qq.com

import requests,sys,time,datetime
from lxml.html import fromstring

data = {

    
    'User-Agent': 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)',
    
}

reload(sys)
sys.setdefaultencoding("utf-8")

try:
    sys.argv[1]
except:
    print "Usage: get_title.py [filename]"
    sys.exit()

ip_file = sys.argv[1]
num = len(open(ip_file,'r').readlines())
count = 0
starttime = datetime.datetime.now()

with open (ip_file,'r') as f :
    for line in f.readlines():
        ip = line.strip()
        count += 1
        print '[%d/%d] ' % (count,num) + time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) + ' -->' , ip + ' -->' ,
        try:

            url = 'http://' + ip + '/'
            r = requests.get(url=url,headers=data,timeout=(4,6))
            r.encoding = r.apparent_encoding
            tree = fromstring(r.text)
            title = tree.findtext('.//title')
            print '\'' + title + '\'' ,
            
            with open ('./title_info.txt','a') as f :
                f.write(url)
                f.write('\t')
                if title == '' :
                    x = r.text.find('/doc/page/login')
                    if x != -1 :
                        f.write('-- May be HIKVISON --')
                    else :
                        f.write('-- Null string --')
                else:
                    f.write(title.strip())
                f.write('\n')
                print 'ok!'

        except requests.exceptions.ConnectTimeout as e:
            print 'ConnectTimeout'
            info = url + '\tERROR:' + 'ConnectTimeout' + '\n'
            with open ('./title_info.txt','a') as f :
                f.write(info)
        except requests.exceptions.ConnectionError as e:
            print 'ConnectionError'
            info = url + '\tERROR:' + 'ConnectionError' + '\n'
            with open ('./title_info.txt','a') as f :
                f.write(info)
        except requests.exceptions.ReadTimeout as e:
            print 'ReadTimeout'
            info = url + '\tERROR:' + 'ReadTimeout' + '\n'
            with open ('./title_info.txt','a') as f :
                f.write(info)
        except Exception as e:
            print 'Error:%s' % e
            info = url + '\tERROR:' + str(e) + '\n'
            with open ('./title_info.txt','a') as f :
                f.write(info)
                
        finally :
            pass

endtime = datetime.datetime.now()

print '--> Done at' , time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()) , 'in' , (endtime - starttime).seconds , 'seconds'

运行结果如下:

结果显示,返回403错误的ip最多,可能是tp-link系的路由器,没有开放外网web管理权限,其次是"互联世界 物联未来"为标题的路由器.后期手工抽查检查结果表明,这款路由器出厂默认密码为admin,而且绝大部分都保留了出厂默认.

接下来可以针对这款路由器提取一些信息.