http.get做爬虫

要找准页面响应的数据!!!

要找准页面响应的数据!!!

要找准页面响应的数据!!!

找准地址

找准标签对应的属性,自己需要的数据,在下面都是要一一对应的

1.初始化文件夹: npm init -y

2.需要三个包: npm i 包名

http(或https看你偷什么网站喽),
cheerio(它老厉害了,凭他可以在node里用jquery方法),
mysql(可以把数据存到你的库中,除非你对偷来的数据过目不忘)

3.建一个js文件引入三个包:推荐用const,这个定义了改不了,也不该动他,一文只有它一个,引入文件放在最上面

const https = require('https');
const cheerio = require('cheerio');
const mysql  = require('mysql');

4: 建个数据库:

我在test下建了一个movie;(电影网)
栏位有:id(自增);imgpath;title;score;title2
先连接数据库:var mysql = require('mysql');
百度 : nodejs mysql 连接数据库 =>菜鸟教程=>插入数据

5:运行:

命令窗口： node movie.js

var connection = mysql.createConnection({     
 host     : 'localhost',       
 user     : 'root',              
 password : '123456',       
 port: '3306',                   
 database: 'test' 
}); 

connection.connect();

var  addSql = 'INSERT INTO websites(Id,name,url,alexa,country) VALUES(0,?,?,?,?)';
var  addSqlParams = ['菜鸟工具', 'https://c.runoob.com','23453', 'CN'];
//增
connection.query(addSql,addSqlParams,function (err, result) {
       if(err){
        console.log('[INSERT ERROR] - ',err.message);
        return;
       }        

      console.log('--------------------------INSERT----------------------------');
      //console.log('INSERT ID:',result.insertId);        
      console.log('INSERT ID:',result);        
      console.log('-----------------------------------------------------------------\n\n');  
});

connection.end();

整个程序

const https = require('https');
const cheerio = require('cheerio');
const mysql  = require('mysql');

var connection = mysql.createConnection({     
  host     : 'localhost',
  user     : 'root', 
  password : 'root',
  port: '3306',
  database: 'test'
}); 
connection.connect(); // 连接数据库的

/*
1,确定目标网址
2,爬取目标网址的内容
3，解析，得到 目标 
*/

function a(item){
  https.get('https://www.1905.com/vod/list/n_1_t_1/o3p'+item+'.html', (res) => {
    let rawData = '';
    res.on('data', (chunk) => {
        rawData+=chunk.toString();
    });
    
    /*
    数据 如果比较大，分段传输的，过来一段数据 data执行一次
    */
    res.on('end', () => {
      // 得到 所以的img的src属性
      const $ = cheerio.load(rawData);
    $(".search-list>div").each((i,el)=>{
      var imgpath = $(el).find("img").attr("src");
      var title = $(el).find("h3").text();
      var score = $(el).find("b").text();
      var title2 = $(el).find("p").text();
      
      var  addSql = 'INSERT INTO movie(imgpath,title,score,title2) VALUES(?,?,?,?)';
  var  addSqlParams = [imgpath, title,score,title2];
  //增
  connection.query(addSql,addSqlParams,function (err, result) {
          if(err){
          console.log("数据库连接出错");
          }else{
            item++;
            a(item);
            console.log("完美");
          }
  });
    })

    });
  }).on('error', (e) => {
    console.error(`出现错误: ${e.message}`);
  })


}
a(1);

request做爬虫

1.面向百度

进入地址: https://www.npmjs.com/

2.需要引入的包

连接数据库:mysql
请求地址:request
专为服务器设计的核心jQuery的快速: cheerio

想要放到自己数据库,首先得连接并插入数据

var mysql  = require('mysql');  
 
var connection = mysql.createConnection({     
  host     : 'localhost',       
  user     : 'root',              
  password : '123456',       
  port: '3306',                   
  database: 'test' 
}); 
 
connection.connect();
 
var  addSql = 'INSERT INTO websites(Id,name,url,alexa,country) VALUES(0,?,?,?,?)';
var  addSqlParams = ['菜鸟工具', 'https://c.runoob.com','23453', 'CN'];
//增
connection.query(addSql,addSqlParams,function (err, result) {
        if(err){
         console.log('[INSERT ERROR] - ',err.message);
         return;
        }        
 
       console.log('--------------------------INSERT----------------------------');
       //console.log('INSERT ID:',result.insertId);        
       console.log('INSERT ID:',result);        
       console.log('-----------------------------------------------------------------\n\n');  
});
 
connection.end();

然后使用node中的request请求地址
request模块让http请求变的更加简单。最简单的一个示例：

 var request = require('request');
 
request('http://www.google.com', function (error, response, body) {
 if (!error && response.statusCode == 200) {
     console.log(body);
  }
 })

实现的程序

// 安装三个包
const request = require("request")  ;
const cheerio = require("cheerio")  
const  mysql = require('mysql')  

var connection = mysql.createConnection({  //配置参数，然后添加你的数据库里面的表
  host: 'localhost',
  user: 'root',
  password: 'root',
  database: 'test'
})
connection.connect();  // 与数据库建立连接

function show(item){
  request('http://www.1905.com/vod/list/n_1_t_1/o1p'+item+'.html',function(err,res){   // 请求地址
      if(err){  
          console.log('请求出错');  
      }else{
        // console.log(res);
          var $ = cheerio.load(res.body);   // cheerio可以在node中使用jquery方法
          $('.search-list>div').each(function(){
              var newsTitle = $(this).find('p').text();
              var news1Title = $(this).find('h3').text();
              var code = $(this).find('i').text(); 
              var newsUrl= $(this).find('a').attr('href');

              var addSql = "insert into movie(title,href,title2,codeNum) values (?,?,?,?,?)"; 
              var addParmas = [newsTitle, newsUrl,news1Title,code];
              connection.query(addSql,addParmas,function(err,data){  
                if(err){  
                    console.log("数据库连接错误");  
                }else{
                  item++; 
                  show(item)
                }
              })  
          }); 
      }  
  });
}

show(1)

在test下建立movie数据库,有5个栏位: id,title,href,title2,codeNum