zy-crawler

zy-crawler是一个基于Node.js的简单易用的爬虫工具，可以方便地获取指定网页的内容并进行自定义格式化处理。

安装

使用npm安装 zy-crawler:

npm install zy-crawler -s

API文档

Crawler(options) 构造函数，创建一个新的爬虫实例。

• options： 可选参数：
  • headers ： HTTP 请求头，默认为空对象
  • timeout ： 请求超时时间（毫秒），默认为 5000
  • proxy ： 代理服务器地址，例如 http://127.0.0.1:8080，默认为空字符串 示例代码：

  // 创建爬虫实例
  const crawler = new Crawler({
      headers: {
          'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
      },
      timeout: 5000,
      proxy: '',
  });
  
  

  crawler.fetch(url) 爬取指定单个网页的内容，并返回解析后的数据。

  • url： 网页地址 返回值 Promise 对象，解析后的数据包括：
    • url： 网页地址
    • data： Cheerio 实例，解析后的 DOM 对象

      示例代码：

      // 爬取单个网页
      (async () => {
        try {
          const {url, data} = await crawler.fetch('https://www.jianshu.com/');
          const $ = data;
          const result = {};
          // 获取文章列表
          const articleList = [];
          $('.content').each((i, el) => {
            const $el = $(el);
            const article = {};
            article.title = $el.find('.title').text();
            article.abstract = $el.find('.abstract').text();
            articleList.push(article);
          });
          result.articleList = articleList;
          console.log(result);
        } catch (err) {
          console.error(err);
        }
      })();
      
      // 成功响应：
      {
        articleList: [
          {
            title: '留白阅读408|《低风险创业》拥有更多秘密，是企业的护城河',
            abstract: '\n' +
                    '      2023.02.01 大同 星期三 多云（-3℃/-18℃） （简书日更148天/总日更834天） 作为一个企业，能够把某一项的服务做到极致，变...\n' +
                    '    '
          },
          {
            title: '植物和它们的孩子',
            abstract: '\n' +
                    '      文/肚子 近来女儿有事，茉莉的芭蕾舞学习，便由我和先生作陪。 于珠海大剧院艺术中心学各种特长的孩子们都有家长陪伴，有的几位家长前呼后拥，孩子俨然...\n' +
                    '    '
          }
        ]
      }

      crawler.fetchAll(urls) 爬取多个网页的内容，并返回解析后的数据。

      • urls： 网页地址数组 返回值 Promise 对象，解析后的数据包括：
        • url： 网页地址数组
        • data： 包含解析后的数据的数组，每个元素格式同 fetch 方法的返回值

      示例代码：

      // 爬取多个网页
      (async () => {
        try {
          const {url, data} = await crawler.fetchAll([
            'https://juejin.cn/',
            'https://www.jianshu.com/',
          ]);
          const result = {};
          const articleList = [];
          for (const resultElement of data) {
            const $ = resultElement.data;
            if (resultElement.url === 'https://juejin.cn/') {
              $('.item').each((i, el) => {
                console.log($(el))
                const $el = $(el);
                const article = {};
                article.title = $el.find('.title').text();
                article.abstract = $el.find('.description').text();
                articleList.push(article);
              });
            } else {
              $('.content').each((i, el) => {
                const $el = $(el);
                const article = {};
                article.title = $el.find('.title').text();
                article.abstract = $el.find('.abstract').text();
                articleList.push(article);
              });
            }
          }
          result.articleList = articleList;
          console.log(result);
      
        } catch (err) {
          console.error(err);
        }
      })();

      自定义格式化处理 format

      crawler.fetch(url,format)

      使用示例：

      // 爬取网页并进行数据格式化
      (async () => {
        try {
          const result = await crawler.fetch('https://www.baidu.com', ($, response) => {
            const title = $('title').text();
            const statusCode = response.statusCode;
            return { title, statusCode };
          });
          console.log(result);
        } catch (err) {
          console.error(err);
        }
      })();

      完整示例

      const Crawler = require('zy-crawler');
      
      // 创建爬虫实例
      const crawler = new Crawler({
          headers: {
              'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
          },
          timeout: 5000,
          proxy: '',
      });
      
      // 爬取单个网页
      (async () => {
          try {
              const result = await crawler.fetch('https://www.example.com');
              console.log(result);
          } catch (err) {
              console.error(err);
          }
      })();
      
      // 爬取多个网页
      (async () => {
          try {
              const result = await crawler.fetchAll([
                  'https://www.example.com/page1',
                  'https://www.example.com/page2',
                  'https://www.example.com/page3',
              ]);
              console.log(result);
          } catch (err) {
              console.error(err);
          }
      })();
      

      自定义格式化处理

      默认情况下，本插件会返回 cheerio 对象，即可以直接进行 jQuery 风格的 DOM 操作。

      如果需要对返回结果进行自定义格式化处理，可以在调用 fetch 或 fetchAll 方法时传入一个格式化函数，例如：

      const Crawler = require('zy-crawler');
      
      const crawler = new Crawler();
      
      // 定义格式化函数
      const format = ($, response) => {
          const title = $('title').text();
          const content = $('#content').text();
          const url = response.request.href;
      
          return {title, content, url};
      };
      
      // 爬取单个网页并进行格式化处理
      (async () => {
          try {
              const result = await crawler.fetch('https://www.example.com', format);
              console.log(result);
          } catch (err) {
              console.error(err);
          }
      })();
      
      // 爬取多个网页并进行格式化处理
      (async () => {
          try {
              const result = await crawler.fetchAll([
                  'https://www.example.com/page1',
                  'https://www.example.com/page2',
                  'https://www.example.com/page3',
              ], format);
              console.log(result);
          } catch (err) {
              console.error(err);
          }
      })();

      贡献

      欢迎对zy-crawler进行贡献！如果你发现了任何问题或者有任何想法或建议，请通过以下方式联系我：

      • 在Gitee 上提出问题或请求。
      • 提交一个Pull Request来改进代码。
      • 通过电子邮件（1840354092@qq.com）联系。

      请注意，在提交Pull Request之前，请确保你的代码与我们的代码库保持同步，并且你的代码通过了我们的测试，并且符合我们的代码质量和风格要求。

      许可证

      zy-crawler是根据MIT许可证开源的。详情请参阅LICENSE文件。

      鸣谢

      我们感谢以下开源软件项目：

      • Node.js
      • Cheerio
      • request-promise