当前位置:首页 > PS视频 > 正文内容

如何使用Apify进行数据采集?

编辑4个月前 (04-27)PS视频60
下面用零代码、最快速的方式,带你完整走一遍 Apify 采集数据流程(从注册到导出,约 3 分钟)。

1. 注册并登录 Apify

  1. 打开官网:https://apify.com

  2. 用邮箱注册,免费版每月有额度,不用绑卡

    image

2. 在 Apify Store 选爬虫(Actor)

  1. 进入 Store(顶部菜单)。

    image
  2. 搜索目标网站 / 用途,例如:

    • Amazon → 商品 / 评论爬虫

    • Google Maps → 商家信息

    • Web Scraper → 通用动态页采集Apify

  3. 选一个评分高、使用人数多的,点 Try for free / Create taskApify


3. 配置采集参数(重点)

Web Scraper(通用爬虫) 为例:
image

Input 填写

  • Start URLs:要爬的网页,一行一个

    示例:

    plaintext
    https://example.com
    https://example.com/page2
  • Page function(核心:告诉 Apify 要抓什么)

    最简单写法(抓标题、URL):

    javascript
    运行
    async function pageFunction(context) {
        const { request, $ } = context;
        return {
            url: request.url,
            title: $('title').text()
        };}
image

常用设置(Options)

  • Max pages per run:限制采集页数,避免跑太多Apify

  • Proxy configuration

    • 高反爬网站 → 选 Apify Proxy(自动轮换 IP)。

      image
  • Wait for:动态页可设置 wait: 3000(等 3 秒加载)。


4. 运行任务

  1. Start → 任务进入队列,云端运行。

  2. 页面会实时显示:

    • 已爬页数、成功 / 失败数

    • 日志预览(可看是否被反爬)Apify

      image

5. 查看并导出数据

  1. 运行结束后,进入 Dataset(结果集)。

  2. 可在线预览表格,也可导出:

    • CSV(Excel 可开)

    • JSON

    • Excel

  3. 一键下载到本地,或同步到 Google Sheets、Make.com 等。


6. 进阶:定时 / 长期采集

  • 保存当前配置为 Task,下次一键复用。

  • 开启 Schedule:按小时 / 天 / 周自动跑,适合价格监控、舆情跟踪。


快速示例:爬商品名称 + 价格

用 Web Scraper,pageFunction 写:
javascript
运行
async function pageFunction(context) {
  const { $ } = context;
  const products = [];
  $('.product').each((i, el) => {
    products.push({
      name: $(el).find('.name').text().trim(),
      price: $(el).find('.price').text().trim()
    });
  });
  return products;}

小提醒(合规)

  • 只爬公开、非隐私数据,遵守网站 robots.txt

  • 控制频率,避免给对方服务器造成压力。


扫描二维码推送至手机访问。

版权声明:本文由手机数据加工厂发布,如需转载请注明出处。

本文链接:https://www.cryp6.com/?id=79

“ 如何使用Apify进行数据采集?” 的相关文章

苹果iPhone+Mac如何开启WiFi+蓝牙

下面直接给你「一步到位」的极简版,照着点就行(为了隔空投送,**Wi‑Fi 和蓝牙都要开,不需要连同一个 Wi‑Fi 也能投送**)。 --- iPhone 打开 Wi‑Fi + 蓝牙(两种方法) 方法1:控制中心(最快) - 全面屏 iPhone(带刘海):**右上角往下滑**...

有哪些适合手机电脑数据同步的免费工具?

有哪些适合手机电脑数据同步的免费工具?

一、局域网高速互传(同 Wi‑Fi,最快、最稳、隐私好)1. LocalSend(强烈推荐,替代 AirDrop / 华为分享)平台:Windows /macOS/ Linux / Android /iOS免费:完全开源免费,无广告、无账号、不限大小特点:同 Wi‑Fi 下自动发现设备,一键发送点对...

怎样才能提高手机电脑数据同步的速度?

怎样提高手机与电脑数据同步的速度切换高速网络优先连接5G 频段 WiFi,避开速度慢、干扰大的 2.4G WiFi;手机和电脑连接同一个无线网络,使用局域网传输,不消耗外网网速,速度更快。缩短设备距离让手机和电脑靠近摆放,远离墙壁、金属障碍物,减少信号遮挡,保证网络信号稳定强劲。关闭占用网速的程序暂...

如何在关闭云同步功能后防止数据被自动恢复/覆盖?

关闭云同步后,防止数据自动恢复、被云端覆盖的方法一、彻底切断云端连接全程断开网络修改文件、记录期间,关闭电脑和手机的 WiFi、移动数据。离线状态下,设备无法连接云端,就不会自动下载旧数据、覆盖修改内容。退出云端账号电脑退出 OneDrive、百度网盘账号;手机退出品牌云服务、iCloud 账号。账...

如何彻底删除云端数据?

下面按 “先断同步→删云端文件→清回收站→清备份 / 版本→退出账号”,把主流云盘(OneDrive、iCloud、百度网盘、华为 / 小米等)一次性彻底删干净,防止恢复与覆盖。一、先把所有设备同步全关(必做)电脑:退出 OneDrive/iCloud/ 百度网盘,取消链接此设备,关闭自动同步。手机...

有这5款爬虫软件,三分钟搞定复杂网页采集

有这5款爬虫软件,三分钟搞定复杂网页采集

下面这 5 款是目前对付反爬、动态渲染、验证码这类复杂网页最省心、最快上手的工具,从零代码到企业级都有,三分钟就能跑起来。1. 八爪鱼采集器(Octoparse)—— 零代码首选特点:纯可视化、拖拽 + 点击录制,自动识别列表、翻页、字段。强项:AI 辅助解析页面、自动等待加载、内置验证码处理、定时...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。