当前位置:首页 > PS视频 > 正文内容

如何使用Apify进行数据采集?

编辑2个月前 (04-27)PS视频10
下面用零代码、最快速的方式,带你完整走一遍 Apify 采集数据流程(从注册到导出,约 3 分钟)。

1. 注册并登录 Apify

  1. 打开官网:https://apify.com

  2. 用邮箱注册,免费版每月有额度,不用绑卡

    image

2. 在 Apify Store 选爬虫(Actor)

  1. 进入 Store(顶部菜单)。

    image
  2. 搜索目标网站 / 用途,例如:

    • Amazon → 商品 / 评论爬虫

    • Google Maps → 商家信息

    • Web Scraper → 通用动态页采集Apify

  3. 选一个评分高、使用人数多的,点 Try for free / Create taskApify


3. 配置采集参数(重点)

Web Scraper(通用爬虫) 为例:
image

Input 填写

  • Start URLs:要爬的网页,一行一个

    示例:

    plaintext
    https://example.com
    https://example.com/page2
  • Page function(核心:告诉 Apify 要抓什么)

    最简单写法(抓标题、URL):

    javascript
    运行
    async function pageFunction(context) {
        const { request, $ } = context;
        return {
            url: request.url,
            title: $('title').text()
        };}
image

常用设置(Options)

  • Max pages per run:限制采集页数,避免跑太多Apify

  • Proxy configuration

    • 高反爬网站 → 选 Apify Proxy(自动轮换 IP)。

      image
  • Wait for:动态页可设置 wait: 3000(等 3 秒加载)。


4. 运行任务

  1. Start → 任务进入队列,云端运行。

  2. 页面会实时显示:

    • 已爬页数、成功 / 失败数

    • 日志预览(可看是否被反爬)Apify

      image

5. 查看并导出数据

  1. 运行结束后,进入 Dataset(结果集)。

  2. 可在线预览表格,也可导出:

    • CSV(Excel 可开)

    • JSON

    • Excel

  3. 一键下载到本地,或同步到 Google Sheets、Make.com 等。


6. 进阶:定时 / 长期采集

  • 保存当前配置为 Task,下次一键复用。

  • 开启 Schedule:按小时 / 天 / 周自动跑,适合价格监控、舆情跟踪。


快速示例:爬商品名称 + 价格

用 Web Scraper,pageFunction 写:
javascript
运行
async function pageFunction(context) {
  const { $ } = context;
  const products = [];
  $('.product').each((i, el) => {
    products.push({
      name: $(el).find('.name').text().trim(),
      price: $(el).find('.price').text().trim()
    });
  });
  return products;}

小提醒(合规)

  • 只爬公开、非隐私数据,遵守网站 robots.txt

  • 控制频率,避免给对方服务器造成压力。


扫描二维码推送至手机访问。

版权声明:本文由手机数据加工厂发布,如需转载请注明出处。

本文链接:https://www.cryp6.com/?id=79

“ 如何使用Apify进行数据采集?” 的相关文章

苹果手机图片怎么备份 iPhone怎么备份照片?

苹果手机图片怎么备份 iPhone怎么备份照片?

一、苹果手机图片怎么备份1、当大家在微信、微博、抖音等应用上看到感兴趣的图片时,会将图片保存到相册中,随着图片越存越多,大家需要将保存在相册里的图片进行备份,此时可以使用电脑软件iMazing来辅助完成。打开iMazing软件后,点击图1红框标出的“照片”入口,进入照片管理界面中。图1:进入照片管理...

如何选择适合自己的手机电脑数据同步方式?

一、根据使用需求选择1日常少量传输(图片、文档、文字)适合:微信 / QQ 文件传输助手、跨设备剪贴板、网页版互传特点:操作最简单,无需额外安装软件,适合临时发资料、截图、作业文件,普通学生、日常使用首选。2传输大文件、高清视频、大量照片适合:USB 有线连接、品牌专属互传、多屏协同特点:传输速度快...

云空间不够用?解决办法

一、清理无用数据(最快见效)删除重复照片、模糊截图、过期视频、无用录屏,这类文件占用空间最大。清理软件缓存、垃圾文件、过期安装包、压缩包。删掉不再需要的聊天记录、旧文件、离线缓存内容。二、本地备份,释放云端空间用电脑有线连接手机,把照片、视频、大文件批量保存到电脑硬盘。重要资料存电脑本地,不用全部上...

如何彻底删除云端数据?

下面按 “先断同步→删云端文件→清回收站→清备份 / 版本→退出账号”,把主流云盘(OneDrive、iCloud、百度网盘、华为 / 小米等)一次性彻底删干净,防止恢复与覆盖。一、先把所有设备同步全关(必做)电脑:退出 OneDrive/iCloud/ 百度网盘,取消链接此设备,关闭自动同步。手机...

为什么 AI 游戏更适合鸿蒙?

AI 游戏更适合鸿蒙,核心是:微内核 + 分布式 + 系统级 AI + 软硬协同,正好匹配 AI 游戏 “高实时、大算力、多设备、动态内容” 的需求,比安卓 /iOS 更贴合、更稳、延迟更低。一、底层架构:天生为高实时 AI 推理设计微内核 + 高性能调度:比宏内核(安卓)延迟更低、更稳,AI 推理...

算力调度算法:基于AI的智能算力分配方法

下面我用偏工程、好落地的方式,把 “基于 AI 的智能算力调度算法(智能算力分配方法)” 讲清楚:从核心思路、主流 AI 算法、典型流程,到鸿蒙 / 端侧场景怎么用。一、问题背景:为什么要用 AI 调度算力?传统算力调度(轮询、加权轮询、静态优先级)靠人工规则,面对 AI 任务(大模型训练 / 推理...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。