你抓取的
Posted: Wed Dec 11, 2024 9:18 am
PowerShell 的 Web 抓取工具 你可知道？ Invoke-WebRequest命令用途广泛。它适用于 FTP 和 HTTP 站点，让您在获取信息和数据时有更多选择。 2. 从网页中提取信息。 现在，让我们看看您可以从这个网页中提取哪些信息。例如，假设您需要查找页面上的所有链接。为此，您需要引用Links属性。这将枚举页面上每个链接的各种属性。 网页抓取工具示例 也许您只是想查看它链接到的 URL： PowerShell 网页抓取工具 那么锚文本和 URL 怎么样？因为这只是一个对象，所以很容易提取如下信息： 您还可以看到臭名昭著的带有输入框的 Google.com 表单的内部结构： PowerShell 网页抓取示例 你可知道？ 如果您的爬虫停止工作，则网站结构可能已发生变化。
不幸的是，您必须构建一个新的网页爬虫。 如何下载信息 让我们更
进一步，从网页下载信息。例如，也许您想下载页面上的所有图像。为此，我们还将使用–UseBasicParsing参数。此命令速度更快，因为Invoke-WebRequest不会抓取 DOM。 1.从网页下载图片。 再比如，下面介绍如何使用 PowerShell 枚举 CNN.com 网站上的所有图像并将其下载到本地计算机。 $cnn = Invoke-WebRequest –Uri cnn.com –UseBasicParsing 2. 找到图片的 URL 主机。
现在让我们找出托管图像的每个 URL。 PowerShell 网页抓取示例代码 3.下载图像。 获得 URL 后，您可以再次使用Invoke-Request。不过，这次您将使用–OutFile参数将响应发送到文件。 @($cnn.Images.src).foreach({ $fileName = $_ | Split-Path -Leaf Write-Host“正在下载图像文件$fileName” Invoke-WebRequest -Uri $_ -OutFile “C:$fileName” Write-Host‘图像下载完成’ }） PowerShell 代码示例 在本例中，您将图像直接保存到我的 C:，但您可以轻松地将此位置更改为其他位置。
不幸的是，您必须构建一个新的网页爬虫。 如何下载信息 让我们更
进一步，从网页下载信息。例如，也许您想下载页面上的所有图像。为此，我们还将使用–UseBasicParsing参数。此命令速度更快，因为Invoke-WebRequest不会抓取 DOM。 1.从网页下载图片。 再比如，下面介绍如何使用 PowerShell 枚举 CNN.com 网站上的所有图像并将其下载到本地计算机。 $cnn = Invoke-WebRequest –Uri cnn.com –UseBasicParsing 2. 找到图片的 URL 主机。现在让我们找出托管图像的每个 URL。 PowerShell 网页抓取示例代码 3.下载图像。 获得 URL 后，您可以再次使用Invoke-Request。不过，这次您将使用–OutFile参数将响应发送到文件。 @($cnn.Images.src).foreach({ $fileName = $_ | Split-Path -Leaf Write-Host“正在下载图像文件$fileName” Invoke-WebRequest -Uri $_ -OutFile “C:$fileName” Write-Host‘图像下载完成’ }） PowerShell 代码示例 在本例中，您将图像直接保存到我的 C:，但您可以轻松地将此位置更改为其他位置。