技术标签： python database django tornado php thinkphp tp工具
目前主流实现爬虫的方法都是使用pathon,但是不一定只有pathon，php也有很多爬虫工具，比如自带的curl，还有querylist，都能实现爬虫，只要能够实现爬数据，不要用什么样的方法都行。
QUERYLIST官方文档，先可以看下文档，熟悉一下，任务框架都可以使用
过程很简单，看下文档基本上能够使用，
使用compser安装composer require jaeger/querylist
use QL\QueryList;
public function data(){
$arr = [
'page' => 10,
'limit' => 1
]; //请求参数
$hearders = [
'headers' => [
'token' => 'eyJhbGciOiJIUzI1NiJ9.eyJqdGkiOiIxNDEwNDI2MTU0MDM5NDMxMTY5IiwiaWF0IjoxNjI2ODUwMjcwLCJzdWIiOiJkNDkzOTJmNWYyOWI4YjMxNzI0OGEwMmY3MzY3Yjk4NDlhZmRjZGY1IiwiZXhwIjoxNjI5NDQyMjcwfQ.ie5Kw9n3NSz3qPsBNxj30ztBvUUDD0zkOAt-ls8dS2E'
]
]; //设置请求头，根据不同网站设置
$mes = QueryList::get('https://app.shapil.cn/app',$arr,$hearders);
$res = json_decode($mes->getHtml(),true); //如果是抓接口，记得encode,
//接下来就看你自己的处理,可以保存到数据库什么的
// to do something
}
<?php
use QL\QueryList;
//采集某页面所有的图片
$data = QueryList::get('http://cms.querylist.cc/bizhi/453.html')->find('img')->attrs('src');
//打印结果
print_r($data->all());
//采集某页面所有的超链接和超链接文本内容
//可以先手动获取要采集的页面源码
$html = file_get_contents('http://cms.querylist.cc/google/list_1.html');
//然后可以把页面源码或者HTML片段传给QueryList
$data = QueryList::html($html)->rules([ //设置采集规则
// 采集所有a标签的href属性
'link' => ['a','href'],
// 采集所有a标签的文本内容
'text' => ['a','text'] ])->range('li')->query()->getData();
//打印结果
print_r($data->all());
会爬取数据了，也得知道怎么自动化运行，我刚开始是把它写个接口，后来发现这样不行，接口容易超时，只有通过控制台命令，让他一直执行下去
TP6命令行
文章浏览阅读7.8k次，点赞3次，收藏9次。如何配置filezilla服务端和客户端百度‘filezilla server’下载最新版。注意点：下载的版本如果是32位的适用xp和win2003，百度首页的是适用于win7或更高的win系统。32和64内容无异。安装过程也是一样的。一、这里的filezilla包括服务端和客户端。我们先来用filezilla server 架设ftp服务端。看步骤。1选择标准版的就可以了。 _filezilla server for windows (32bit x86)
文章浏览阅读724次，点赞18次，收藏8次。深度学习作为一种强大的机器学习技术，已经成为图像处理领域的核心技术之一。通过模拟人脑处理信息的方式，深度学习能够从图像数据中学习到复杂的模式和特征，从而实现从简单的图像分类到复杂的场景理解等多种功能。要充分发挥深度学习在图像处理中的潜力，我们首先需要理解图像的本质。本文旨在深入探讨深度学习图像处理的基础概念，为初学者铺平通往高级理解的道路。我们将从最基础的问题开始：图像是什么？我们如何通过计算机来理解和处理图像？
文章浏览阅读62次。在收集到初步的样本数据之后，接下来该考虑的问题有：（1）样本数据集的数量和质量是否满足模型构建的要求。（2）是否出现从未设想过的数据状态。（3）是否有明显的规律和趋势。（4）各因素之间有什么样的关联性。解决方案：检验数据集的数据质量、绘制图表、计算某些特征量等，对样本数据集的结构和规律进行分析。从数据质量分析和数据特征分析两个角度出发。_数据分析 规律集
文章浏览阅读8.9k次。关于桌面上图标都不见了这类问题的解决方法1、在桌面空白处右击鼠标-->排列图标-->勾选显示桌面图标。2、如果问题还没解决，那么打开任务管理器(同时按“Ctrl+Alt+Del”即可打开)，点击“文件”→“新建任务”，在打开的“创建新任务”对话框中输入“explorer”，单击“确定”按钮后，稍等一下就可以见到桌面图标了。3、问题还没解决，按Windows键+R(或者点开始-->..._上传文件时候怎么找不到桌面图标
文章浏览阅读1.5k次。参考：http://blog.csdn.net/zahuopuboss/article/details/9259283 #include #include #include #include #include #include #include #include #include #include #include #include _怎么设置tun的接收缓冲
文章浏览阅读741次。创建一个inputView继承于UIView- (instancetype)initWithFrame:(CGRect)frame{ self = [superinitWithFrame:frame]; if (self) { self.backgroundColor = [UIColorcolorWithRed:0.13gre
文章浏览阅读594次。字符串面试题（2022）_java字符串相关面试题
文章浏览阅读1.4w次，点赞12次，收藏21次。VSCODE 实现远程GUI，显示plt.plot， 设置x11端口转发问题服务器 linux ubuntu16.04本地 windows 10很多小伙伴发现VSCode不能显示figure，只有用自带的jupyter才能勉强个截图、或者转战远程桌面，这对数据分析极为不方便。在命令行键入xeyes（一个显示图像的命令）会failed，而桌面下会出现：但是Xshell能实现X11转发图像，有交互功能，但只能用Xshell输入命令plot，实在不方便。其实VScode有X11转发插件！！方法_vscode远程ssh连接服务器 python 显示plt
文章浏览阅读529次。网络编程_javase套接字socket
文章浏览阅读3.3k次，点赞2次，收藏2次。element switch开关文字显示element中switch开关把on-text 和 off-text 属性改为 active-text 和 inactive-text 属性.怎么把文字描述显示在开关上?下面就是实现方法: 1 <el-table-column label="状态"> 2 <template slot-scope="scope">..._el-switch 不同状态显示不同字
文章浏览阅读785次。java后台发起请求使用的工具类package com.cennavi.utils;import org.apache.http.Header;import org.apache.http.HttpResponse;import org.apache.http.HttpStatus;import org.apache.http.client.HttpClient;import org.apache.http.client.methods.HttpPost;import org.apach_httprequestutil.httpget
文章浏览阅读137次。在前两节我们部署了App-V Server并且序列化了相应的软件，现在可谓是万事俱备，只欠东风。在这篇博客里面主要介绍一下如何部署客户端并实现应用程序的虚拟化。在这里先简要的说一下应用虚拟化的工作原理吧！App-V Streaming 就是利用templateServer序列化出一个软件运行的虚拟环境，然后上传到app-v Server上，最后客户..._app-v 客户端