(原创)PHP采集91视频配合Aria2自动下载并上传OneDrive

一、前言

网上很多是Python采集而且视频网站前段时间做了一些防护手段,导致很多源码不能使用。在浏览GitHub的时无意中发现一个用PHP写的采集程序,而且还在更新,作者看来也是一位老司机。

二、准备工作

1、一台国外服务器,硬盘没有要求,但是流量一定要大(建议10T起步);

2、注:不要在口碑不好的商家购买;

3、一个5Tb的OneDrive帐号(百度搜一下,可以申请到。建议不要存储重要资料);

4、具备一定的Linux知识

三、操作步骤

注:以下教程基于CentOS7操作,使用其它系统出现问题请自行解决。

1、服务器基本操作:

1.1 “升级”

这一步是我个人习惯性操作,可以略过。

1.2 安装Screen

连接国外服务器可能会出现网络“波动”情况,使用Screen命令可以避免连接断开导致半途而废。

screen常用参数

screen -S yourname  新建一个叫yourname的session;例:screen -S porn

screen -ls  列出当前所有的session;

screen -r yourname  回到yourname这个session;例:screen -r pron

screen -d yourname  远程detach yourname这个session;例:screen -d pron

2、编译安装Aria2

一定要用源码编译安装后再使用网上的一键脚本

2.1 安装编译所需环境

2.2 下载Aria2源码

这里使用screen 新建一个session,因为编译所需时间有点长。

等待编译完成之后

出现下图所示,表示已正常安装。

《(原创)PHP采集91视频配合Aria2自动下载并上传OneDrive》

安装完之后还要写aria2的配置文件还开机启动之类的,这里偷个懒,我使用的是一键脚本

下载安装:

《(原创)PHP采集91视频配合Aria2自动下载并上传OneDrive》

选择1进行安装

《(原创)PHP采集91视频配合Aria2自动下载并上传OneDrive》

在配置文件/root/.aria2/aria2.conf中把密码注释掉,在rpc-secret选项前加个#号保存,然后运行脚本选择6,重启aria2

《(原创)PHP采集91视频配合Aria2自动下载并上传OneDrive》

3、php采集源码地址:

把源码Git 到服务器中,使用-b 参数指定aria2 分支(源码有php、php+aria2、docker三个版分支,详细情况请在GitHub源码页查看。)

基本用法

建议在Screen 模式下操作

1、91porn.php是爬取首页的视频,直接运行即可;

用法:我上面把源码git到home目录,所要切换到源码目录,然后运行。

cd /home/91porn_php
php 91porn.php

2、91all.php是爬取列表页的,例如“收藏最多”、“本月最热”等等,要别的列表的话可以去找对应的url

listPage(“http://91porn.com/v.php?next=watch&viewtype=basic”); //全部视频
//listPage(“http://91porn.com/v.php?category=top&viewtype=basic”);//本月最热
// listPage(“http://91porn.com/v.php?category=mf&viewtype=basic”);//收藏最多
// listPage(“http://91porn.com/v.php?category=md&viewtype=basic”);//本月讨论

爬取页数可以自行更改,默认到10页;

$maxPage = 10; //更改爬取页数

3、下载完成后就可以到videos目录下找到视频文件了

4、下载单个视频文件

运行detailPage.php文件,将视频网页的地址传入

php detailPage.php http://91porn.com/view_video.php?viewkey=042a30e56c9cd20b075f

源码运行需要PHP>=5.6、nodejs

这里我们还可以再偷个懒,使用BT面板进行安装。

安装完成之后登录后台在软件商店中进行安装PHP和nodejs(nodejs版本没有限制,我选择的是最新的V12.2.0;php安装的是7.2)《(原创)PHP采集91视频配合Aria2自动下载并上传OneDrive》

删除php配置文件中的禁用函数 exec、shell_exec

《(原创)PHP采集91视频配合Aria2自动下载并上传OneDrive》

操作到这里,建议重启一下服务器。

四、后续操作

上述步骤操作完,就能把视频下载到你的服务器中,不过要自动上传到OneDrive,还需下面的操作。

1、Onedrive 授权

1.1 运行onedrive -a

《(原创)PHP采集91视频配合Aria2自动下载并上传OneDrive》

1.2 将上图返回的网址复制到浏览器中打开

1.3 登陆你的OneDrive for Business账号

1.4 登陆成功后复制地址栏中的地址,并提取code的字段(code= 后面到 & 前面,这一段)

1.5 粘贴至终端,并敲回车键

 

2、下载自动上传脚本

脚本源码:

修改源码中的downloadpath,这里写你的php采集视频下载目录,比如我的就是downloadpath=/home/91porn_php/videos/

3、修改aria2.conf

打开配置文件修改下载目录,修改dir目录与上面downloadpath一样。

《(原创)PHP采集91视频配合Aria2自动下载并上传OneDrive》

并在最后一行添加 on-download-complete=/root/autoupload.sh

然后重启Aria2

教程到此结束。

效果:

《(原创)PHP采集91视频配合Aria2自动下载并上传OneDrive》

《(原创)PHP采集91视频配合Aria2自动下载并上传OneDrive》

另外一种玩法:

真实物理电脑中安装SS客户端,《Centos 7安装Proxychains实现Linux 代理》使用SS自带socks5,在虚拟机中操作。

切记:小撸怡情,大撸伤身,强撸灰飞烟灭。

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注