python如何递归下载文件夹下所有文件-创新互联

这篇文章主要介绍python如何递归下载文件夹下所有文件,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

创新互联公司-专业网站定制、快速模板网站建设、高性价比印台网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式印台网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖印台地区。费用合理售后完善,10年实体公司更值得信赖。

最近想备份网站,但是php下载文件的大小是有大小限制的,而我也懒得装ftp再下载了,就想着暂时弄个二级域名站,然后用python(python3)的requests库直接下载网站根目录下的所有文件以及文件夹。(0-0就是这么任性)

1.安装requests库

pip install requests

2.下载文件夹下所有文件及文件夹

这里需要处理的地方主要是文件夹,这里我们判断出该链接是文件夹时,自动创建文件夹,并递归继续进行操作,否则判断该链接是文件,直接使用requests get方法下载,话不多说,看代码

####春江暮客 www.bobobk.com
import requests
import re
import os
import sys
def help(script):
 text = 'python3 %s https://www.bobobk.com ./' % script

 print(text)
def get_file(url,path):##文件下载函数
  content = requests.get(url)
  print("write %s in %s" % (url,path))
  filew = open(path+url.split("/")[-1],'wb')
  for chunk in content.iter_content(chunk_size=512 * 1024): 
    if chunk: # filter out keep-alive new chunks
      filew.write(chunk)
  filew.close()
def get_dir(url,path): #文件夹处理逻辑
  content = requests.get(url).text
  if "Index of" in content:
    sub_url = re.findall('href="(.*?)" rel="external nofollow" ',content)
  
    print(sub_url)
    for i in sub_url:
      if "/" in i:
      
        i = i.split("/")[0]
        print(i)
        if i!="." and i!="..":
          
          if not os.direxists(path+i):
            os.mkdir(path+i)
         
          get_dir(url+"/"+i,path+i+"/")
          print("url:"+url+"/"+i+"\nurl_path:"+path+i+"/")
      else:
        get_file(url+"/"+i,path)
  else:
    get_file(url,path)
if __name__ == '__main__':
 if not sys.argv[1]:
 help(sys.argv[0])
 exit(0)
 else:
 get_dir(sys.argv[1],"./")</pre><p>至此,就在本地目录完全还原下载原网站的路径和文件了。</p><p>以上是“python如何递归下载文件夹下所有文件”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!</p>            <br>
            当前名称:python如何递归下载文件夹下所有文件-创新互联            <br>
            网站网址:<a href="http://scjbc.cn/article/pcghi.html">http://scjbc.cn/article/pcghi.html</a>
        </div>
    </div>
    <div class="other">
        <h3>其他资讯</h3>
        <ul>
            <li>
                    <a href="/article/shohce.html">直播代运营公司账务处理</a>
                </li><li>
                    <a href="/article/shohsd.html">网上报修管理系统建设让工作省时省力省心</a>
                </li><li>
                    <a href="/article/shohdc.html">抖音账号直播运营供应商(抖音账号直播带货供应商)</a>
                </li><li>
                    <a href="/article/shohop.html">一颗小板栗短视频运营</a>
                </li><li>
                    <a href="/article/shohcg.html">廊坊衢州抖音代运营介绍</a>
                </li>        </ul>
    </div>
</div>
<div class="footer">
    <div class="contain">
        <div class="foot-nav clearfix">
            <ul class="footer-menu">
                <li class="dropdown" ><a class="dropdown-toggle">服务范围<b class="caret"></b></a>
                    <ul class="child-menu">
                        <li><a href="/website.html">网站建设</a></li>
                        <li><a href="/weixin/" rel="nofollow">微信开发</a></li>
                        <li><a href="/app/" rel="nofollow">APP开发</a></li>
                        <li><a href="/design/" rel="nofollow">品牌设计</a></li>
                        <li><a href="/market/" rel="nofollow">营销推广</a></li>
                    </ul>
                </li>
                <li class="dropdown"><a href="/webcase/" class="dropdown-toggle" title=成都做网站案例>成都做网站案例<b class="caret"></b></a>
                    <ul class="child-menu">
                        <li><a href="/webcase/jtssgslist.html" id="ctl00_show_85" title="集团上市公司">集团上市公司</a></li>
                        <li><a href="/webcase/ppwzlist.html" id="ctl01_show_81" title="品牌网站">品牌网站</a></li>
                        <li><a href="/webcase/xiangyingshilist.html" id="ctl02_show_82" title="响应式网站">响应式网站</a></li>
                        <li><a href="/Marketingwebsite/index.html" id="ctl03_show_83" title="营销型网站">营销型网站</a></li>
                        <li><a href="/waimaowangzhan/index.html" id="ctl04_show_84" title="外贸网站">外贸网站</a></li>
                    </ul>
                </li>
                <li class="dropdown"><a href="/news/" class="dropdown-toggle">新闻中心 <b class="caret"></b></a>
                    <ul class="child-menu">
            <li><a href="/news/2.html" id="ctl00_show_70" title="网站建设">网站建设</a></li><li><a href="/news/3.html" id="ctl00_show_70" title="网站设计">网站设计</a></li><li><a href="/news/5.html" id="ctl00_show_70" title="网站制作">网站制作</a></li><li><a href="/news/6.html" id="ctl00_show_70" title="网站优化">网站优化</a></li>          </ul>
                </li>
                <li class="dropdown"><a href="/Knowledge/" class="dropdown-toggle">知识学堂 <b class="caret"></b></a>
                    <ul class="child-menu">
            <li><a href="/websitelist/8.html" title="网站建设知识">网站建设知识</a></li><li><a href="/websitelist/9.html" title="网站设计知识">网站设计知识</a></li><li><a href="/websitelist/10.html" title="微信营销知识">微信营销知识</a></li><li><a href="/websitelist/11.html" title="营销推广知识">营销推广知识</a></li>          </ul>
                </li>
                <li class="dropdown"><a href="/about/" class="dropdown-toggle" rel="nofollow">关于我们 <b class="caret"></b></a>
                    <ul class="child-menu">
                        <li><a href="/about/jj/index.html" id="ctl00_show_1300" title="公司简介" rel="nofollow">公司简介</a></li>
                        <li><a href="/about/history/index.html" id="ctl01_show_1301" title="发展历史" rel="nofollow">发展历史</a></li>
                        <li><a href="/about/jjtd/index.html" id="ctl02_show_1302" title="精英团队" rel="nofollow">精英团队</a></li>
                        <li><a href="/about/join/" rel="nofollow">加入我们</a></li>
                        <li><a href="/about/contact/" rel="nofollow">联系小谭</a></li>
                    </ul>
                </li>
            </ul>
            <dl class="last-dl">
                <dt> <a href="javascript:;" title="联系我们" rel="nofollow">联系小谭</a> </dt>
                <dd class="conta"> <span><img src="/Public/Home/images/zg_ewm.png" width="100" /><br />
          企业微信号</span> </dd>
            </dl>
        </div>
        <div class="childcompan clearfix"> </div>
        <div class="copy">
            友情链接:
            <a href="http://www.cdhuace.com/fuwu.html" title="成都名片印刷" target="_blank">成都名片印刷</a>   <a href="http://www.ybzwz.com/" title="宜宾网站建设" target="_blank">宜宾网站建设</a>   <a href="http://www.cqcxhl.com/service/ds.html" title="重庆电商网站建设" target="_blank">重庆电商网站建设</a>   <a href="https://www.cdcxhl.com/sosuo.html" title="关键词优化排名" target="_blank">关键词优化排名</a>   <a href="http://www.csruizhi.cn/" title="崇州湖霆科技" target="_blank">崇州湖霆科技</a>   <a href="http://www.sxjierui.cn/" title="双流能亿建站" target="_blank">双流能亿建站</a>   <a href="https://www.cdcxhl.com/mianfei/jianshe/chengdu.html" title="成都免费网站建设" target="_blank">成都免费网站建设</a>   <a href="http://m.cdcxhl.cn/qiye/
" title="成都网站建设公司" target="_blank">成都网站建设公司</a>   <a href="http://www.lswzjz.com/" title="乐山网站建设" target="_blank">乐山网站建设</a>   <a href="http://seo.cdkjz.cn/quanwang/" title="全网品牌营销" target="_blank">全网品牌营销</a>           </div>
        <br>
        123ABC<strong> <a href="/">成都网站建设</a></strong>,成都定制网站建设——全心全意建网站公司 </div>
</div>
<script type="text/javascript" src="/Public/Home/js/meiqia.js"></script>
<script type="text/javascript" src="/Public/Home/js/jquery-1.8.3.min.js"></script>
<script type="text/javascript" src="/Public/Home/js/jquery.easing.1.3.js"></script>
<script type="text/javascript" src="/Public/Home/js/i.js"></script>
<script type="text/javascript" src="/Public/Home/js/script.js"></script>
<script type="text/javascript" src="/Public/Home/js/SuperSlide.js"></script>
<script type="text/javascript" src="/Public/Home/js/jquery.toTop.min.js"></script>
<script type="text/javascript" src="/Public/Home/js/num-change.js"></script>
<script type="text/javascript" src="/Public/Home/js/jquery.nicescroll.min.js"></script>
<script type="text/javascript">
    $(".menu li").eq(7).addClass("current-menu-item");
</script>
</body>
</html>
<script>
    $(".con img").each(function(){
        var src = $(this).attr("src");    //获取图片地址
        var str=new RegExp("http");
        var result=str.test(src);
        if(result==false){
            var url = "https://www.cdcxhl.com"+src;    //绝对路径
            $(this).attr("src",url);
        }
    });
    window.onload=function(){
        document.oncontextmenu=function(){
            return false;
        }
    }
</script>