当前位置:淡墨SEO首页 > SEO软件 > 多线程制作sitemap地图,集合到工具集

多线程制作sitemap地图,集合到工具集

淡墨SEO3年前 (2022-09-01)SEO软件3946323

这次在我的工具集中,增加一个新功能,就是sitemap地图的制作,核心思路当然是爬取网站所有页面,并对页面进行数据清洗,包括去重、分类、url类别判断。然后再将功能集合到seo工具集中。


在代码部分,简单介绍一下,解析页面,然后通过BeautifulSoup对页面url进行提取,对url进行判断,同域名下的url都是目标url,再把目标url放入集合中。

def get_new_urls(base_url,html):
   soup = BeautifulSoup(html, 'html.parser', from_encoding='utf-8')
   links = soup.find_all('a', href=re.compile(r".*"))
   all_url = []
   for link in links:
       new_url = link['href']
       new_url_full = urljoin(base_url,new_url)
       if new_url_full.find(base_url) < 0:continue
       if not guolve(base_url,new_url_full):continue
       all_url.append(new_url_full)
   all_url.insert(0,base_url)
   return all_url
def parse_html(url):
   if url is None:
       return
   url = quote(url, safe="?#/:=@")
   try:
       res = requests.get(url=url,timeout=5)
       if res.status_code == requests.codes.ok:
           res.encoding = res.apparent_encoding
           return res.text
   except:
       return

将返回的列表数据,带入到线程中,再进行循环请求,获取下一批url。并对下一批url进行判断和去重


最后,把返回的url几个用xml的格式,进行写入xml文件的格式就可以了。

fw = open(filename, 'w', encoding="utf-8")
           fw.write('<?xml version="1.0" encoding="UTF-8"?>')
           fw.write(
               '\n<urlset xmlns="http://video.sitemaps.org/schemas/sitemap/0.9">'
          )
           root_url = urlparse(data[0]).netloc
           if not re.compile(r"http://").findall(root_url) and not re.compile(r"https://").findall(root_url):
               root_url = "http://" + root_url
           data = list(set(data))
           for url in data:
               # url = data['url']
               fw.write('\n\t<url>')
               fw.write('\n\t\t<loc>' + url + '</loc>')
               fw.write("\n\t\t<lastmod>" +time.strftime('%Y-%m-%d', time.localtime(time.time())) +
                   "</lastmod>")
               fw.write('\n\t\t<changefreq>daily</changefreq>')
               if re.findall(root_url + "$", url) or re.findall(
                       root_url + "/$", url):
                   fw.write('\n\t\t<priority>1.0</priority>')
               elif re.findall(root_url + "[^/]*/$",
                               url) or re.findall(
                                   root_url + "/[^/]*/$", url):
                   fw.write('\n\t\t<priority>0.8</priority>')
               elif re.findall(root_url + "[^/]*/[^/]*$",
                               url) or re.findall(
                                   root_url + "/[^/]*/[^/]*$", url):
                   fw.write('\n\t\t<priority>0.6</priority>')
               else:
                   fw.write('\n\t\t<priority>0.4</priority>')
               fw.write('\n\t</url>')
           fw.write('\n</urlset>')

在工具集中,我将sitemap功能也添加进去了,这样,在工具集中,可以很方便去使用。在挖掘页面的时候,可以选择挖掘的数量,如果不指定挖掘数量,就代表挖掘网站所有的页面url。并且这些url都是不重复的。



在导出数据时候,就可以将这些页面导出位XXX.XML格式的文件了。



有需要这款工具集合,可以私信我。


扫描二维码推送手机访问

文章内容均为原创,禁止转载!

本文链接:http://danmoseo.com/news/10.html

标签: seo工具

相关文章

逆向百度翻译做seo伪原创内容,很实在

逆向百度翻译做seo伪原创内容,很实在

平常用百度翻译功能,无非就是查查英文单词,反过来就是英文单词查汉语词义。那么如果用于大段的内容进行这样的来回翻译,内容就有一定不同,而且在不失原义的情况下,通顺性也挺好。中译英:英译中:可以看到翻译后的段落内容是不一样的,但是整体语义是一样的。对于这个情况,就可以实现部分伪原创的作用。如果将这个功能...

某讯视频用python解析数据并下载视频mp4格式

某讯视频用python解析数据并下载视频mp4格式

国庆祝福祖国生日快乐。偶尔间,想做做视频剪辑,需要下载视频素材,但是在平台上的视频似乎不支持手动下载。自然学了python,可以试着用代码去下载视频,在这块找到相应的教学内容,本次内容主要是分享用python如何去获取下载某讯视频。下面为大家讲解一下。就拿最近比较火的昆仑神宫来做下视频解析下载,首先...

某163企业邮箱js逆向登录解析

某163企业邮箱js逆向登录解析

平时我们发邮件时,如果用网页端发送邮件那么就需要登录,登录之后需要手动进行邮件发送的一些操作。如果我们用python逆向登录后,就可以在用接口模拟网页进行邮件的发送。问题主要是解决逆向登录,那么后面发送只要保持cookie就可以调用接口发送了。下面讲解一下逆向登录原理。首先是登录企业邮箱网页地址然后...

逆向百度旋转验证码,并自动提交链接

逆向百度旋转验证码,并自动提交链接

前面说了逆向百度旋转验证码后,大家可以在找前面的文章了解了解,这次主要是通过逆向旋转验证码后进行实战操作。本次主要是对百度链接提交界面进行一个链接提交操作,可以批量提交我们网站的链接,从而优化收录网站链接。封装软件发货传送门》》百度链接提交软件视频演示:内容介绍:如果是手动提交的话,需要手动旋转一下...

摆渡模拟点击关键词排名优化介绍

摆渡模拟点击关键词排名优化介绍

模拟点击的原理在于模拟用户打开浏览器,搜索关键词,后面进行一系列的模拟行为操作。在python代码中,用到的浏览器框架是selenium库,然后进行模拟点击整个过程的代码执行。源码商城》》》摆渡快排软件含源码教程视频演示:本次代码已经进行封包了,在运行的时候,只需要一键运行即可在安装方面导入数据库就...