初级爬虫(3)之正则表达式的使用
python中的正则表达式
re模块:match、search、findall、finditer、sub、compile
正则作用:1.查找内容,2.替换内容(内容为字符串,即文本)
match和search方法,返回的值是类
match和search的区别是, match能够匹配的是从头开始的内容,而search匹配的可以是不从头开始
必须能够将需求的字符串获取出来, 必须会写模式
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545 ...
初级爬虫(2)之百度翻译、有道翻译和微博的爬取
requests模块的使用
百度翻译的爬取(不使用fiddler)
12345678910111213import requestsimport jsonurl = 'https://fanyi.baidu.com/sug'#翻译的内容太长会报错,翻译不了form = { 'kw': '黄色',}response = requests.post(url, data=form)res_dict = json.loads(response.text)print(res_dict)
有道翻译的爬取
找到翻译 ...
初级爬虫(1)之爬虫介绍、requests模块的get和post
爬虫的五个步骤
a) 需求分析 程序员,人工智能
b) 找到内容相关的网址 程序员
c) 根据网址获取到网址的返回信息 程序(urllib, requests)
d) 定位需要的信息位置 程序(re正则表达式, XPATH, css selector)
e) 存储内容 程序(文件系统open, pymysql, pymongo)
request包头的信息
重要的信息描述
a) Cookie : 能够存储一些服务器端的信 ...
Django项目(11)之改善前台中间件、后台订单列表
改善前台中间件
进入templates/myhome/index/info.html,并修改加入购物车单击事件
12345678910$('#J_btnAddCart').click(function(){ // 检测是否登录 var isLogin = '{{ request.session.VipUser.uid }}' if(!isLogin){ alert('请先登录'); var hhref = window.location.href; ...
Django项目(11)之前台订单确认和中间件
订单确认页面
进入应用myhome/urls.py,并增加路径
1234from . views import OrderViews# 订单 确认订单,提交订单,订单支付url(r'^order/confirm/', OrderViews.myhome_order_confirm, name="myhome_order_confirm"),url(r'^order/create/', OrderViews.myhome_order_create, name="myhome_order_create"),
进 ...
Django项目(10)之前台购物车
添加商品到购物车
进入应用myadmin/models.py,添加购物车模型
123456# 购物车 模型class Cart(models.Model): # id 用户 uid 商品 goodsid 数量 num uid = models.ForeignKey(to="Users", to_field="id",on_delete=models.CASCADE) goodsid = models.ForeignKey(to="Goods", to_field="id",on_delete=mod ...
Django项目(9)之前台导航一级分类,改善商品列表和商品详情页
导航一级分类
进入templates/myhome/index.html,并修改
123456导航中除了魅族商城和社区,其他的删除,换成以下内容:{% load pagetag %} <!-- 去调用自定义的 模板标签,在标签中获取的数据并返回html -->{% showNav %}把鼠标经过出现内容的代码删除
进入应用myhome/views/IndexViews.py,并修改myhome_index函数
123456789101112from myadmin.models import Catesdef myhome_inde ...
Django项目(8)之前台登录、注册和退出
首页的显示
进入应用myhome里的urls.py,并输入
12345678# 登录url(r'^login/',LoginViews.myhome_login,name="myhome_login"),url(r'^dologin/',LoginViews.myhome_dologin,name="myhome_dologin"),url(r'^logout/',LoginViews.myhome_logout,name="myhome_logout"),# 注册url ...
Django项目(7)之前台商品列表和商品详情
首页的显示
进入应用myhome里的urls.py,并输入
1url(r'^list/',IndexViews.myhome_list,name="myhome_list"),
进入应用myhome/views/IndexViews.py,并增加myhome_list函数
123# 列表def myhome_list(request): return render(request,'myhome/index/list.html')
进入templates/myhome,创建list.html,并输入
1234567891 ...
Django项目(6)之前台首页
首页的显示
进入应用myhome里的urls.py,并输入
1234567from django.conf.urls import urlfrom . views import IndexViews,LoginViewsurlpatterns = [ # 首页 url(r'^$',IndexViews.myhome_index,name="myhome_index"),]
进入应用myhome,删除views.py,创建views目录,然后在此目录下创建IndexViews.py,并输入
12345678from django.shortcu ...