scrapy 实战(五)爬与反爬

上期主要介绍了,怎么抓取 js 生成的页面。 本期主要,讲一些爬与反爬的一些技巧。 先说发爬: 怎么判断 是爬虫? 通过分析日志 每ip 访问频率、user-agent、cookie, re...

scrapy 实战(四)如何抓取通过js生成的页面

上期主要介绍了如何将抓取地页面同步到服务端。 本期,主要介绍如何抓取通过js生成的页面。 首先,scrapy 自身不能执行 js。我们必须给她写个插件。 这里需要用到可以执行 js 的工具。...

django 接入微信公众平台

利用 python django 介入微信公众平台 首先,需要成为 微信的开发者。 然后,搭建 django 环境 (可以参考官方文档) 使用 Django 建立一个 微信公众平台的 项...

Django - DetailView

*利用 Django DetailView 生成单页 *官方文档 url.py 的配置 #urls.py from myproject.views import MyDetailView ...

记录一条命令

以前随便敲敲的,现在想了老半天。 记性越来越差了 55555 netstat -nat | awk '{++S[$NF]} END {for(a in S) print a,"...

iOS GridView 算法

分享 一段 iOS 中 gridView 实现的算法. /* x0 x1 x2 x3 +-------+-------+-------+ y3 | ...

ubuntu11.04 安装 snmp

sudo apt-get install snmp snmpd vim /etc/snmp/snmpd.conf 1.将原有“agentAddress udp:127.0.0.1:161”...

objective-c abort() 与 exit() 函数的区别

exit()函数 调用exit会让用户感觉程序崩溃了,不会有按Home键返回时的平滑过渡和动画效果;另外,使用exit可能会丢失数据,因为调用exit并不会调用- applicationWill...

Django Sitemap 应用实例

sitemap 主要是描述了网站的结构, 使得搜索引擎更容易的理解网站得内容。 具体 sitemap 生成可以参考 sietmaps.org Django sitemap 的建立: 在 set...

rabbitMQ 添加 vhost

为 rabbitMQ 添加 vhost 和 user rabbitmqctl add_vhost /myhost # 添加 vhost rabbitmqctl add_user me me12...

iOS开发之 自定义NSLog

1、如何自定义NSLog呢? 直接在工程的XXX_Prefix.pch中加入以下语句(就相当于在全局中定义了) define NSLog NSLog(@"#%s##%d#",strrchr(FI...