已阅读:8,964 次
PhoneGap优化解决方案(续)
ian | Android,HTML,新技术研讨 | 2012/03/21


以前写过一篇关于如何对PhoneGap进行优化的文章:PhoneGap优化解决方案 。那篇文章主要是作为一份工作总结,因此写得很粗糙,主要是偏向理论,后来由于工作方向发生变化,也没有再对PhoneGap深入研究下去了。 之后有许多网友向我要详细的代码,由于太忙我一直没时间整理,今天终于有时间,也不多说废话了,直接将代码贴出来。 这份代码是直接继承WebView了,重载了其中的几个方法,至于为什么这样做时候,P......
Read more

已阅读:23,527 次
Scrapy爬虫教程之URL解析与递归爬取
ian | Python,新技术研讨 | 2012/01/24


前面介绍了Scrapy如何实现一个最简单的爬虫,但是这个Demo里只是对一个页面进行了抓取。在实际应用中,爬虫一个重要功能是"发现新页面",然后递归的让爬取操作进行下去。 发现新页面的方法很简单,我们首先定义一个爬虫的入口URL地址,比如《Scrapy入门教程》中的start_urls,爬虫首先将这个页面的内容抓取之后,解析其内容,将所有的链接地址提取出来。这个提取的过程是很简单的,通过一个html解析库,将这......
Read more

已阅读:17,619 次
Scrapy入门教程
ian | Python,新技术研讨 | 2012/01/08


本文参考Scrapy Tutorial里面的文档,翻译出来加上自己的理解,供大家学习。 在本文中,我们将学会如何使用Scrapy建立一个爬虫程序,并爬取指定网站上的内容,这一切在Scrapy框架内实现将是很简单轻松的事情。 本教程主要内容包括一下四步: 1. 创建一个新的Scrapy Project 2. 定义你需要从网页中提取的元素Item 3. 实现一个Spider类,通过接口完成爬取URL和提取Item的功能 4. 实现一个Item PipeLine类,完成Item的存储功......
Read more

已阅读:5,627 次
开源python网络爬虫框架Scrapy – 安装教程
ian | Python,新技术研讨 | 2011/12/27


在《开源python网络爬虫框架Scrapy介绍》一文中介绍了Scrapy这个Python爬虫框架。Scrapy是一个快速,高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。 下面介绍Scr......
Read more

已阅读:11,848 次
开源python网络爬虫框架Scrapy介绍
ian | Python,新技术研讨 | 2011/12/25


所谓网络爬虫,就是一个在网上到处或定向抓取数据的程序,当然,这种说法不够专业,更专业的描述就是,抓取特定网站网页的HTML数据。不过由于一个网站的网页很多,而我们又不可能事先知道所有网页的URL地址,所以,如何保证我们抓取到了网站的所有HTML页面就是一个有待考究的问题了。 一般的方法是,定义一个入口页面,然后一般一个页面会有其他页面的URL,于是从当前页面获取到这些URL加入到爬虫的抓......
Read more

已阅读:14,350 次
PhoneGap优化解决方案
ian | HTML,新技术研讨 | 2011/11/24


在纵论PhoneGap一文中对PhoneGap和类似的跨平台技术做了简单的介绍,本文继续介绍PhoneGap的技术细节吧。PhoneGap是开源的,大家可以去官网下载源码自己来研究,下面只是简单分析一下它的实现原理。 首先大家会想到的问题就是,既然是做成native app,那么肯定会用到系统相关的api的呀?比如联系人呀、摄像头、陀螺仪等等……Html是怎么调用到这些系统api的呢?实际上,PhoneGap主要完成的功能就是这个:将这些几乎每......
Read more

已阅读:4,551 次
纵论PhoneGap
ian | HTML,新技术研讨 | 2011/11/22


近来Html5技术被炒得火热,其中一大热点就是在移动终端领域将web服务本地化,简单来说就是像网易新闻、新浪微博、熊猫看书之类的iPhone应用,这类应用有一个共同点就是,应用程序内置了一个浏览器空间,应用展示的内容都是通过这个内置浏览器加载web页面实现的,有时这类app的ui做的如此像原生的native应用,以致普通用户根本察觉不到其区别。这就是PhoneGap之类的跨平台解决方案最大的魅力和卖点所在。 Html5......
Read more