注册 登录
菊子曰官方网站 返回首页

槑烎的菊子园 http://sns.juziyue.com/?337 [收藏] [复制] [分享] [RSS]

日志

将scrapy爬到的内容存入sqlite数据库

已有 443 次阅读2019-4-13 09:33

分享到:
免费下载菊子曰 这个方法需要手动创建数据库文件并将表建立好,否则程序运行会出错。 settings.py # sqlite 配置 SQLITE_DB_NAME = 'Data.db' #数据库名称 SQLITE_TABLE_NAME = 'table' #表名称 ITEM_PIPELINES={ 'dirName.pipelines.Sqlite3Pipeline': 400, } pipelines.py import sqlite3 class Sqlite3Pipeline(object): def __init__(self, sqlite_file, sqlite_table): self.sqlite_file = sqlite_file self.sqlite_table = sqlite_table @classmethod def from_crawler(cls, crawler): return cls( sqlite_file = crawler.settings.get('SQLITE_DB_NAME'), # 从 settings.py 提取 sqlite_table = crawler.settings.get('SQLITE_TABLE_NAME', 'items') ) def open_spider(self, spider): self.conn = sqlite3.connect(self.sqlite_file) self.cur = self.conn.cursor() def close_spider(self, spider): self.conn.close() def process_item(self, item, spider): values = ( item['A'], item['B'], item['C'], item['D'], item['E'] ) sql = 'INSERT INTO proxy VALUES (?,?,?,?,?)' #注意插入的数据个数 self.cur.execute(sql, values) self.conn.commit() return item     免费下载菊子曰

路过

鸡蛋

鲜花

握手

雷人

愤怒

悲哀

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 注册

关闭

站长推荐

再见了,菊子曰的朋友们
再见了,菊子曰的朋友们
由于经营不善,我们决定解散菊子曰开发团队,并且从即日起不再更新菊子曰了

查看 »

菊子曰 ( 闽ICP备12013319号 )

GMT+8, 2023-9-30 17:49 , Processed in 0.015536 second(s), 8 queries , Apc On.

Powered by Discuz! X2

© 2001-2011 Comsenz Inc.

回顶部