首页资讯动态 网站源码

运用python爬虫获取黄金价格
时间:2020-03-06 阅读:1132次 来源:金价查询源码
运用python爬虫获取黄金价格
搜一搜
深圳蚂蚁网络网站建设
深圳蚂蚁网络网站建设小编今天给大家整理了一篇有关《运用python爬虫获取黄金价格》的相关文章,更多详细内容,欢迎继续往下阅读,下面就由小编来分享给大家!


运用python爬虫获取黄金价格


         深圳蚂蚁网络小编(https://www.antnw.cn/)根据获取汽油价格的方式获取了金价的方法分享。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
获取每天黄金价格
@author: yufei
@site: https:///www.antnw.cn
2020-03-06
"""

import re
import urllib2,urllib
import random
import threading
import time
import sqlite3
import sys
from __builtin__ import exit

#Some User Agents
hds=[{'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'},\
    {'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11'},\
    {'User-Agent':'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0)'},\
    {'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:34.0) Gecko/20100101 Firefox/34.0'},\
    {'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'},\
    {'User-Agent':'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
    {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50'},\
    {'User-Agent':'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0'},\
    {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
    {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1'},\
    {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'},\
    {'User-Agent':'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11'},\
    {'User-Agent':'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11'}]

'''
create table GoldPricelist(
    [id]    integer PRIMARY KEY autoincrement,
    [name]    varchar default 0,
    [price]    varchar default 0,
    [time]  datetime default (datetime('now', 'localtime'))
);

INSERT INTO OilPrice(id,name,price,time)  VALUES(NULL,sss, 300, 20180404);
'''

def sqliteinto(Pricelist):
    con = sqlite3.connect('F:\ID\python\sqlite3\Gold.db')
    cur = con.cursor()
    print Pricelist
    sql = '''INSERT INTO GoldPrices (id,name,price,time) VALUES(NULL,?,?,?)'''
    cur.execute(sql,Pricelist)
    con.commit()
    cur.close()
    con.close()

def getPrice():
    url='http://www.dyhjw.com/matter_gold/'
    req = urllib2.Request(url=url,headers=hds[random.randint(0,len(hds)-1)])
    res = urllib2.urlopen(req)
    res = res.read()

    #获取的块
    re_set = re.compile(r'(.*?)',re.S)
    re_get = re.findall(re_set,res)

    #获取价格详情
    p = re.compile('target="_blank">(.*?)-\n ',re.S)
    Pricelist = re.findall(p,re_get[0])
    for i in range(0,len(Pricelist)):
        p = re.compile('(.*?)\n (.*)',re.S)
        Price = re.findall(p,Pricelist[i])
        gname = Price[0][0]
        gprice = Price[0][1]

        timep = re.compile(r"(\d+)-(\d+)-.*")
        nowtime = time.strftime('%Y-%m-%d',time.localtime(time.time()))

        datas = []
        datas.append(gname.decode('utf8'))
        datas.append(gprice)
        datas.append(nowtime)
        datas = tuple(datas)

        sqliteinto(datas)


if __name__=="__main__":
    getPrice()


"

扫二维码与项目经理沟通

我们在微信上24小时为你服务



—— 企业互联网品牌建设服务商

"


  目前,python爬虫黄金价格金价查询源码标签聚合页面仍在完善中,后续将为您提供丰富、全面的关于python爬虫黄金价格金价查询源码的最新资讯、图片信息、文字内容,让您第一时间了解到关于python爬虫黄金价格金价查询源码的热门信息。小编将持续从百度新闻、搜狗百科、微博热搜、知乎热门问答以及部分合作站点渠道收集和补充完善信息。


我们可以提供这些服务
企业互联网项目开发

深圳蚂蚁网络网站建设公司提供,系统定制,微信开发、小程序定制、微商城开发、网站建设、网站排名优化推广等互联网项目定制开发服务。

城市分站

佛山网站建设 | 东莞网站建设 | 从化网站建设 | 广州网站建设 | 惠来网站建设 | 惠州网站建设 | 揭阳网站建设 | 普宁网站建设 | 汕头网站建设 | 汕尾网站建设 | 韶光网站建设 | 布吉网站建设 | 福田网站建设 | 龙岗网站建设 | 龙华网站建设 | 南山网站建设 | 肇庆网站建设 | 中山网站建设 | 珠海网站建设

版权声明

深圳蚂蚁网络声明:如发现内容存在版权问题,烦请提供相关信息发邮件至3310459304@qq.com,我们将及时沟通与处理。本站内容除声明原创外其他均来源于网络,涉及言论、版权与本站无关。如果您对互联网营销方面有哪些不明白的可以继续访问本站,返回首页

联系我们
工作时间
周一至周六 08:30-18:00
我们的地址
深圳市龙华新区龙华街道和平东路金銮时代大厦8001
点击按钮在线咨询
在线客服 在线客服 在线客服

深圳蚂蚁网络网站建设公司专为北京广州成都深圳杭州重庆上海东莞济南西安、徐州、珠海、郑州、福州、青岛、南宁、河南、厦门、贵阳、武汉、无锡、南昌、宁波、温州、盐城、天津、石家庄、沈阳、苏州、嘉兴、淄博、南京、台州、江门、合肥、济宁、佛山、长沙、汕头、潍坊、洛阳、肇庆、黑龙江、海口、湖州、广东、大连、信阳、桂林、滨州、舟山、陕西、莱芜、中山、赣州、海南、河北、兰州、哈尔滨、常州、吉安、承德、新乡、郴州、东营、淮安、惠州、昆明、湘潭、云南、漳州、西宁、银川、万州、廊坊、益阳、濮阳、福田、太原、长春、南通、龙岩、莆田、青海、岳阳、泰安、龙华、湖南、烟台、娄底、乌鲁木齐、四川、资阳、江津、十堰、常德、贵州、绍兴、闵行、随州、咸阳、渭南、孝感、商丘、忻州、静安、宿迁、六安、聊城、衡阳、甘肃、商洛、九江、大庆、连云港、巴中、镇江、宜昌、滁州、扬州、泰州、泉州、鄂州、山西、衡水、南充、松江、株洲、遵义、安徽、咸宁、北海、山东、呼和浩特、宝安、柳州、唐山、邯郸、齐齐哈尔、黄石、日照、黄冈、宝鸡、徐汇、荆州、马鞍山、梧州、内蒙古、江苏、衢州、淮北、广西、绵阳、拉萨、湛江、荆门、恩施、张家界、怀化、邢台、泸州、鞍山、嘉定、淮南、龙岗、沧州、天门、湖北、宝山、潜江、三亚、邵阳、海淀、新疆、牡丹江、辽宁、合川、黄浦、吉林、四平、茂名、涪陵、浙江、松原、仙桃、三门峡、崇左、永州等全国各地提供微商城小程序系统定制设计开发服务。

网站地图 XML地图  HTML地图  TXT地图  RSS地图
2016-2024 © 深圳蚂蚁网络.All Rights Reserved.   粤ICP备17017147号
版权所有:深圳市蚂蚁互联网络科技有限公司