在大数据行业工作中，了解岗位市场需求对职业规划至关重要。本文通过 Python 爬取智联招聘上的 BI 工程师数据，并利用 BI 工具进行可视化分析，展示薪资、城市分布及经验要求等关键信息。
数据分析的过程如同烧一顿饭，先要数据采集（买菜），然后数据建模（配菜）、数据清洗（洗菜）、数据分析（做菜）、数据可视化（摆盘上菜）。
一、Python 爬取智联招聘岗位信息
选择智联招聘，通过 Python 来进行'BI 工程师'的关键数据信息的爬取。经过 F12 分析调试，数据是以 JSON 的形式存储的，可以通过智联招聘提供的接口调用返回。
这里通过 Python 对智联招聘网站的数据进行解析，爬取了 30 页数据，并且将岗位名称、公司名称、薪水、所在城市、所属行业、学历要求、工作年限这些关键信息用 CSV 文件保存下来。
import requests
import json
import csv
from urllib.parse import urlencode
import time
def saveHtml(file_name,file_content): #保存 content 对象为 html 文件
with open(file_name.replace('/','_')+'.html','wb') as f:
f.write(file_content)
def GetData(url,writer):#解析并将数据保存为 CSV 文件
response= requests.get(url)
data=response.content
saveHtml('zlzp',data) #保存 html 文件
jsondata=json.loads(data)
dataList=jsondata['data']['results']
#print(jsondata)
for dic in dataList:
jobName=dic['jobName'] #岗位名称
company=dic['company']['name'] #公司名称
salary=dic['salary']
city=dic[][]
jobtype = dic[][]
eduLevel=dic[][]
workingExp=dic[][]
(jobName,company,salary,city,jobtype,eduLevel,workingExp)
writer.writerow([jobName,company,salary,city,jobtype,eduLevel,workingExp])
param={ :,
:,
:,
:-,
:-,
: -,
: -,
: -,
: ,
: ,
: {:,:,:,:,:}
}
pages=(,)
out_f = (, , newline=)
writer = csv.writer(out_f)
writer.writerow([,,,,,,])
p pages:
param[]=(p-)*
param[][]=p
url = + urlencode(param)
GetData(url,writer)
time.sleep()
(p)
out_f.close()
