pl3000 发表于 2023-3-14 15:07

求助Python爬走势图数据,获取后怎么提取整理数据,代码怎么写?

使用Python爬了个简单的走势图数据,但不会整理提取到excel,请教各位老师。





酶心酶肺 发表于 2023-3-14 15:16

引入excel插件,格式化写入就行了

klxfp8 发表于 2023-3-14 15:22

使用pandas写入csv
import pandas as pd
遍历你的json 调整成合适格式
调用to_csv()方法生成csv文件,别引什么excel三方库

surepj 发表于 2023-3-14 15:25

如果只是要保存这两个列表,用Python自带的csv库即可
import csv

LineStackvdl =
LineStackxdl = ['a', 'b', 'c', 'd', 'e']

with open('test_csv.csv', 'w', encoding='gbk', newline='') as f:
    csv_writer = csv.writer(f)
    csv_writer.writerow(LineStackxdl)
    csv_writer.writerow(LineStackvdl)

ExerciseXR 发表于 2023-3-14 15:39

Anaconda 的jupyter notebook 挺好用的

cnwutianhao 发表于 2023-3-14 16:14

本帖最后由 cnwutianhao 于 2023-3-14 16:15 编辑

可以使用Python中的Pandas库来整理和提取爬取到的数据,并将其导出为Excel文件。下面是一个示例代码,假设已经通过Python爬取了某个网站的走势图数据,并将其保存在一个名为data的变量中:

```python
import pandas as pd

# 将数据转换为DataFrame格式
df = pd.DataFrame(data, columns=['日期', '价格'])

# 对日期列进行处理,将其转换为日期类型
df['日期'] = pd.to_datetime(df['日期'])

# 对价格列进行处理,将其转换为浮点数类型
df['价格'] = df['价格'].astype(float)

# 将DataFrame保存为Excel文件
df.to_excel('价格走势图.xlsx', index=False)
```

在上述代码中,首先使用Pandas将爬取到的数据转换为一个DataFrame格式的数据表,然后对日期和价格两列进行了类型转换和处理,最后使用to_excel函数将DataFrame保存为Excel文件。其中,index=False参数表示不保存行索引信息。
通过这样的处理,可以更方便地整理和使用爬取到的数据。

earlc 发表于 2023-3-14 16:27

直接要代码啊,度娘一下很多类似的啊,自己研究一下就行了

pl3000 发表于 2023-3-15 09:29

surepj 发表于 2023-3-14 15:25
如果只是要保存这两个列表,用Python自带的csv库即可
import csv



感谢!LineStackvdl =
LineStackxdl = ['a', 'b', 'c', 'd', 'e']这两行里面的内容是要手动复制粘贴吗?有没有自动处理的?

pl3000 发表于 2023-3-15 09:33

本帖最后由 pl3000 于 2023-3-15 10:26 编辑

cnwutianhao 发表于 2023-3-14 16:14
可以使用Python中的Pandas库来整理和提取爬取到的数据,并将其导出为Excel文件。下面是一个示例代码,假设 ...
感谢!按照老师的代码,打开内容空白,是不是我没保存好data变量中。
url = 'http://www.pymeitan.com/ajax/getLineStackx.json'

request=req.Request(url,headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.69'
})
with req.urlopen(request)as response:
    data = response.read().decode("utf-8")

data=json.loads(data)
print(data)


df = pd.DataFrame(data, columns=['日期', '价格'])

# 对日期列进行处理,将其转换为日期类型
df['日期'] = pd.to_datetime(df['日期'])

# 对价格列进行处理,将其转换为浮点数类型
df['价格'] = df['价格'].astype(float)

# 将DataFrame保存为Excel文件
df.to_excel('价格走势图.xlsx', index=False)

surepj 发表于 2023-3-15 10:11

pl3000 发表于 2023-3-15 09:29
感谢!LineStackvdl =
LineStackxdl = ['a', 'b', 'c', 'd', 'e']这两行里面的内容是要 ...

这两个变量就是你之前发起网络请求,得到的数据结果。
例如,xxx = requests.get(url).json()之类的
页: [1]
查看完整版本: 求助Python爬走势图数据,获取后怎么提取整理数据,代码怎么写?