簡介

QQ音樂是中國最流行的流媒體音樂服務之一，擁有海量的音樂曲目。如果您正在尋找一種方法來獲取 QQ 音樂中的音樂信息和歌曲列表，那么本指南將為您提供幫助。本指南將介紹以下內容：QQ 音樂 API 概述使用 Python 爬取 QQ 音樂的步驟使用 Node.js 爬取 QQ 音樂的步驟可用的 QQ 音樂爬蟲工具包

QQ 音樂 API 概述

QQ 音樂提供了一個 API，用于訪問其音樂目錄。該 API 使用 RESTful 架構，這意味著您可以使用 HTTP 請求來檢索數據。要使用 QQ 音樂 API，您需要一個 API 密鑰。您可以通過訪問 QQ 音樂開發者門戶來獲取 API 密鑰。QQ 音樂 API 提供了各種端點，用于檢索音樂信息和歌曲列表。以下是幾個最常用的端點：`/search`：根據關鍵詞搜索歌曲`/song/detail`：獲取特定歌曲的詳細信息`/playlist/detail`：獲取特定歌單的詳細信息有關 QQ 音樂 API 的更多信息，請參閱 QQ 音樂開發者文檔。

使用 Python爬取 QQ 音樂

您可以使用 Python 輕松地爬取 QQ 音樂。以下是如何使用 Python 爬取 QQ 音樂的步驟：1. 安裝必要的庫。您需要安裝 `requests` 和 `beautifulsoup4` 庫才能使用 QQ 音樂 API。您可以使用 pip 安裝這些庫：pip install requests beautifulsoup42. 獲取 API 密鑰。如前所述，您需要一個 API 密鑰才能使用 QQ 音樂 API。您可以通過訪問 QQ 音樂開發者門戶來獲取 API 密鑰。3. 編寫爬蟲腳本。以下是一個使用 Python 爬蟲 QQ 音樂的示例腳本： python import requests import bs4設置 API 密鑰 api_key = 'YOUR_API_KEY'搜索歌曲 search_term = '周杰倫' url = f'https://c.y.qq.com/soso/fcgi-bin/search_for_qq_cp?aggr=1&cr=1&lossless=0&catZhida=1&t=0&p=1&n=1&w={search_term}' headers = {'referer': 'https://y.qq.com/portal/search.html' } response = requests.get(url, headers=headers)解析搜索結果 soup = bs4.BeautifulSoup(response.text, 'html.parser') songs = soup.find_all('div', class_='songlist__item')提取歌曲信息 for song in songs:song_id = song.find('a', class_='songlist__songname_txt').get('href').split('=')[1]song_name = song.find('a', class_='songlist__songname_txt').text artist_name = song.find('a', class_='songlist__singer_name').textalbum_name = song.find('a', class_='songlist__album_name').text打印歌曲信息print(f'歌名：{song_name}')print(f'歌手：{artist_name}')print(f'專輯：{album_name}')print(f'歌曲 ID：{song_id}')print('=' ${artistName}`);console.log(`專輯：${albumName}`);console.log(`歌曲 ID：${songId}`);console.log('='.repeat(50));});}).catch(error => {console.error(error);});4. 運行腳本。您可以使用以下命令運行腳本：node qq_music_scraper.js

可用的 QQ 音樂爬蟲工具包

除了自己編寫爬蟲腳本之外，您還可以使用現有的 QQ 音樂爬蟲工具包。以下是一些最流行的工具包：[qqmusic-api](這些工具包提供了各種方法來獲取 QQ 音樂中的音樂信息和歌曲列表。您可以根據自己的需求選擇一個工具包。

結論

本指南介紹了如何使用 Python 和 Node.js 爬取 QQ 音樂。我們還提供了可用的 QQ 音樂爬蟲工具包的列表。您可以使用這些信息來創建自己的 QQ 音樂爬蟲或使用現有的工具包。

---

如何提取音頻

如何提取網站上的音頻?

提取網絡中的音頻的方法步驟：打開瀏覽器，點擊“工具”→“Internet選項”。 在打開的“Internet選項”窗口中，點擊“Internet臨時文件”→“刪除文件”按鈕，來消除Internet臨時緩存文件夾。

首先我們先打開一個帶有音頻的網頁。 然后我們選擇開發者工具。 接著我們選擇刷新下網頁。 點擊其中的【Network】。 在【Filter】填mp3，把音頻文件的鏈接搜出來。 雙擊鏈接，進入單獨音頻界面。

首先，打開一個播放音頻的頁面，這里以Chrome下的網絡音樂為例。 其次，按下F12，進入開發者模式按F5刷新，在開發者選項中找到Network點擊在Network選項卡上點擊Size一般來說最大的文件就是音頻文件。

第一步：打開工將網頁中的音樂準備好，接著將工具打開到界面，可以先試著簡單的了解一下。

可以用爬蟲軟件進行下載，或者使用錄屏軟件錄取聲音，在對錄制的文件進行聲音提取。

錄制。 就是搞個軟件把電腦當前的聲音給錄下來。 保存網頁，在文件菜單中點保存，到保存目錄下面會出現一個這樣一個文件夾，里面應該有。 網頁抓取工具。

怎么把的音樂提取出來

錄音：這是最簡單粗暴的方法了，無論是電腦上的視頻還是手機里的視頻，都可以通過錄音的方法錄制背景音樂。

可以使用音頻器提取軟件來提取音樂，首先保存抖音上想要提取音樂的視頻。 打開音頻提取器，點擊加號按鈕，選擇保存的視頻。 點擊向下的三角圖標，點擊輸出格式，選擇mp3格式就可以提取音樂了。

把抖音的音樂提取出來的方法如下：首先打開抖音，點擊右下角的分享按鈕，點擊保存本地，將視頻下載到手機里。 在手機里下載個音頻提取器，然后打開音頻提取器，點擊右上角的+按鈕。

我們可以直接在此目錄下找到已經提取的音頻文件。 采用APP識別歌曲首先打開手機qq音樂主界面，選擇-發現-聽歌識曲。

方法如下：操作工具：vivoX9操作系統：FuntouchOS127軟件：抖音v2首先用戶打開抖音APP程序，找到自己需要下載背景音樂的視頻，點擊視頻的分享按鈕。

怎么提取視頻中的音頻?

選中視頻，點開【格式】，選擇格式，輕擊【保存】，輸入音頻名字，點擊【確認】即可；打開【視頻格式轉換工廠】，選中【音頻提取】，選擇視頻，輕擊【完成】即可。

下載并打開“嗨格式視頻轉換器”，點擊首頁“音頻提取”，進入對應功能界面；進入音頻提取功能頁后點擊“添加文件”上傳需要視頻文件；點擊“轉換”或“全部轉換”即可。

首先打開手機上的音頻提取軟件。 選擇“音頻提取”功能。 選擇你想要提取音頻的視頻文件。 選擇你想提取的音頻格式，我們常用的是mp3格式，還有其他格式也可以試試，選好格式后，點擊“提取音頻”。

首先將視頻保存到手機上，打開這款工具，在首頁找到【音頻提取】功能。 隨后進入手機相冊，找到保存的視頻，進行勾選，再點擊【下一步】。 等待片刻，就能將視頻里的音頻分離出來了，處理速度非常快，點擊播放試聽。

如何把視頻的音頻提取出來

1、把提前備好的視頻文件通過點擊左上角的【添加文件】藍色按鈕，快速的導入軟件中，準備提取工作；該軟件工作效率很高，支持批量添加和轉換；為保證提取音頻的播放，我們選擇設置轉換的格式為兼容性較好的【mp3】音頻格式。

2、首先打開手機上的音頻提取軟件。 選擇“音頻提取”功能。 選擇你想要提取音頻的視頻文件。 選擇你想提取的音頻格式，我們常用的是mp3格式，還有其他格式也可以試試，選好格式后，點擊“提取音頻”。

3、首先將視頻保存到手機上，打開這款工具，在首頁找到【音頻提取】功能。 隨后進入手機相冊，找到保存的視頻，進行勾選，再點擊【下一步】。 等待片刻，就能將視頻里的音頻分離出來了，處理速度非?？欤c擊播放試聽。

4、推薦方法一：提詞全能王（APP端）提詞全能王是我個人經常使用的一款手機軟件。 它的功能豐富多樣，不僅能夠幫助我們實現邊拍攝邊提詞的操作，還能夠幫助我們很好地處理圖片和視頻。

5、首先，打開手機上面的剪映，并點擊進入。 進入到剪映的界面，點擊上方的“＋”號，導入需要制作的視頻。 點擊視頻，在下方的找到音頻，并點擊進入，找到提取音樂點擊。

Python培訓課程哪家好？

不同機構課程安排不同，每個人需求不一樣，選擇上也是存在差異，建議根據自身需求，實地體驗一下。 課程安排：階段一：Python開發基礎Python全棧開發與人工智能之Python開發基礎知識學習內容包括：Python基礎語法、數據類型、字符編碼、文件操作、函數、裝飾器、迭代器、內置方法、常用模塊等。 階段二：Python高級編程和數據庫開發Python全棧開發與人工智能之Python高級編程和數據庫開發知識學習內容包括：面向對象開發、Socket網絡編程、線程、進程、隊列、IO多路模型、Mysql數據庫開發等。 階段三：前端開發Python全棧開發與人工智能之前端開發知識學習內容包括：Html、CSS、JavaScript開發、Jquery&bootstrap開發、前端框架VUE開發等。 階段四：WEB框架開發Python全棧開發與人工智能之WEB框架開發學習內容包括：Django框架基礎、Django框架進階、BBS+Blog實戰項目開發、緩存和隊列中間件、Flask框架學習、Tornado框架學習、Restful API等。 階段五：爬蟲開發Python全棧開發與人工智能之爬蟲開發學習內容包括：爬蟲開發實戰。 階段六：全棧項目實戰Python全棧開發與人工智能之全棧項目實戰學習內容包括：企業應用工具學習、CRM客戶關系管理系統開發、路飛學城在線教育平臺開發等。 階段七：數據分析Python全棧開發與人工智能之數據分析學習內容包括：金融量化分析。 階段八：人工智能Python全棧開發與人工智能之人工智能學習內容包括：機器學習、圖形識別、無人機開發、無人駕駛等。 階段九：自動化運維&開發Python全棧開發與人工智能之自動化運維&開發學習內容包括：CMDB資產管理系統開發、IT審計+主機管理系統開發、分布式主機監控系統開發等。 階段十：高并發語言GO開發Python全棧開發與人工智能之高并發語言GO開發學習內容包括：GO語言基礎、數據類型與文件IO操作、函數和面向對象、并發編程等。

玩網易云的都是些什么人

網易云音樂除了是一個主流的音樂app之外擁有他自己的特色：強大的推薦算法以及與之匹配的社交功能。通過不同方面分析網易云的用戶特征從而驗證玩網易云的都是些什么人，具體內容如下：

男女用戶比例均衡：男女用戶基本都保持在42%這個水平沒有差異，看來在熱愛音樂這件事上是沒有性別的界限的。

原創音樂人是普通用戶外最大的貢獻者。 網易云用戶的標簽有四種：什么標簽都莫得的普通用戶，達人標簽（通常為某個圈子的視頻或音樂的搬運工），音樂人標簽（原創音樂人），大V（官方認證）。

其中音樂人占比到了3%，其實這個比例很明顯是不正確的，百人中有三個音樂人，那音樂人家生活中會變得非常常見。

之所以占比這么高，是因為爬蟲的邏輯是根據關注列表與粉絲列表進行廣度優先的關聯爬取，所以關注更多人的用戶，擁有更多粉絲的用戶有更高的概率被抽到，存在幸存者誤差。 從某種程度上來說，所爬到的用戶絕大部分是活躍用戶，而不是一個隨機抽樣。

但是從另外一個角度來看，由于關聯爬取的方式使得活躍用戶被爬到的概率變得非常高，所以單獨看音樂人、達人、大V這三個標簽是有參考意義的，因為這兩個活躍用戶群幾乎全部被爬到，遺漏的概率很小。

把普通用戶的數據剔除，只留下特殊用戶對比一下，可以看到在特殊用戶群中原創音樂人占絕大多數，網易云音樂擁有著讓一些知名度較低的音樂人發表自己的作品，培養自己的粉絲圈的土壤。 想要火，唱民謠。

根據用戶粉絲數量排行，第一位是官方賬號“云音樂VIP”，擁有600萬粉絲，這意味著曾經購買過會員的用戶約為600萬，考慮到黑膠會員是2018年6月21日推出的，還不到一年，變現能力不錯。

此外網紅薛之謙排在第二席遠遠超過其他人，這個網紅老前輩還是火的不行。

其次創作民謠的歌手在剩下的10個席位中占據5位：花粥、陳粒、李志、房東的貓、老狼。 由此看來民謠所擁有的用戶基礎是云音樂中最龐大的。 云音樂個人用戶可以發表自己的歌曲，創作門檻較低的民謠成為大熱也是情有可原。

95后正成為主流，付費意愿與年齡正相關。 1990出生的用戶數據明顯存在異常，按照日期對用戶數量分組聚合之后找到原因：設置日期的默認值為1990/01/01。 注冊一個新賬號驗證默認日期確實為該天，將該天的數據剔除后更新圖表，90年出生的用戶數量明顯下降。

數據呈現出出生日期小于1998時遞增而大于1998后遞減的趨勢，仔細一想2004年后的小朋友才18歲，大多數人在這個階段并沒有步入大學，能長期使用智能設備的比例不會很高，這部分人群數量較少是必然的。 總的來說，年輕人明顯更喜歡音樂，愛用網易云音樂這款app。

網易云音樂的主體活躍用戶是當下的大學生與年輕人，廣大青少年都是潛在活躍用戶。

Vip Ratio從直覺上是隨著年齡的增大而增大的，年齡越大，消費能力越強，購買VIP的比例也就越高。 簡單計算一下Vip Ratio與Age的相關系數：相關系數約0.83，可以認為Vip Ratio與Age強相關。

用戶Level分布以7級為中心，等級越高付費意愿越強，10級用戶都是聽歌鬼才。

將Level屬性與平均聽歌數聚合可以得知每個等級的用戶的聽歌數的平均值，隨著等級增長對應的聽歌數呈指數級上升，10級的用戶都是魔鬼，聽歌數達到了25k。（music count是去重的，意味著單曲循環一首歌這個數值不會增長）

將Level屬性與用戶數量聚合，同時計算Vip比例可以得知主流用戶還是Level 6、7、8這三個群體。 隨著Level的上升Vip的比例有著明顯的上升趨勢，Level10的用戶購買黑膠會員的比例達到了44%，說明用戶粘度的上升會促進用戶去購買Vip。 此外對比自己的數據，確認數據無誤。

維吾爾族用戶占據半壁江山，經濟發達地區用戶付費意愿強。

按照用戶所在地以及Vip比例將數據可視化，從用戶數量來看前三全部被新疆地區包攬。 其余部分熱門的北上廣深各大城市均在榜單。 而付費比例則是經濟越發達的地區付費比例更高，結合年齡越大付費比例越高，意味著付費比例和消費能力相關密切。

讓人匪夷所思的是新疆用戶居然幾乎占據了半壁江山。 這個維度的數據其實是比較可靠的，因為app的默認設置是用戶設備的定位地，從用戶習慣上來看也很少會有人費力氣去改一個虛假的地址。

隨意抽取一個新疆地區的用戶驗證，進行不負責任的分析：新疆的用戶由于語系不是漢語，維吾爾族人居多，音樂文化也與華語圈完全不同，他們有著自己獨特亞文化音樂，維語歌曲、俄語歌曲才是維吾爾族的人所普遍接受的。

在這種前提下網易云音樂這個依靠推薦算法建立社交的平臺完美的滿足了這一小眾音樂的需求，相對QQ音樂資本為王的方式，在網易云這個小而美的平臺上維族人能更容易的找到自己喜愛的歌。

同時也可以從維吾爾族人這一典型用戶群體來分析一下網易云主流用戶的特征：有著自己對音樂的判斷，喜歡一些較為小眾的音樂風格，這一點和聽acg，聽古典，聽民謠是共通的。

但是假定這一判斷是正確的情況下，在音樂文化游離于主流音樂體系之外的地區、國家，網易云音樂app有著非常獨特的潛力。 并且可以聯想到的是在很多的海外小國家，都有著自己獨特的音樂與文化，在這樣的市場里面網易云是不是有著獨特的優勢。

由于維族人的粉絲與關注對象大多數都是維族人，關聯度很高，而爬蟲在爬取數據的時候是根據這兩個列表進行的廣度優先搜索，所以前期的誤差可能會被放大，在地區這個維度上數據也確實有可能存在誤差。

結合現有的數據來看，網易云的主流用戶群即：廣大20歲左右，有著對獨特風格的音樂偏好，且長期使用網易云、擁有較高的賬號等級的人群。 而黑膠會員在擁有較強消費能力的用戶與高粘度用戶中比例較大。

音樂是一個年輕人市場，利用自己的優勢想辦法留住年輕人，幫助真正有才華、有溫度的年輕歌手建立出自己的口碑，讓年輕人與優秀的音樂對話的網易云音樂，才是那個有溫度的APP。

其次網易云音樂在亞文化地區中的威力不容小覷，國外應該存在許多有著自己獨特音樂文化的小國，或許往這個方向發力不失為一個不錯的選擇。

怎么用爬蟲獲取音樂

近年來，隨著互聯網技術的不斷發展，越來越多的人開始使用爬蟲來獲取音樂。 通過爬蟲獲取音樂，不僅可以免費獲取大量的音樂資源，還可以快速地找到自己喜歡的音樂。 下面我們來介紹一下如何用爬蟲獲取音樂。 首先，我們需要選擇一個合適的網站。 目前市面上有很多音樂網站，如酷狗音樂、網易云音樂、QQ音樂等。 我們可以根據自己的喜好選擇一個合適的網站。 接著，我們需要了解一些基本的爬蟲知識。 爬蟲是一種自動化獲取網頁信息的工具，可以模擬人類操作，自動抓取網頁上的信息，并進行處理和分析。 在使用爬蟲時，我們需要了解網頁的結構和編碼方式。 然后，我們需要選擇一個合適的編程語言。 目前常用的編程語言有Python、Java、JavaScript等。 其中，Python是最為流行的語言之一，因為它簡單易學、功能強大、支持多種操作系統，并且有豐富的第三方庫和工具。 最后，我們需要編寫爬蟲程序。 在編寫爬蟲程序時，我們需要根據網頁的結構和編碼方式，使用相應的爬蟲框架和庫。 例如，使用Python中的requests庫和BeautifulSoup庫可以輕松地獲取網頁信息，并提取出我們需要的音樂鏈接。 需要注意的是，在使用爬蟲獲取音樂時，我們需要遵守相關法律法規，不得侵犯他人的版權和隱私。 另外，我們還需要注意數據的安全和保護，避免泄露個人信息和數據。 綜上所述，使用爬蟲獲取音樂可以幫助我們快速地獲取大量的音樂資源，但是也需要我們遵守相關法律法規和保護數據安全。

如何利用Python爬取網易云音樂熱門評論

本篇文章給大家分享的內容是如何利用Python爬取網易云音樂熱門評論，有著一定的參考價值，有需要的朋友可以參考一下前言最近在研究文本挖掘相關的內容，所謂巧婦難為無米之炊，要想進行文本分析，首先得到有文本吧。 獲取文本的方式有很多，比如從網上下載現成的文本文檔，或者通過第三方提供的API進行獲取數據。 但是有的時候我們想要的數據并不能直接獲取，因為并不提供直接的下載渠道或者API供我們獲取數據。 那么這個時候該怎么辦呢？有一種比較好的辦法是通過網絡爬蟲，即編寫計算機程序偽裝成用戶去獲得想要的數據。 利用計算機的高效，我們可以輕松快速地獲取數據。 關于爬蟲那么該如何寫一個爬蟲呢？有很多種語言都可以寫爬蟲，比如Java，php,python 等，我個人比較喜歡使用python。 因為python不僅有著內置的功能強大的網絡庫，還有諸多優秀的第三方庫，別人直接造好了輪子，我們直接拿過來用就可以了，這為寫爬蟲帶來了極大的方便。 不夸張地說，使用不到10行python代碼其實就可以寫一個小小的爬蟲，而使用其他的語言可以要多寫很多代碼，簡潔易懂正是python的巨大的優勢。 好了廢話不多說，進入今天的正題。 最近幾年網易云音樂火了起來，我自己就是網易云音樂的用戶，用了幾年了。 以前用的是QQ音樂和酷狗，通過我自己的親身經歷來看，我覺得網易云音樂最優特色的就是其精準的歌曲推薦和獨具特色的用戶評論（鄭重聲明?。?！這不是軟文，非廣告！??！僅代表個人觀點，非喜勿噴?。? 經常一首歌曲下面會有一些被點贊眾多的神評論。 加上前些日子網易云音樂將精選用戶評論搬上了地鐵，網易云音樂的評論又火了一把。 所以我想對網易云的評論進行分析，發現其中的規律，特別是分析一些熱評具有什么共同的特點。 帶著這個目的，我開始了對網易云評論的抓取工作。 網絡庫Python內置了兩個網絡庫urllib和urllib2，但是這兩個庫使用起來不是特別方便，所以在這里我們使用一個廣受好評的第三方庫requests。 使用requests只用很少的幾行代碼就可以實現設置代理，模擬登陸等比較復雜的爬蟲工作。 如果已經安裝pip的話，直接使用pip install requests 即可安裝。 中文文檔地址在此大家有什么問題可以自行參考官方文檔，上面會有非常詳細的介紹。 至于urllib和urllib2這兩個庫也是比較有用的，以后如果有機會我會再給大家介紹一下。 工作原理在正式開始介紹爬蟲之前，首先來說一下爬蟲的基本工作原理，我們知道我們打開瀏覽器訪問某個網址本質上是向服務器發送了一定的請求，服務器在收到我們的請求之后，會根據我們的請求返回數據，然后通過瀏覽器將這些數據解析好，呈現在我們的面前。 如果我們使用代碼的話，就要跳過瀏覽器的這個步驟，直接向服務器發送一定的數據，然后再取回服務器返回的數據，提取出我們想要的信息。 但是問題是，有的時候服務器需要對我們發送的請求進行校驗，如果它認為我們的請求是非法的，就會不返回數據，或者返回錯誤的數據。 所以為了避免發生這種情況，我們有的時候需要把程序偽裝成一個正常的用戶，以便順利得到服務器的回應。 如何偽裝呢？這就要看用戶通過瀏覽器訪問一個網頁與我們通過程序訪問一個網頁之間的區別。 通常來說，我們通過瀏覽器訪問一個網頁，除了發送訪問的url之外，還會給服務發送額外的信息，比如headers（頭部信息）等，這就相當于是請求的身份證明，服務器看到了這些數據，就會知道我們是通過正常的瀏覽器訪問的，就會乖乖地返回數據給我們了。 模擬登陸所以我們程序就得像瀏覽器一樣，在發送請求的時候，帶上這些標志著我們身份的信息，這樣就能順利拿到數據。 有的時候，我們必須在登錄狀態下才能得到一些數據，所以我們必須要模擬登錄。 本質上來說，通過瀏覽器登錄就是post一些表單信息給服務器（包括用戶名，密碼等信息），服務器校驗之后我們就可以順利登錄了，利用程序也是一樣，瀏覽器post什么數據，我們原樣發送就可以了。 關于模擬登錄，我后面會專門介紹一下。 當然事情有的時候也不會這么順利，因為有些網站設置了反爬措施，比如如果訪問過快，有時候會被封ip（典型的比如豆瓣）。 這個時候我們還得要設置代理服務器，即變更我們的ip地址，如果一個ip被封了，就換另外一個ip，具體怎么做，這些話題以后慢慢再說。 小技巧 最后，再介紹一個我認為在寫爬蟲過程中非常有用的一個小技巧。 如果你在使用火狐瀏覽器或者chrome的話，也許你會注意到有一個叫作開發者工具（chrome）或者web控制臺（firefox）的地方。 這個工具非常有用，因為利用它，我們可以清楚地看到在訪問一個網站的過程中，瀏覽器到底發送了什么信息，服務器究竟返回了什么信息，這些信息是我們寫爬蟲的關鍵所在。 下面你就會看到它的巨大用處。 如何爬取評論首先打開網易云音樂的網頁版，隨便選擇一首歌曲打開它的網頁，這里我以周杰倫的《晴天》為例。 如下圖：接下來打開web控制臺(chrome的話打開開發者工具，如果是其他瀏覽器應該也是類似)，如下圖：然后這個時候我們需要點選網絡，清除所有的信息，然后點擊重新發送(相當于是刷新瀏覽器),這樣我們就可以直觀看到瀏覽器發送了什么信息以及服務器回應了什么信息。 如下圖：刷新之后得到的數據如下可以看到瀏覽器發送了非常多的信息，那么哪一個才是我們想要的呢？這里我們可以通過狀態碼做一個初步的判斷，status code（狀態碼）標志了服務器請求的狀態，這里狀態碼為200即表示請求正常，而304則表示不正常（狀態碼種類非常多，如果要想詳細了解可以自行搜索，這里不說304具體的含義了）。 所以我們一般只用看狀態碼為200的請求就可以了，還有就是，我們可以通過右邊欄的預覽來粗略觀察服務器返回了什么信息（或者查看響應）。 如下圖：通過這兩種方法結合一般我們就可以快速找到我們想要分析的請求。 注意圖5中的請求網址一欄即是我們想要請求的網址，請求的方法有兩種：get和post，還有一個需要重點關注的就是請求頭，里面包含了user-Agent（客戶端信息），refrence（從何處跳轉過來）等多種信息，一般無論是get還是post方法我們都會把頭部信息帶上。 頭部信息如下圖：另外還需要注意的是：get請求一般就直接把請求的參數以 ？parameter1=value1?meter2=value2 等這樣的形式發送了，所以不需要帶上額外的請求參數，而post請求則一般需要帶上額外的參數，而不直接把參數放在url當中，所以有的時候我們還需要關注參數這一欄。 經過仔細尋找，我們終于找到原來與評論相關的請求在這個請求當中，如下圖：點開這個請求，我們發現它是一個post請求，請求的參數有兩個，一個是params，還有一個是encSecKey，這兩個參數的值非常的長，感覺應該像是加密過的。 如下圖：服務器返回的和評論相關的數據為json格式的，里面含有非常豐富的信息（比如有關評論者的信息，評論日期，點贊數，評論內容等等），如下圖9所示：（其實hotComments為熱門評論，comments為評論數組）至此，我們已經確定了方向了，即只需要確定params和encSecKey這兩個參數值即可，這個問題困擾了我一下午，我弄了很久也沒有搞清楚這兩個參數的加密方式，但是我發現了一個規律，中 R_SO_4_ 后面的數字就是這首歌的id值，而對于不同的歌曲的param和encSecKey值，如果把一首歌比如A的這兩個參數值傳給B這首歌，那么對于相同的頁數，這種參數是通用的，即A的第一頁的兩個參數值傳給其他任何一首歌的兩個參數，都可以獲得相應歌曲的第一頁的評論，對于第二頁，第三頁等也是類似。 但是遺憾的是，不同的頁數參數是不同的，這種辦法只能抓取有限的幾頁（當然抓取評論總數和熱門評論已經足夠了），如果要想抓取全部數據，就必須搞明白這兩個參數值的加密方式。 以為沒有搞明白，昨天晚上我帶著這個問題去知乎搜索了一下，居然真的被我找到了答案。 @平胸小仙女 這位知友詳細說明了如何破解這兩個參數的加密過程，我研究了一下，發現還是有點小復雜的，按照知友寫的方法，我改動了一下，就成功得到了全部的評論。 這里要對知乎@平胸小仙女 表示感謝。 到此為止，如何抓取網易云音樂的評論全部數據就全部講完了。 按照慣例，最后上代碼，親測有效：#!/usr/bin/env python2.7 # -*- coding: utf-8 -*- # @Time : 2017/3/28 8:46 # @Author : Lyrichu # @Email : # @File : NetCloud_ @Description: 網易云音樂評論爬蟲，可以完整爬取整個評論 部分參考了@平胸小仙女的文章來源：知乎 from import AES import base64 import requests import json import codecs import time # 頭部信息 headers = { , Accept-Language:zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3, Accept-Encoding:gzip, deflate, Content-Type:application/x-www-form-urlencoded, Cookie:_ntes_nnid=b04b121e078dee797cdb30e0fd,27; _ntes_nuid=b04b121e078dee797cdb30e0fd; JSESSIONID-WYYY=yfqt9ofhY%5CIYNkXW71TqY5OtSZyjE%2FoswGgtl4dMv3Oa7%5CQ50T%2FVaee%2FMSsCifHE0TGtRMYhSPpr20i%5CRO%2BO%2B9pbbJnrUvGzkibhNqw3Tlgn%5Coil%2FrW7zFZZWSA3K9gD77MPSVH6fnv5hIT8ms70MNB3CxK5r3ecj3tFMlWFbFOZmGw%5C%3A80; _iuqxldmzr_=32; vjuids=c8ca7976.15a029d006a.0.e63af8; vjlast=..21; __gads=ID=a9eed5e3cae4d252:T=:S=ALNI_Mb5XX2vlkjsiU5cIy91-ToUDoFxIw; vinfo_n_f_l_n3=411a2def7f75a62e.1.1.69.05.42; P_INFO=||1|study|00&99|null&null&null#hub #0#0|&1|study_client|; NTES_CMT_USER_INFO=%7Cm155****4439%7Chttps%3A%2F%%2Fe%%2Ftie%2Fimages%2Fyun%2Fphoto_default_%7Cfalse%7CbTE1NTI3NTk0NDM5QDE2My5jb20%3D; usertrack=c+5+hljHgU0T1FDmA66MAg==; Province=027; City=027; _ga=GA1.2..; __utma=.....8; __utmc=; __utmz==baidu|utmccn=(organic)|utmcmd=organic; playerid=; __utmb=.23.10., Connection:keep-alive, Referer:}# 設置代理服務器 proxies= { http::https::}# offset的取值為:(評論頁數-1)*20,total第一頁為true，其余頁為false # first_param = {rid:, offset:0, total:true, limit:20, csrf_token:} # 第一個參數 second_param = # 第二個參數 # 第三個參數 third_param = 00e0b509f6259df8642dbcdfec152b5ff68ace615bb7bb3ab17a876aea8a5aa76d2eec4ee341ffccfe0312ecbdacaf6c9d05c4f7f0c3685b7a46beecce10b424d813cfe4875d3eb97ddefd546b8e289dc6935b3ece0462db0a22b8e7 # 第四個參數 forth_param = 0CoJUm6Qyw8W8jud # 獲取參數 def get_params(page): # page為傳入頁數 iv = first_key = forth_param second_key = 16 * F if(page == 1): # 如果為第一頁 first_param = {rid:, offset:0, total:true, limit:20, csrf_token:} h_encText = AES_encrypt(first_param, first_key, iv) else: offset = str((page-1)*20) first_param = {rid:, offset:%s, total:%s, limit:20, csrf_token:} %(offset,false) h_encText = AES_encrypt(first_param, first_key, iv) h_encText = AES_encrypt(h_encText, second_key, iv) return h_encText # 獲取 encSecKey def get_encSecKey(): encSecKey = aecb5e556c066de214e531faadd1c55d814f9be95fd06d6bff9f4c7a41f831f6394d5a3fd2ed94a02ca919de7d0a50ebfa1769a7a62d512f5f1ca21aec60bc3819a9c3ffca5eca9a0dba6d6f7249b06f5965ecfff3695b54e1c28f3fed39e7de08fce26dbc4484a01c76f739ec return encSecKey # 解密過程 def AES_encrypt(text, key, iv): pad = 16 - len(text) % 16 text = text + pad * chr(pad) encryptor = (key, _CBC, iv) encrypt_text = (text) encrypt_text = base64.b64encode(encrypt_text) return encrypt_text # 獲得評論json數據 def get_json(url, params, encSecKey): data = { params: params, encSecKey: encSecKey } response = (url, headers=headers, data=data,proxies = proxies) return # 抓取熱門評論，返回熱評列表 def get_hot_comments(url): hot_comments_list = [] hot_comments_(u用戶ID 用戶昵稱 用戶頭像地址 評論時間 點贊總數 評論內容) params = get_params(1) # 第一頁 encSecKey = get_encSecKey() json_text = get_json(url,params,encSecKey) json_dict = (json_text) hot_comments = json_dict[hotComments] # 熱門評論 print(共有%d條熱門評論! % len(hot_comments)) for item in hot_comments: comment = item[content] # 評論內容 likedCount = item[likedCount] # 點贊總數 comment_time = item[time] # 評論時間(時間戳) userID = item[user][userID] # 評論者id nickname = item[user][nickname] # 昵稱 avatarUrl = item[user][avatarUrl] # 頭像地址 comment_info = userID + + nickname + + avatarUrl + + comment_time + + likedCount + + comment + u hot_comments_(comment_info) return hot_comments_list # 抓取某一首歌的全部評論 def get_all_comments(url): all_comments_list = [] # 存放所有評論 all_comments_(u用戶ID 用戶昵稱 用戶頭像地址 評論時間 點贊總數 評論內容) # 頭部信息 params = get_params(1) encSecKey = get_encSecKey() json_text = get_json(url,params,encSecKey) json_dict = (json_text) comments_num = int(json_dict[total]) if(comments_num % 20 == 0):

---

---

相關標簽： 獲取音樂信息和歌曲列表的終極指南、 QQ音樂爬蟲、 qq音樂爬蟲下載文件、

上一篇：使用QQ音樂爬蟲進行深入音樂分析使用QQ音樂

下一篇：微信紅包插件一勞永逸解決搶紅包之痛微信紅