前言

QQ音樂是中國最大的在線音樂流媒體平臺之一，擁有海量的音樂資源。為了便于對QQ音樂中的音樂進行研究和探索，開發QQ音樂爬蟲對于相關的研究者和愛好者來說至關重要。

爬蟲技術

QQ音樂爬蟲通常采用以下技術：HTTP請求：通過HTTP請求獲取QQ音樂網頁的HTML代碼。正則表達式：從HTML代碼中提取音樂的元數據，例如歌曲名稱、歌手、專輯、發行日期等。數據解析：將提取到的音樂元數據解析為結構化的數據格式，如JSON或CSV。

應用場景

QQ音樂爬蟲在音樂研究和探索中有著廣泛的應用場景，包括：

音樂數據采集

QQ音樂爬蟲可以批量采集QQ音樂平臺上的音樂數據，包括歌曲、專輯、藝術家、榜單等。這些數據可用于構建龐大的音樂數據集，為以下研究提供支持：音樂流行趨勢分析：通過分析QQ音樂的播放量、下載量等數據，可以了解音樂流行趨勢和用戶偏好。音樂推薦系統開發：基于用戶歷史行為數據，可以開發個性化的音樂推薦系統。音樂情感分析：通過爬取歌曲的歌詞、評論等文本數據，可以分析音樂的情感特征。

音樂資源下載

QQ音樂爬蟲可以下載QQ音樂平臺上的音樂文件，包括MP3、FLAC、APE等格式。這些資源可用于：音樂收藏：將喜愛的音樂下載到本地，以便離線欣賞。音樂分析：下載音樂文件用于音頻處理、音樂信號分析等研究目的。音樂分享：在遵守

---

玩網易云的都是些什么人

網易云音樂除了是一個主流的音樂app之外擁有他自己的特色：強大的推薦算法以及與之匹配的社交功能。通過不同方面分析網易云的用戶特征從而驗證玩網易云的都是些什么人，具體內容如下：

男女用戶比例均衡：男女用戶基本都保持在42%這個水平沒有差異，看來在熱愛音樂這件事上是沒有性別的界限的。

原創音樂人是普通用戶外最大的貢獻者。 網易云用戶的標簽有四種：什么標簽都莫得的普通用戶，達人標簽（通常為某個圈子的視頻或音樂的搬運工），音樂人標簽（原創音樂人），大V（官方認證）。

其中音樂人占比到了3%，其實這個比例很明顯是不正確的，百人中有三個音樂人，那音樂人家生活中會變得非常常見。

之所以占比這么高，是因為爬蟲的邏輯是根據關注列表與粉絲列表進行廣度優先的關聯爬取，所以關注更多人的用戶，擁有更多粉絲的用戶有更高的概率被抽到，存在幸存者誤差。 從某種程度上來說，所爬到的用戶絕大部分是活躍用戶，而不是一個隨機抽樣。

但是從另外一個角度來看，由于關聯爬取的方式使得活躍用戶被爬到的概率變得非常高，所以單獨看音樂人、達人、大V這三個標簽是有參考意義的，因為這兩個活躍用戶群幾乎全部被爬到，遺漏的概率很小。

把普通用戶的數據剔除，只留下特殊用戶對比一下，可以看到在特殊用戶群中原創音樂人占絕大多數，網易云音樂擁有著讓一些知名度較低的音樂人發表自己的作品，培養自己的粉絲圈的土壤。 想要火，唱民謠。

根據用戶粉絲數量排行，第一位是官方賬號“云音樂VIP”，擁有600萬粉絲，這意味著曾經購買過會員的用戶約為600萬，考慮到黑膠會員是2018年6月21日推出的，還不到一年，變現能力不錯。

此外網紅薛之謙排在第二席遠遠超過其他人，這個網紅老前輩還是火的不行。

其次創作民謠的歌手在剩下的10個席位中占據5位：花粥、陳粒、李志、房東的貓、老狼。 由此看來民謠所擁有的用戶基礎是云音樂中最龐大的。 云音樂個人用戶可以發表自己的歌曲，創作門檻較低的民謠成為大熱也是情有可原。

95后正成為主流，付費意愿與年齡正相關。 1990出生的用戶數據明顯存在異常，按照日期對用戶數量分組聚合之后找到原因：設置日期的默認值為1990/01/01。 注冊一個新賬號驗證默認日期確實為該天，將該天的數據剔除后更新圖表，90年出生的用戶數量明顯下降。

數據呈現出出生日期小于1998時遞增而大于1998后遞減的趨勢，仔細一想2004年后的小朋友才18歲，大多數人在這個階段并沒有步入大學，能長期使用智能設備的比例不會很高，這部分人群數量較少是必然的。 總的來說，年輕人明顯更喜歡音樂，愛用網易云音樂這款app。

網易云音樂的主體活躍用戶是當下的大學生與年輕人，廣大青少年都是潛在活躍用戶。

Vip Ratio從直覺上是隨著年齡的增大而增大的，年齡越大，消費能力越強，購買VIP的比例也就越高。 簡單計算一下Vip Ratio與Age的相關系數：相關系數約0.83，可以認為Vip Ratio與Age強相關。

用戶Level分布以7級為中心，等級越高付費意愿越強，10級用戶都是聽歌鬼才。

將Level屬性與平均聽歌數聚合可以得知每個等級的用戶的聽歌數的平均值，隨著等級增長對應的聽歌數呈指數級上升，10級的用戶都是魔鬼，聽歌數達到了25k。（music count是去重的，意味著單曲循環一首歌這個數值不會增長）

將Level屬性與用戶數量聚合，同時計算Vip比例可以得知主流用戶還是Level 6、7、8這三個群體。 隨著Level的上升Vip的比例有著明顯的上升趨勢，Level10的用戶購買黑膠會員的比例達到了44%，說明用戶粘度的上升會促進用戶去購買Vip。 此外對比自己的數據，確認數據無誤。

維吾爾族用戶占據半壁江山，經濟發達地區用戶付費意愿強。

按照用戶所在地以及Vip比例將數據可視化，從用戶數量來看前三全部被新疆地區包攬。 其余部分熱門的北上廣深各大城市均在榜單。 而付費比例則是經濟越發達的地區付費比例更高，結合年齡越大付費比例越高，意味著付費比例和消費能力相關密切。

讓人匪夷所思的是新疆用戶居然幾乎占據了半壁江山。 這個維度的數據其實是比較可靠的，因為app的默認設置是用戶設備的定位地，從用戶習慣上來看也很少會有人費力氣去改一個虛假的地址。

隨意抽取一個新疆地區的用戶驗證，進行不負責任的分析：新疆的用戶由于語系不是漢語，維吾爾族人居多，音樂文化也與華語圈完全不同，他們有著自己獨特亞文化音樂，維語歌曲、俄語歌曲才是維吾爾族的人所普遍接受的。

在這種前提下網易云音樂這個依靠推薦算法建立社交的平臺完美的滿足了這一小眾音樂的需求，相對QQ音樂資本為王的方式，在網易云這個小而美的平臺上維族人能更容易的找到自己喜愛的歌。

同時也可以從維吾爾族人這一典型用戶群體來分析一下網易云主流用戶的特征：有著自己對音樂的判斷，喜歡一些較為小眾的音樂風格，這一點和聽acg，聽古典，聽民謠是共通的。

但是假定這一判斷是正確的情況下，在音樂文化游離于主流音樂體系之外的地區、國家，網易云音樂app有著非常獨特的潛力。 并且可以聯想到的是在很多的海外小國家，都有著自己獨特的音樂與文化，在這樣的市場里面網易云是不是有著獨特的優勢。

由于維族人的粉絲與關注對象大多數都是維族人，關聯度很高，而爬蟲在爬取數據的時候是根據這兩個列表進行的廣度優先搜索，所以前期的誤差可能會被放大，在地區這個維度上數據也確實有可能存在誤差。

結合現有的數據來看，網易云的主流用戶群即：廣大20歲左右，有著對獨特風格的音樂偏好，且長期使用網易云、擁有較高的賬號等級的人群。 而黑膠會員在擁有較強消費能力的用戶與高粘度用戶中比例較大。

音樂是一個年輕人市場，利用自己的優勢想辦法留住年輕人，幫助真正有才華、有溫度的年輕歌手建立出自己的口碑，讓年輕人與優秀的音樂對話的網易云音樂，才是那個有溫度的APP。

其次網易云音樂在亞文化地區中的威力不容小覷，國外應該存在許多有著自己獨特音樂文化的小國，或許往這個方向發力不失為一個不錯的選擇。

怎么用爬蟲獲取音樂

近年來，隨著互聯網技術的不斷發展，越來越多的人開始使用爬蟲來獲取音樂。 通過爬蟲獲取音樂，不僅可以免費獲取大量的音樂資源，還可以快速地找到自己喜歡的音樂。 下面我們來介紹一下如何用爬蟲獲取音樂。 首先，我們需要選擇一個合適的網站。 目前市面上有很多音樂網站，如酷狗音樂、網易云音樂、QQ音樂等。 我們可以根據自己的喜好選擇一個合適的網站。 接著，我們需要了解一些基本的爬蟲知識。 爬蟲是一種自動化獲取網頁信息的工具，可以模擬人類操作，自動抓取網頁上的信息，并進行處理和分析。 在使用爬蟲時，我們需要了解網頁的結構和編碼方式。 然后，我們需要選擇一個合適的編程語言。 目前常用的編程語言有Python、Java、JavaScript等。 其中，Python是最為流行的語言之一，因為它簡單易學、功能強大、支持多種操作系統，并且有豐富的第三方庫和工具。 最后，我們需要編寫爬蟲程序。 在編寫爬蟲程序時，我們需要根據網頁的結構和編碼方式，使用相應的爬蟲框架和庫。 例如，使用Python中的requests庫和BeautifulSoup庫可以輕松地獲取網頁信息，并提取出我們需要的音樂鏈接。 需要注意的是，在使用爬蟲獲取音樂時，我們需要遵守相關法律法規，不得侵犯他人的版權和隱私。 另外，我們還需要注意數據的安全和保護，避免泄露個人信息和數據。 綜上所述，使用爬蟲獲取音樂可以幫助我們快速地獲取大量的音樂資源，但是也需要我們遵守相關法律法規和保護數據安全。

如何提取音頻

如何提取網站上的音頻?

提取網絡中的音頻的方法步驟：打開瀏覽器，點擊“工具”→“Internet選項”。 在打開的“Internet選項”窗口中，點擊“Internet臨時文件”→“刪除文件”按鈕，來消除Internet臨時緩存文件夾。

首先我們先打開一個帶有音頻的網頁。 然后我們選擇開發者工具。 接著我們選擇刷新下網頁。 點擊其中的【Network】。 在【Filter】填mp3，把音頻文件的鏈接搜出來。 雙擊鏈接，進入單獨音頻界面。

首先，打開一個播放音頻的頁面，這里以Chrome下的網絡音樂為例。 其次，按下F12，進入開發者模式按F5刷新，在開發者選項中找到Network點擊在Network選項卡上點擊Size一般來說最大的文件就是音頻文件。

第一步：打開工將網頁中的音樂準備好，接著將工具打開到界面，可以先試著簡單的了解一下。

可以用爬蟲軟件進行下載，或者使用錄屏軟件錄取聲音，在對錄制的文件進行聲音提取。

錄制。 就是搞個軟件把電腦當前的聲音給錄下來。 保存網頁，在文件菜單中點保存，到保存目錄下面會出現一個這樣一個文件夾，里面應該有。 網頁抓取工具。

怎么把的音樂提取出來

錄音：這是最簡單粗暴的方法了，無論是電腦上的視頻還是手機里的視頻，都可以通過錄音的方法錄制背景音樂。

可以使用音頻器提取軟件來提取音樂，首先保存抖音上想要提取音樂的視頻。 打開音頻提取器，點擊加號按鈕，選擇保存的視頻。 點擊向下的三角圖標，點擊輸出格式，選擇mp3格式就可以提取音樂了。

把抖音的音樂提取出來的方法如下：首先打開抖音，點擊右下角的分享按鈕，點擊保存本地，將視頻下載到手機里。 在手機里下載個音頻提取器，然后打開音頻提取器，點擊右上角的+按鈕。

我們可以直接在此目錄下找到已經提取的音頻文件。 采用APP識別歌曲首先打開手機qq音樂主界面，選擇-發現-聽歌識曲。

方法如下：操作工具：vivoX9操作系統：FuntouchOS127軟件：抖音v2首先用戶打開抖音APP程序，找到自己需要下載背景音樂的視頻，點擊視頻的分享按鈕。

怎么提取視頻中的音頻?

選中視頻，點開【格式】，選擇格式，輕擊【保存】，輸入音頻名字，點擊【確認】即可；打開【視頻格式轉換工廠】，選中【音頻提取】，選擇視頻，輕擊【完成】即可。

下載并打開“嗨格式視頻轉換器”，點擊首頁“音頻提取”，進入對應功能界面；進入音頻提取功能頁后點擊“添加文件”上傳需要視頻文件；點擊“轉換”或“全部轉換”即可。

首先打開手機上的音頻提取軟件。 選擇“音頻提取”功能。 選擇你想要提取音頻的視頻文件。 選擇你想提取的音頻格式，我們常用的是mp3格式，還有其他格式也可以試試，選好格式后，點擊“提取音頻”。

首先將視頻保存到手機上，打開這款工具，在首頁找到【音頻提取】功能。 隨后進入手機相冊，找到保存的視頻，進行勾選，再點擊【下一步】。 等待片刻，就能將視頻里的音頻分離出來了，處理速度非?？欤c擊播放試聽。

如何把視頻的音頻提取出來

1、把提前備好的視頻文件通過點擊左上角的【添加文件】藍色按鈕，快速的導入軟件中，準備提取工作；該軟件工作效率很高，支持批量添加和轉換；為保證提取音頻的播放，我們選擇設置轉換的格式為兼容性較好的【mp3】音頻格式。

2、首先打開手機上的音頻提取軟件。 選擇“音頻提取”功能。 選擇你想要提取音頻的視頻文件。 選擇你想提取的音頻格式，我們常用的是mp3格式，還有其他格式也可以試試，選好格式后，點擊“提取音頻”。

3、首先將視頻保存到手機上，打開這款工具，在首頁找到【音頻提取】功能。 隨后進入手機相冊，找到保存的視頻，進行勾選，再點擊【下一步】。 等待片刻，就能將視頻里的音頻分離出來了，處理速度非?？?，點擊播放試聽。

4、推薦方法一：提詞全能王（APP端）提詞全能王是我個人經常使用的一款手機軟件。 它的功能豐富多樣，不僅能夠幫助我們實現邊拍攝邊提詞的操作，還能夠幫助我們很好地處理圖片和視頻。

5、首先，打開手機上面的剪映，并點擊進入。 進入到剪映的界面，點擊上方的“＋”號，導入需要制作的視頻。 點擊視頻，在下方的找到音頻，并點擊進入，找到提取音樂點擊。

在國外怎么用蘋果手機看國內的電視??？

可以使用unblockcn 這個app進行觀看，需要進行下載安裝，具體步驟如下：

1、用safari瀏覽器進入unblockcn官網，點擊”iphone/ipad“進行下載。

2、點擊“下載安裝”。

3、打開UNBLOCKCN app，點擊”用戶中心“注冊會員賬號，賬號必須是郵箱的格式，如果之后忘記UNBLOCKCN密碼，可通過郵箱找回。

4、登錄賬號，在“用戶中心”中，選擇“開通會員”，成為UNBLOCKCN會員。

5、會員套餐月/季/年三種可供選擇。

6、開通會員之后，因為系統存在延時的可能，故需要退出UNBLOCKCN會員賬號，然后重新登錄，重新登錄了之后，需要點擊”線路選擇“，這時會出現8條線路可供選擇，可以任意選擇其中一條完成解鎖。

7、然后將iphone手機的無線局域網按鈕關閉，并重新打開。

8、最后打開safari瀏覽器，搜索想要觀看的視頻站，這樣就可以無障礙的在國外看國內的電視劇等視頻了。

如何利用Python爬取網易云音樂熱門評論

本篇文章給大家分享的內容是如何利用Python爬取網易云音樂熱門評論，有著一定的參考價值，有需要的朋友可以參考一下前言最近在研究文本挖掘相關的內容，所謂巧婦難為無米之炊，要想進行文本分析，首先得到有文本吧。 獲取文本的方式有很多，比如從網上下載現成的文本文檔，或者通過第三方提供的API進行獲取數據。 但是有的時候我們想要的數據并不能直接獲取，因為并不提供直接的下載渠道或者API供我們獲取數據。 那么這個時候該怎么辦呢？有一種比較好的辦法是通過網絡爬蟲，即編寫計算機程序偽裝成用戶去獲得想要的數據。 利用計算機的高效，我們可以輕松快速地獲取數據。 關于爬蟲那么該如何寫一個爬蟲呢？有很多種語言都可以寫爬蟲，比如Java，php,python 等，我個人比較喜歡使用python。 因為python不僅有著內置的功能強大的網絡庫，還有諸多優秀的第三方庫，別人直接造好了輪子，我們直接拿過來用就可以了，這為寫爬蟲帶來了極大的方便。 不夸張地說，使用不到10行python代碼其實就可以寫一個小小的爬蟲，而使用其他的語言可以要多寫很多代碼，簡潔易懂正是python的巨大的優勢。 好了廢話不多說，進入今天的正題。 最近幾年網易云音樂火了起來，我自己就是網易云音樂的用戶，用了幾年了。 以前用的是QQ音樂和酷狗，通過我自己的親身經歷來看，我覺得網易云音樂最優特色的就是其精準的歌曲推薦和獨具特色的用戶評論（鄭重聲明?。?！這不是軟文，非廣告?。?！僅代表個人觀點，非喜勿噴?。?。 經常一首歌曲下面會有一些被點贊眾多的神評論。 加上前些日子網易云音樂將精選用戶評論搬上了地鐵，網易云音樂的評論又火了一把。 所以我想對網易云的評論進行分析，發現其中的規律，特別是分析一些熱評具有什么共同的特點。 帶著這個目的，我開始了對網易云評論的抓取工作。 網絡庫Python內置了兩個網絡庫urllib和urllib2，但是這兩個庫使用起來不是特別方便，所以在這里我們使用一個廣受好評的第三方庫requests。 使用requests只用很少的幾行代碼就可以實現設置代理，模擬登陸等比較復雜的爬蟲工作。 如果已經安裝pip的話，直接使用pip install requests 即可安裝。 中文文檔地址在此大家有什么問題可以自行參考官方文檔，上面會有非常詳細的介紹。 至于urllib和urllib2這兩個庫也是比較有用的，以后如果有機會我會再給大家介紹一下。 工作原理在正式開始介紹爬蟲之前，首先來說一下爬蟲的基本工作原理，我們知道我們打開瀏覽器訪問某個網址本質上是向服務器發送了一定的請求，服務器在收到我們的請求之后，會根據我們的請求返回數據，然后通過瀏覽器將這些數據解析好，呈現在我們的面前。 如果我們使用代碼的話，就要跳過瀏覽器的這個步驟，直接向服務器發送一定的數據，然后再取回服務器返回的數據，提取出我們想要的信息。 但是問題是，有的時候服務器需要對我們發送的請求進行校驗，如果它認為我們的請求是非法的，就會不返回數據，或者返回錯誤的數據。 所以為了避免發生這種情況，我們有的時候需要把程序偽裝成一個正常的用戶，以便順利得到服務器的回應。 如何偽裝呢？這就要看用戶通過瀏覽器訪問一個網頁與我們通過程序訪問一個網頁之間的區別。 通常來說，我們通過瀏覽器訪問一個網頁，除了發送訪問的url之外，還會給服務發送額外的信息，比如headers（頭部信息）等，這就相當于是請求的身份證明，服務器看到了這些數據，就會知道我們是通過正常的瀏覽器訪問的，就會乖乖地返回數據給我們了。 模擬登陸所以我們程序就得像瀏覽器一樣，在發送請求的時候，帶上這些標志著我們身份的信息，這樣就能順利拿到數據。 有的時候，我們必須在登錄狀態下才能得到一些數據，所以我們必須要模擬登錄。 本質上來說，通過瀏覽器登錄就是post一些表單信息給服務器（包括用戶名，密碼等信息），服務器校驗之后我們就可以順利登錄了，利用程序也是一樣，瀏覽器post什么數據，我們原樣發送就可以了。 關于模擬登錄，我后面會專門介紹一下。 當然事情有的時候也不會這么順利，因為有些網站設置了反爬措施，比如如果訪問過快，有時候會被封ip（典型的比如豆瓣）。 這個時候我們還得要設置代理服務器，即變更我們的ip地址，如果一個ip被封了，就換另外一個ip，具體怎么做，這些話題以后慢慢再說。 小技巧 最后，再介紹一個我認為在寫爬蟲過程中非常有用的一個小技巧。 如果你在使用火狐瀏覽器或者chrome的話，也許你會注意到有一個叫作開發者工具（chrome）或者web控制臺（firefox）的地方。 這個工具非常有用，因為利用它，我們可以清楚地看到在訪問一個網站的過程中，瀏覽器到底發送了什么信息，服務器究竟返回了什么信息，這些信息是我們寫爬蟲的關鍵所在。 下面你就會看到它的巨大用處。 如何爬取評論首先打開網易云音樂的網頁版，隨便選擇一首歌曲打開它的網頁，這里我以周杰倫的《晴天》為例。 如下圖：接下來打開web控制臺(chrome的話打開開發者工具，如果是其他瀏覽器應該也是類似)，如下圖：然后這個時候我們需要點選網絡，清除所有的信息，然后點擊重新發送(相當于是刷新瀏覽器),這樣我們就可以直觀看到瀏覽器發送了什么信息以及服務器回應了什么信息。 如下圖：刷新之后得到的數據如下可以看到瀏覽器發送了非常多的信息，那么哪一個才是我們想要的呢？這里我們可以通過狀態碼做一個初步的判斷，status code（狀態碼）標志了服務器請求的狀態，這里狀態碼為200即表示請求正常，而304則表示不正常（狀態碼種類非常多，如果要想詳細了解可以自行搜索，這里不說304具體的含義了）。 所以我們一般只用看狀態碼為200的請求就可以了，還有就是，我們可以通過右邊欄的預覽來粗略觀察服務器返回了什么信息（或者查看響應）。 如下圖：通過這兩種方法結合一般我們就可以快速找到我們想要分析的請求。 注意圖5中的請求網址一欄即是我們想要請求的網址，請求的方法有兩種：get和post，還有一個需要重點關注的就是請求頭，里面包含了user-Agent（客戶端信息），refrence（從何處跳轉過來）等多種信息，一般無論是get還是post方法我們都會把頭部信息帶上。 頭部信息如下圖：另外還需要注意的是：get請求一般就直接把請求的參數以 ？parameter1=value1?meter2=value2 等這樣的形式發送了，所以不需要帶上額外的請求參數，而post請求則一般需要帶上額外的參數，而不直接把參數放在url當中，所以有的時候我們還需要關注參數這一欄。 經過仔細尋找，我們終于找到原來與評論相關的請求在這個請求當中，如下圖：點開這個請求，我們發現它是一個post請求，請求的參數有兩個，一個是params，還有一個是encSecKey，這兩個參數的值非常的長，感覺應該像是加密過的。 如下圖：服務器返回的和評論相關的數據為json格式的，里面含有非常豐富的信息（比如有關評論者的信息，評論日期，點贊數，評論內容等等），如下圖9所示：（其實hotComments為熱門評論，comments為評論數組）至此，我們已經確定了方向了，即只需要確定params和encSecKey這兩個參數值即可，這個問題困擾了我一下午，我弄了很久也沒有搞清楚這兩個參數的加密方式，但是我發現了一個規律，中 R_SO_4_ 后面的數字就是這首歌的id值，而對于不同的歌曲的param和encSecKey值，如果把一首歌比如A的這兩個參數值傳給B這首歌，那么對于相同的頁數，這種參數是通用的，即A的第一頁的兩個參數值傳給其他任何一首歌的兩個參數，都可以獲得相應歌曲的第一頁的評論，對于第二頁，第三頁等也是類似。 但是遺憾的是，不同的頁數參數是不同的，這種辦法只能抓取有限的幾頁（當然抓取評論總數和熱門評論已經足夠了），如果要想抓取全部數據，就必須搞明白這兩個參數值的加密方式。 以為沒有搞明白，昨天晚上我帶著這個問題去知乎搜索了一下，居然真的被我找到了答案。 @平胸小仙女 這位知友詳細說明了如何破解這兩個參數的加密過程，我研究了一下，發現還是有點小復雜的，按照知友寫的方法，我改動了一下，就成功得到了全部的評論。 這里要對知乎@平胸小仙女 表示感謝。 到此為止，如何抓取網易云音樂的評論全部數據就全部講完了。 按照慣例，最后上代碼，親測有效：#!/usr/bin/env python2.7 # -*- coding: utf-8 -*- # @Time : 2017/3/28 8:46 # @Author : Lyrichu # @Email : # @File : NetCloud_ @Description: 網易云音樂評論爬蟲，可以完整爬取整個評論 部分參考了@平胸小仙女的文章來源：知乎 from import AES import base64 import requests import json import codecs import time # 頭部信息 headers = { , Accept-Language:zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3, Accept-Encoding:gzip, deflate, Content-Type:application/x-www-form-urlencoded, Cookie:_ntes_nnid=b04b121e078dee797cdb30e0fd,27; _ntes_nuid=b04b121e078dee797cdb30e0fd; JSessionID-WYYY=yfqt9ofhY%5CIYNkXW71TqY5OtSZyjE%2FoswGgtl4dMv3Oa7%5CQ50T%2FVaee%2FMSsCifHE0TGtRMYhSPpr20i%5CRO%2BO%2B9pbbJnrUvGzkibhNqw3Tlgn%5Coil%2FrW7zFZZWSA3K9gD77MPSVH6fnv5hIT8ms70MNB3CxK5r3ecj3tFMlWFbFOZmGw%5C%3A80; _iuqxldmzr_=32; vjuids=c8ca7976.15a029d006a.0.e63af8; vjlast=..21; __gads=ID=a9eed5e3cae4d252:T=:S=ALNI_Mb5XX2vlkjsiU5cIy91-ToUDoFxIw; vinfo_n_f_l_n3=411a2def7f75a62e.1.1.69.05.42; P_INFO=||1|study|00&99|null&null&null#hub #0#0|&1|study_client|; NTES_CMT_USER_INFO=%7Cm155****4439%7Chttps%3A%2F%%2Fe%%2Ftie%2Fimages%2Fyun%2Fphoto_default_%7Cfalse%7CbTE1NTI3NTk0NDM5QDE2My5jb20%3D; usertrack=c+5+hljHgU0T1FDmA66MAg==; province=027; City=027; _ga=GA1.2..; __utma=.....8; __utmc=; __utmz==baidu|utmccn=(organic)|utmcmd=organic; playerid=; __utmb=.23.10., Connection:keep-alive, Referer:}# 設置代理服務器 proxies= { http::https::}# offset的取值為:(評論頁數-1)*20,total第一頁為true，其余頁為false # first_param = {rid:, offset:0, total:true, limit:20, csrf_token:} # 第一個參數 second_param = # 第二個參數 # 第三個參數 third_param = 00e0b509f6259df8642dbcdfec152b5ff68ace615bb7bb3ab17a876aea8a5aa76d2eec4ee341ffccfe0312ecbdacaf6c9d05c4f7f0c3685b7a46beecce10b424d813cfe4875d3eb97ddefd546b8e289dc6935b3ece0462db0a22b8e7 # 第四個參數 forth_param = 0CoJUm6Qyw8W8jud # 獲取參數 def get_params(page): # page為傳入頁數 iv = first_key = forth_param second_key = 16 * F if(page == 1): # 如果為第一頁 first_param = {rid:, offset:0, total:true, limit:20, csrf_token:} h_encText = AES_encrypt(first_param, first_key, iv) else: offset = str((page-1)*20) first_param = {rid:, offset:%s, total:%s, limit:20, csrf_token:} %(offset,false) h_encText = AES_encrypt(first_param, first_key, iv) h_encText = AES_encrypt(h_encText, second_key, iv) return h_encText # 獲取 encSecKey def get_encSecKey(): encSecKey = aecb5e556c066de214e531faadd1c55d814f9be95fd06d6bff9f4c7a41f831f6394d5a3fd2ed94a02ca919de7d0a50ebfa1769a7a62d512f5f1ca21aec60bc3819a9c3ffca5eca9a0dba6d6f7249b06f5965ecfff3695b54e1c28f3fed39e7de08fce26dbc4484a01c76f739ec return encSecKey # 解密過程 def AES_encrypt(text, key, iv): pad = 16 - len(text) % 16 text = text + pad * chr(pad) encryptor = (key, _CBC, iv) encrypt_text = (text) encrypt_text = base64.b64encode(encrypt_text) return encrypt_text # 獲得評論json數據 def get_json(url, params, encSecKey): data = { params: params, encSecKey: encSecKey } response = (url, headers=headers, data=data,proxies = proxies) return # 抓取熱門評論，返回熱評列表 def get_hot_comments(url): hot_comments_list = [] hot_comments_(u用戶ID 用戶昵稱 用戶頭像地址 評論時間 點贊總數 評論內容) params = get_params(1) # 第一頁 encSecKey = get_encSecKey() json_text = get_json(url,params,encSecKey) json_dict = (json_text) hot_comments = json_dict[hotComments] # 熱門評論 print(共有%d條熱門評論! % len(hot_comments)) for item in hot_comments: comment = item[content] # 評論內容 likedCount = item[likedCount] # 點贊總數 comment_time = item[time] # 評論時間(時間戳) userID = item[user][userID] # 評論者id nickname = item[user][nickname] # 昵稱 avatarUrl = item[user][avatarUrl] # 頭像地址 comment_info = userID + + nickname + + avatarUrl + + comment_time + + likedCount + + comment + u hot_comments_(comment_info) return hot_comments_list # 抓取某一首歌的全部評論 def get_all_comments(url): all_comments_list = [] # 存放所有評論 all_comments_(u用戶ID 用戶昵稱 用戶頭像地址 評論時間 點贊總數 評論內容) # 頭部信息 params = get_params(1) encSecKey = get_encSecKey() json_text = get_json(url,params,encSecKey) json_dict = (json_text) comments_num = int(json_dict[total]) if(comments_num % 20 == 0):

---

---

相關標簽： qq音樂爬蟲下載文件、 QQ音樂爬蟲在音樂研究和探索中的應用、

上一篇：如何使用QQ音樂爬蟲創建自己的音樂庫如何使

下一篇：使用QQ音樂爬蟲提高你的音樂體驗使用QQ音樂