<button id="2ddn7"><acronym id="2ddn7"></acronym></button>

<button id="2ddn7"><acronym id="2ddn7"></acronym></button>

  • <button id="2ddn7"><object id="2ddn7"></object></button>
      1. <s id="2ddn7"></s>
        更多課程 選擇中心


        Python培訓

        400-111-8989

        Python網絡爬蟲四大選擇器(正則表達式、BS4、Xpath、CSS)總結

        • 發布:Python進階者
        • 來源:Python爬蟲與數據挖掘
        • 時間:2018-01-25 14:11

        前幾天小編連續寫了四篇關于Python選擇器的文章,分別用正則表達式、BeautifulSoup、Xpath、CSS選擇器分別抓取京東網的商品信息。今天小編來給大家總結一下這四個選擇器,讓大家更加深刻的理解和熟悉Python選擇器。

        一、正則表達式

        正則表達式為我們提供了抓取數據的快捷方式。雖然該正則表達式更容易適應未來變化,但又存在難以構造、可讀性差的問題。當在爬京東網的時候,正則表達式如下圖所示:

        此外 ,我們都知道,網頁時常會產生變更,導致網頁中會發生一些微小的布局變化時,此時也會使得之前寫好的正則表達式無法滿足需求,而且還不太好調試。當需要匹配的內容有很多的時候,使用正則表達式提取目標信息會導致程序運行的速度減慢,需要消耗更多內存。

        二、BeautifulSoup

        BeautifulSoup是一個非常流行的 Pyhon 模塊。該模塊可以解析網頁,并提供定位內容的便捷接口。通過'pip install beautifulsoup4'就可以實現該模塊的安裝了。

        使用 BeautifulSoup的第一步是將己下載的 HTML 內容解析為 soup文檔。由 于大多 數網 頁都不具備良好的HTML 格式,因此BeautifulSoup需要對實際格式進行確定。

        BeautifulSoup能夠正確解析缺失的引號并閉合標簽,此外還會添加<html >和<body>標簽使其成為完整的HTML文檔。通常使用find() 和find_all()方法來定位我們需要的元素。

        如果你想了解BeautifulSoup全部方法和參數,可以查閱BeautifulSoup的官方文檔。雖然BeautifulSoup在代碼的理解上比正則表達式要復雜一些,但是其更加容易構造和理解。

        三、Lxml

        Lxml模塊使用 C語言編寫,其解析速度比 BeautiflSoup更快,而且其安裝過程也更為復雜,在此小編就不贅述啦。XPath 使用路徑表達式在 XML 文檔中選取節點。節點是通過沿著路徑或者 step 來選取的。

        使用 lxml 模塊的第一步和BeautifulSoup一樣,也是將有可能不合法的HTML 解析為 統一格式。 雖然Lxml可以正確解析屬性兩側缺失的引號,并閉合標簽,不過該模塊沒有額外添加<html >和<body>標簽 。

        在線復制Xpath表達式可以很方便的復制Xpath表達式。但是通過該方法得到的Xpath表達式放在程序中一般不能用,而且長的沒法看。所以Xpath表達式一般還是要自己親自上手。

        四、CSS

        CSS選擇器表示選擇元素所使用 的模式。BeautifulSoup整合了CSS選擇器的語法和自身方便使用API。在網絡爬蟲的開發過程中,對于熟悉CSS選擇器語法的人,使用CSS選擇器是個非常方便的方法。

        下面是一些常用的選擇器示例。

        選擇所 有標簽: *

        選擇<a>標 簽: a

        選擇所有class=”link” 的元素: .l in k

        選擇 class=”link” 的<a>標簽: a.link

        選擇 id= " home ” 的<a>標簽: a Jhome

        選擇父元素為<a>標簽的所有< span>子標簽: a > span

        選擇<a>標簽內部的所有<span>標簽: a span

        選擇title屬性為” Home ” 的所有<a>標簽: a [title=Home]

        五、性能對比

        lxml 和正則表達式模塊都是C語言編寫的,而BeautifulSoup則是純Python 編寫的。下表總結了每種抓取方法的優缺點。

        需要注意的是。lxml在內部實現中,實際上是將CSS選擇器轉換為等價的Xpath選擇器。

        六、總結

        如果你的爬蟲瓶頸是下載網頁,而不是抽取數據的話,那么使用較慢的方法(如BeautifulSoup) 也不成問題。如果只需抓取少量數據,并且想要避免額外依賴的話,那么正則表達式可能更加適合。不過,通常情況下,l xml是抓取數據的最好選擇,這是因為該方法既快速又健壯,而正則表達式和BeautifulSoup只在某些特定場景下有用。

        本文內容轉載自網絡,本著傳播與分享的原則,來源/作者信息已在文章頂部表明,版權歸原作者所有,如有侵權請聯系我們進行刪除!

        預約申請免費試聽課

        填寫下面表單即可預約申請免費試聽!怕錢不夠?可就業掙錢后再付學費! 怕學不會?助教全程陪讀,隨時解惑!擔心就業?一地學習,可全國推薦就業!

        上一篇:Python局部變量和全局變量6個知識點
        下一篇:[python]函數、類、多線程、BS架構

        Python中類的屬性有哪幾種

        Python語法你知道多少

        Python 中常見的配置文件寫法

        Python爬蟲可以做什么

        • 掃碼領取資料

          回復關鍵字:視頻資料

          免費領取 達內課程視頻學習資料

        • 視頻學習QQ群

          添加QQ群:1143617948

          免費領取達內課程視頻學習資料

        Copyright ? 2021 Tedu.cn All Rights Reserved 京ICP備08000853號-56 京公網安備 11010802029508號 達內時代科技集團有限公司 版權所有

        選擇城市和中心
        黑龍江省

        吉林省

        河北省

        湖南省

        貴州省

        云南省

        廣西省

        海南省

        青青青草网站免费观看|青青青视频在线观看 超真实强奷视频在线看 百度 好搜 搜狗
        <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>