[.NET] HTML Parser --HTML Agility Pack

HTML Agility Pack 提供了用XPath去分析 html的結構的功能
用於要抓網站資料的時候很有用

下面是用 HTML Agility Pack以Xpath的語法去抓yahoo股市資料的code


 Dim client As New WebClient()

 Dim sr As Stream = client.OpenRead("http://tw.stock.yahoo.com/q/q?s=2409")

 Dim doc As New HtmlAgilityPack.HtmlDocument()

 doc.Load(sr, System.Text.Encoding.GetEncoding("big5"))

 Dim nodes As HtmlAgilityPack.HtmlNodeCollection = doc.DocumentNode.SelectNodes("/html/body/center/table[2]/tr/td/table/tr[2]/td")

 If nodes IsNot Nothing Then

      For Each node As HtmlAgilityPack.HtmlNode In nodes

           Console.WriteLine(node.InnerText.Trim())

      Next

 End If

 Console.ReadLine()

Xpath 的語法可以參考XPath Tutorial

sample on MSDN

Download HTML Agility Pack

留言

這個網誌中的熱門文章

[WEB]連線 HTTPS 網站發生驗證失敗導致基礎連接已關閉

某支透過 WebClient 物件去呼叫第三方API的程式，突然有天無法使用經過測試出現下列的錯誤基礎連接已關閉: 傳送時發生未預期的錯誤。 InnerException : 驗證失敗，因為遠端群體已經關閉傳輸資料流。原來是第三方的服務已經不支援 TLS 1.0 我方的程式是用.net Framework 4.0開發了得強制讓webclient改用 TLS 1.1 或 TLS 1.2 感謝黑大提供解決方法在程式中加入 ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12 的設定就解決了這個問題 WebClient wc = new WebClient(); ServicePointManager.SecurityProtocol = SecurityProtocolType.Ssl3 | SecurityProtocolType.Tls | SecurityProtocolType.Tls11 | SecurityProtocolType.Tls12; 參考資料：暗黑執行緒

閱讀完整內容

[SQL] SQL依照你的排序條件找出目前資料的前一筆與下一筆。 Find Pre and Next DataRows of current Datarow by your order condition

有時候需要用SQL找出前一筆跟後一筆資料用SQL的TOP是沒有辦法做到這個時候就可以這個語法 select * from ( SELECT TOP 1 * FROM [Article] where Poid {CurrentPoid} order by CreateDate ASC) t2 找出目前PK id前一個與後一個的資料（依照想要排序順序）那如果指示想要一個資料行呈現的話可以改用下面的SQL語法讓這兩筆資料join在同一筆 select Pre.*,Nex.* from (SELECT TOP 1 * ,1 tID FROM [dbo].[Article] where Poid {CurrentPoid} order by CreateDate ASC) Nex on Pre.tID=Nex.tID

閱讀完整內容

[IIS]IIS - ASP.NET 網站基本優化設定 --筆記

運行 ASP.NET 基本上都是掛載在 IIS 上面，但 IIS 預設的設定，並不適合 24 小時不中斷的營運系統。如果沒有適當的調整，可能會造成使用者的感受不佳，而你又偏偏不會遇到。本篇將介紹 IIS 運行 ASP.NET 網站的基本優化設定。應用程式集區打開 IIS 管理員，到應用程式集區，選擇網站後，開啟進階設定： 1. 一般 (General) 佇列長度 (Queue Length) 預設值是 1000 ，當封包數量在同一時間到達該指定值，之後的 Request 都會變成 HTTP Status 503 Service Unavailable。例：當有同時間有 1001 個 Request 一起送到 IIS，第 1001 個 Request 會直接回傳 503，不會進到 ASP.NET 處理。也不是無限大就好，也是要看伺服器等級。假設調成 10000，也真的有同時 10000 的量，可能會演變成 CUP High 的問題。因此，這個欄位沒有建議值，網站封包量很大才有需要調整這個欄位。啟動模式 (Start Mode) 預設值是 OnDemand ，當網站執行回收後，會等到第一個 Request 進來，IIS 才會把網站啟動。所以第一個連上來的使用者會等到比較久的時間，ASP.NET 初始化完成後，使用者才會得到回應。建議設定成 AlwaysRunning ，當網站執行回收後，IIS 就會直接啟動 ASP.NET。 2. 回收 (Recycling) 固定時間間隔 (Regular Time Interval) 預設值是 1740 ，也就是每隔 29 小時 IIS 就會把該網站重啟。很可能重啟當下使用者正在操作，對於要 24 小時不中斷的系統來說，這真的是很不妥當的事情。如果 ASP.NET 的 Session Mode 是用 InProc，網站重啟使用者就全被登出了。建議設定成 0 ，也就是關閉定期重啟網站的設定。如果網站真的需要定期重啟，可以在特定時間 (Specific Times) 設定，固定每天哪些離峰時間做重啟的動作。 3. 快速失敗保護 ...

閱讀完整內容

Maxwell Tech Note

搜尋此網誌