【C#】AngleSharpでWebスクレイピング

C#でwebスクレイピング

C#の勉強がてらwebスクレイピングでもやってみようと思い、ちょっとやってみたので保存用に書き留めておきます。

C#でのWebスクレイピングは.NETのフレームワーク郡でもできるみたいだが、「AngleSharp」というのを使えば、もっと短いコードでwebスクレイピングができるらしく試してみた

実行環境

・VisualStudioCommunity2019

・.Netframework4.7.1

AngleSharpのインストール

AngleSharpでいざWebスクレイピング

とりあえず自分のサイトのスクレイピング。ヤフーファイナンスとかでもいいかなと思ったけど、あそこはスクレイピングにはうるさいので、とりあえず自分のサイトにしてみた

# ライブラリの呼び出し
using System;
using System.Linq;
using System.Collections.Generic;
using System.IO;
using System.Text;
using System.Net;
using System.Text.RegularExpressions;
using AngleSharp;

# 名前空間の定義
namespace Sample
{
    # クラスの定義
    public class Program
    {
        static void Main(string[] args)
        {
            // スクレイピング先のURLの定義
            var htmlUrl = $"https://tkstock.site/2019/10/17/anglesharp-cs-scraping/";
          
            // Sectorの定義
            var querySelector = $"#post-3909 > article > header > h1";

            // HTMLドキュメントの取得
            var document = BrowsingContext.New(Configuration.Default.WithDefaultLoader()).OpenAsync(htmlUrl).Result;

            // クエリセレクタでデータの取得
            var element = document.QuerySelector(querySelector);
            // デバック画面で確認
             Console.WriteLine($"blogtitle is {element.InnerHtml}");
         }
     }
}

最後のSystem.Console.WriteLine();はPythonのprint、javascriptのconsole.log,Cのprintfみたいなデバック関数。これを入れることでデバック(なし)実行したときにコンソール画面にスクレイピングした結果が表示される。

やってみた感じPythonのrequestsとBeautifulSoupでのスクレイピングに近くモダンといえばモダンだなという感じ。

参考:https://emergingtechnology.azurewebsites.net/2018/05/30/scraping/

関連記事:PythonでのWebスクレイピングには「requests」がめっちゃ便利という話

関連記事:【Python】「Beautiful Soup」でスクレイピングしたhtmlデータを解析する

関連記事:【Python】スクレイピングした価格データをデータベース(DB)に保存する

プログラミングの独学はとても難しい


プログラミングは小学校の義務教育にも導入され始めており、これから社会人として生きていく上でプログラミングはもはや出来て当たり前、出来なれば論外というエクセルレベルの必須スキルになりつつあります。そしてそういう話を聞いて参考書なりを購入して独学でプログラミング勉強しようと思っている人も少なくないでしょう。しかしプログラミングを独学で勉強し始めようと思うものの



・「分からない箇所で詰まって挫折してしまった」

・「勉強する時間が足りない」

・「ネットの記事だと情報が断片的でよくわからない」

・「コードのエラーの原因が分からない」



という壁にぶち当たって、プログラミングの勉強を止めてしまう方が少なくありません。独学でプログラミングを勉強してる時間のほとんどはつまづいている時間です。実際僕も最初のころ独学でプログラミングを勉強していた頃はエラーの原因が分からず丸1日を不意にしてしまった・・・そんな苦い経験がありました。それで僕は一度はプログラミングの学習を諦めてしまいましたが、就活で現実を知る中で



「プログラミングを勉強して、いずれフリーランスとして自由な生き方がしたい」

「エンジニアとして若いうちから高収入を得たい」



という強い気持ちから一念発起して「侍エンジニアのwebサービスコース」に申し込み、プロのエンジニアの方に対面でマンツーマンでPythonによるWebサービス作り方とWeb技術の基本を教えてもらい、ようやくプログラミングが理解でき、今ではエンジニアとしてそこそこの暮らしができるようになりました。





侍エンジニアでは、とりあえずプログラミングやインターネットの基本を知っておきたい人から、HTML・cssなどでWebサイトやWebアプリを作ってみたい人やPythonを勉強してデータサイエンティストやAIエンジニアになりたい人まで幅広いニーズに応えた様々なコースが用意されています。



IT業界と言ってもエンジニアの仕事はプログラミング言語次第でサーバーから機械学習・ディープラーニングまで多種多様ですし、侍エンジニアの無料レッスン(カウンセリング)を受けてみて、自分のやりたいITの仕事は何なのか?を見つけるのがエンジニアへの第一歩になります。ちなみに今侍エンジニアの無料レッスンを受けると1000円分のAmazonギフト券がもらえるので、試しに受けてみるだけもお得です。


自分は半端に独学やオンラインスクールで勉強して金と時間を無駄にするくらいなら、リアルのプログラミングスクールに通ってしっかりプログラミングを勉強した方がいいと思います。ちなみに今、侍エンジニアに申し込むと、25歳以下の学生の方であれば、受講料が20%OFFになるので超お得です。


そして、プログラミングは大勢で授業を受けたり漫然とオンライン学習をするよりも自分が分からない箇所をピンポイントでプロの講師に直接質問して、ちゃんと納得するというスタイルの方がお金は確かに少し掛かりますが、独学で学ぶよりも絶対にモノになります。


シェアする

  • このエントリーをはてなブックマークに追加

フォローする

   侍エンジニア塾       
侍エンジニアの無料体験レッスンを予約する -->