Web Scraping ~screen scraping, data parsing and other related things~
この記事では、google reCaptcha v2.0を解決するための2captchaサービスへの自動接続のコードを示したいと思います。ずいぶん前、googleはユーザー行動reCaptcha（v2.0）を大幅に複雑化しました。このオンラインサービスは、それを解決する方法を提供します。
このサービスが使用する簡単なアルゴリズムは次のとおりです。
ターゲットサイトの公開資格情報（recaptchaの「サイトキー」、サイトURL、オプション：プロキシIP）は、お客様（クライアント）によってコピーされ、2captchaサービスに送信されます。シンプルなWeb開発ツールを使用してそれらを見つけることができます。
サービス終了時の作業者は、提供された資格情報でreCaptchaを解決します。
トークンとして回答を要求し ます。
このトークンは、recaptchaでターゲットサイトフォームの内部で使用 します。
注意：これらのすべての手順は、HTTPのGETおよびPOSTリクエストだけでブラウザを真似せずに行うことができます。
説明の目的のために、我々はrecaptchaでテストの場を作った。
資格情報を取得する
2captchaサービスでは、次のパラメータを提供する必要があります。
リクエストパラメータ 値
キー SERVICE_KEY（2つのキャプチャサービスキー）
googlekey g-recaptchaブロック要素のdata-sitekey属性値
ページング http://testing-ground.scraping.pro/recaptcha（recaptchaを使用したターゲットページのURL）
方法 userrecaptcha
今度はサイトのページに行き、Web開発ツールのrecaptcha htmlコードを調べます（F12を押す）。g-recaptchaブロックでdata-sitekey属性値 を見つけて取得し ます。その値は、単一のサイトの定数です 。googleが提供するsite_key値です。下のショットに青で強調表示されている値を参照してください。2captcha-get-site-key
それを選択して右クリックしてコピーします。
これでgooglekey パラメータ（サイトのGoogle サイトキー ）を取得しました 。
次のリクエストのSERVICE_KEYは、2captchaアカウント設定から取得されます。
recaptchaソリューションのリクエストを処理するために提出する
上記のパラメータを使用して、2captchaサービス（in.phpエンドポイント）に対してGETまたはPOSTリクエストを行います。
Googleのトークンをフォームに送信する
これで、g-recaptcha-responseトークンを使用してフォームを送信します。
ターゲットサイト（サーバー側）で、このトークンがチェックされます。サイトのスクリプトは、 g-recaptcha-responseトークンの有効性を確認する要求をgoogleに送信します。それが真であるかどうかは、そのサイトに関係しているかどうかなどです 。Captchaのテスト場では、このトークンはフォームの提出前にチェックされます。これは、ためにアヤックス（XHR）リクエストを通じてトークンを渡すことによって行われますproxy.php今度は、グーグルの問い合わせは、サイトが確認され、Googleの応答を返している場合ています。
「Anti-Captcha」における利用したいサービス3選
「Anti-Captcha」とは？
サービスを利用する際やアカウント作成時に、ユーザーとロボットを識別するための選定をすることを指します。
テキストキャプチャだけではなく、グラフィックキャプチャ等も使用することで信憑性を向上しています。
利用したいサービス1位：2captcha.com
「2captcha」とは、グーグルの google reCaptcha v2.0 を解決するためのサービスです。
グーグルは、以前からユーザーの行動に関して大幅な複雑化をはかりました。そのような変化に対して、それを改善するためのオンラインサービスが「2captcha」になります。
「2captcha」サービスが使用する簡単なアルゴリズム
1. recaptchaの「サイトキー」、サイトURL、オプション：プロキシIP）は、ユーザーによりコピーされ2captchaサービスに送信されます。
2. サービス終了時にユーザーは、提供された情報によりreCaptchaを解決します。
3. 10秒から30秒後にg-recaptcha-responseトークンとして回答を要求します。
4. このg-recaptcha-responseトークンは、recaptchaでターゲットサイト[submit]フォームの内部で使用します。
「2captcha」：https://2captcha.com/about-2captcha
オンラインで captcha を解決する自動キャプチャ認識サービス
キャプチャは、入力するテキストや、画像の中から条件に合ったものだけを選択する認識サービスです。
ユーザーがロボットでないことを確認するためには、すべて行う必要があります。
2captchaは、多くのキャプチャをリアルタイムで認識する必要がある顧客と、キャプチャを認識してお金を稼ぐ労働者をつなぐために作られています。
・「2captcha」は、顧客のために
2captchaは、任意のcaptchaを認識することができます。最大10 000個のcaptchaを認識できるので、膨大な量にも対応します。
・「2captcha」は、労働者のために
厳しい要件を満たしたフルタイムの仕事ではなく、自由な時間に何らかの追加収入を得ることが出来ます。
利用したいサービス2位：de-captcher.com
「de-captcher.com」は、インターネット上で最も古い画像からテキストへのサービスです。これは、人間ベースのOCRベースのカスタムOCRです。WebMoneyやBitcoinなどの超プライベートの支払いオプションを提供しています。大量の顧客にはボーナスがあります。正しく解決されたCAPTCHAのみが支払われます。
数学のCAPTCHA
従来のテキストや数学のCAPTCHAをDeCaptcherでバイパスすることはできません。テキスト、画像、複数の画像の両方のキャプチャを送信できます。DeCaptcher APIをチェックしてください - あなたが選んだプログラミング言語のソースでAPIを見つけることができます。
ハードキャプチャ認識
関心のあるCAPTCHAが複雑であるか、または迅速な認識が必要な場合は、必要に応じてOCRを作成するのが面白いかもしれません。顧客は自分の履歴を確認することができ、便利なExcel形式でダウンロードできます。あなたはあなたが費やしたすべてのペニーを確認することができます。
利用したいサービス3位；deathbycaptcha.com
CAPTCHAソルバーバイパスサービス。CaptchaのDeathによってCAPTCHAを解決することができます。私たちのAPIを実装し、あなたのCAPTCHAを渡すだけで、テキストが返されます。
・1,000個の解決されたCAPTCHAのための1.39ドルの驚くべき低価格（ゴールドメンバーのための$ 0.99 ！）から始まります。
・市場で最も高度なOCRシステムと、24時間365日のCAPTCHAソルバーチームで構成されたハイブリッドシステム。
・11秒の平均応答時間と、90％以上の平均正解率。そして、あなたはCAPTCHAだけを正しく解決するために常にお金を払っています！
・ほとんどの一般的なプログラミング言語で使用できる使いやすいAPI。
・DeCaptcherと Antigate（Anti-Captcha） APIのサポートにより、Captchaによる Death Byへの移行を可能な限り簡単に行うことができます。
・Token（recaptcha v2） APIサポートによる新しいreCAPTCHA / noCAPTCHA！
予測する米国のITトレンド
テクノロジー: 【2018年】ITの最新トレンド10大予測
テクノロジー
【2018年】ITの最新トレンド10大予測
Guest Contributor 1714 Shares Guest Contributor
2017年9月30日～10月5日にフロリダ州オーランドで開催されたGartner Symposium/ITxpo 2017にて、2018年注目のトレンドが発表されました。今回は発表されたTop 10 Strategic Predictions for 2018 and Beyondをもとに今後の注目すべきITトレンドについて解説していきます。
Gartner Symposium/ITxpoとは？
Gartner Symposium/ITxpoは、CIOをはじめとするITリーダーから絶大な信頼と評価を得ている業界最大手IT調査機関、ガートナーが年に一度主催するイベントです。同社トップ･アナリストが毎年、翌年以降のITに関連する将来を展望し、デジタル･ビジネスの実現に向けてITリーダーがなすべき施策を提言します。 参加者数は8000人を超える注目度が高いイベントです。 毎年10月米国で最新情報を発表後、各地域の特性に合わせたイベント開催が行われます。
2018年、ガートナーが予測する米国のITトレンド
ガートナーが予測する米国での10のITトレンドは次のようになっています。
gartner-trend
2015年のキーワードは、AI関連やロボット・マシーンラーニングによる「デジタルビジネス時代の到来」、2016年はデジタルビジネスを実現するための「エコシステム推進」でした。2017年は、デジタルビジネス到来によって実現する未来および企業が対応すべき問題を予測しています。この10のトレンドを1つずつ見ていきましょう。
1. 消費者はビジュアル及び音声検索を好む
2021年までに、先進企業は音声および視線などビジュアル検索に対応し、デジタルコマースの売上を30％増加させる
昨年の予測では2020年までに音声および視線などビジュアルによる新しい検索方法が全体の30％を占めるとありました。市場では日本でも発売されたAmazon Echo、 Google Homeなど音声検索の躍進が著しいです。新しい検索方法が浸透していく中で、先進企業はいち早く対応して、デジタルコマースの売上を30％増加させると発表しました。
2. デジタルジャイアンツによる自己ディスラプト
2020年までに、デジタルジャイアンツの7社のうち5社が次のリーダーシップをとるために自らのビジネスをディスラプトして再構築する
グーグル、アップル、フェイスブック、アマゾン、バイドゥ、アリババ、テンセントの7社は、デジタルジャイアンツと呼ばれています。彼らはさらなる成長を求め、チャットボット、音声検索など新しいテクノロジーの活用をいち早く始めています。しかし、7社は企業規模がすでに大きすぎるため、新しいビジネスで市場のリーダーシップをとるためには既存ビジネスモデルを破壊し、作り直す必要があります。アップルがiphoneをリリースしたことを思い出してください。iPhoneはMP3の業界を破壊しました。これによってApple iPodの収益は減少しましたが、iPhoneはナビゲーションシステム、デジタルカメラなどの機能を取り込み大きく成長しました。
3. 拡大する仮想通貨の存在感
2020年までに金融業界においてブロックチェーンベースの仮想通貨は10億ドルのビジネス規模になる
ガートナーは3つ目のトレンドとして、仮想通貨が金融業界において正式に受け入られると予測しました。この10億ドルという数字は、金融業界の全体ビジネス規模76兆ドルに比べれば、大した価値がないように見えるかもしれません。しかし、ガートナーは仮想通貨が金融業界におけるオプションの1つとして正式に認められたことに価値があるとしています。すでに900以上の仮想通貨の選択肢があり、金融業界のお墨付きが付くことは新たな業界での利用に広がります。また、全エンタープライズの10％が2023年までには、ブロックチェーンテクノロジーを活用して変革を実現すると予測されています。
4. 増加するフェイクニュース
2022年までに多くの人は、増大するフェイクニュースによって惑わされる
フェイクニュースは近年増えています。人はデータよりも信じたい情報を正しいと判断する傾向があるため、多くの人は増大するフェイクニュース（人が信じやすい、信じたい方向に作られた情報）に惑わされることになるだろうとガートナーは予測しています。こういった情報に惑わされないために企業は情報の信頼性に対してますます注意する必要があります。
5.「偽の現実」が現実を追い越す
2020年までに、AIが自身の作ったCounterfeit reality（偽の現実）もしくはフェイクニュースを見破ることができずに、結果として人々のデジタルへの不安を増長させてしまう
嘘を作ることは、嘘を診断するよりも簡単です。ガートナーはフェイクニュースによって操られたデジタルメディアを「Counterfeit reality 偽の現実」と定義しました。現在、AIは人間の顔の違いを瞬時に診断できるほど進化しています。AIの進化はフェイクニュースの発見に役立っていますが、一方でAIはフェイクニュースを作成する技術にも貢献しています。2020年までは、AIはフェイクニュースを嘘と見破れず、AI自体がデジタル社会への不安を煽ってしまうとガートナーは予測しました。
6. ボットによる支配
2021年までにエンタープライズの50％以上は、従来のモバイルアプリ開発より、ボット及びチャットボットの開発に力を注ぐ
昨年、ガートナーは2020年までに「我々は伴侶よりチャットボットとの会話が増える」と予測しました。サービスのインターフェースがチャットボットとの会話になるため、企業はチャットボットの開発に力を注ぐようになります。アプリケーションをストアからダウンロードすることは一つのオプションにすぎなくなると予測しています。
7. ジェネラリストがスペシャリストよりも重要に
2021年までに、ITスタッフの40％は複数の役割をこなすことを求められる。しかもテクノロジー関連というよりもむしろビジネスよりに
現在ITスタッフの42％が専門職となっています。バイモーダル、デジタルトランスフォーメーションによってビジネスのスピード、変化が激しくなることにより、ITスタッフは複数の役割をこなすことを求められるようになります。
8. AIは奪う以上に仕事を創り出す
2020年には、AIは180万の仕事を人間から奪うが230万もの仕事を創り出す
AIは新たな仕事を創り出します。AIが進化することで、従来の人間の仕事に取って代わる部分は確かにありますが、それ以上に新しい仕事を作り出します。最も影響を受ける業界は製造業になると予測されています。
9. IoTはすべてのモノに
2020年までに、IoTは新製品の95％に活用される
現時点で、840億のデバイスがIoT機能を持っています。今後、テクノロジーの進化により、安価にIoT機能を追加できるようになります。セキュリティの課題はありますが、サプライヤーはIoTをどう活用するかを考えていかなくてはいけません。ユーザーがIoT活用製品を積極的に使うのは間違いありません。
10. 懸念されるIoTセキュリティの脆弱性
2022年までは、IoT向けセキュリティ予算の半分は、セキュリティを守る本来の目的ではなく、リコール、安全性の問題などに費やされてしまう
IoTは市場への浸透が早く製品の成熟が追い付いていません。市場へ浸透していく中で多くのエンタープライズはセキュリティ対策を試みますが、セキュリティ製品もまた完ぺきではないため、本来の目的であるセキュリティの対策でなく、製品自体の不具合に対応せざるをえないと予測しました。
NEW ITとは？
ITはもはや、ビジネスそのものである
アクセンチュアが考えるNew ITとインテリジェント・オートメーション
New ITとは
ビジネスと融合したソフトウェア戦略を実現するテクノロジー
デジタルテクノロジーの進化によって、新しい企業文化を根付せるには、どのような施策を講じるべきでしょうか。アクセンチュアでは、「変化に対応する仕組み」、「データに基づく行動」、「破壊的変化の受容」、「リスクの再認識」が企業には必要だと考えています。
最初に求められるのが、変化に対応する仕組み ―― すなわち変化を前提にした行動様式の確立です。デジタルエコノミーにおいてビジネスは非常に早いスピードで変化しますが、それに対応するには第一に「アジリティ(俊敏性)」を備えたテクノロジーが必須となります。このテクノロジーをアクセンチュアは「New IT」と呼んでいます。
New ITに求められるのは、デジタルエコノミーの中でも勝ち抜くことができる、従来型ITの次元を超えたスピードです。そこには、未来に向けたソフトウェア戦略が欠かせません。アクセンチュアはこのソフトウェア戦略を「リキッド（Liquid）」「インテリジェント（Intelligent）」「コネクテッド（Connected）」 という3つの概念で捉えています。
このNew ITを支えるものは、新しいテクノロジー（New IT Technology）に加え、開発手法（Liquid Delivery）や次世代の開発方法論（New Generation Methodology）の3つです。
アクセンチュアが考える“New IT”の定義
New ITでは、開発手法、テクノロジープラットフォーム、開発方法論の3つの観点から、従来では実現できなかった俊敏性をソフトウェア開発にもたらし、デジタル時代におけるビジネス戦略の推進を支える
「New IT Technology」
新しいテクノロジー（New IT Technology）の中心に据えられるのが、クラウドコンピューティングやモバイル、IoT、ビッグデータ、さらには最先端のセキュリティ技術です。従来ではオンプレミスで構築していたERPなどの基幹システムでさえも現在はクラウド上に移行されています。汎用機能ならば、SaaSを利用し済ませてしまうことも一般的となり、ビジネスの柔軟性と俊敏性を促すクラウド活用はますます高度化しました。
さらに、テクノロジーの進化によってビッグデータの収集、および分析も容易になりました。ただし一方で、セキュリティリスクに対応するための技術の重要性が高まっていることも留意しなければなりません。
「Liquid Delivery」
「Liquid Delivery」と称される最新の開発手法では、ビジネスの状況や変化に迅速に対応する手法であるアジャイル開発、繰り返し開発を実現する開発基盤のDevOps、クラウドファースト／モバイルファーストを実現する軽量実行基盤（Lightweight Architecture）、社内外をオープンかつセキュアに接続して情報連携を可能にするAPI、そしてAI（人工知能）の組み込みなど、最新の開発手法を融合。これにより、再利用可能なモジュールやコンポーネントを組み合わせることで、時間を要していたアプリケーションのコーディングを省略化し、ソフトウェアをビジネスに合わせて俊敏かつ継続的に拡張する「リキッド・アプリケーション」の開発を実現するのです。
「New Generation Methodology」
次世代の開発方法論（New Generation Methodology）では、ユーザー体験を中心に据えた “デザイン志向”が採用され始めています。従来の基幹システムの開発などのような、トップダウン型で機能定義させることの多かったシステム開発とは真逆の方法論を取ることにより、開発手法は飛躍的に進化しています。
ビジネスの変化のスピードに追随することとテクノロジーの活用・ソフトウェア戦略は表裏一体です。New ITとは、ビジネスと融合することで革新をもたらすテクノロジー。これらのテクノロジーを活用することは、ビジネスを支援することではなくもはや「ビジネスそのもの」と言えるのです。
