概述

我們討論這樣一種情況，即當使用常規請求無法從某個網站獲得數據時。 在這種情況下能夠做什麼呢？ 第一個可能的想法是尋找可以使用 GET 或 POST 請求進行訪問的資源。 有時，這樣的資源根本不存在。 例如，這可能涉及某些獨有指標的操作，或訪問一些罕有更新的統計信息。

也許有人會問：“這有什麼意義？”，一個簡單的解決方案是直接從 MQL 腳本訪問網站頁面，並在已知頁面位置讀取已知數量的持倉信息。 然後，可以進一步處理接收到的字符串。 這是可能的方法之一。 但是在這種情況下，MQL 腳本代會與特定頁面的 HTML 代碼緊密綁定。 若是 HTML 代碼變化了怎麼辦？ 這就是為什麼我們需要一個解析器來，可將 HTML 文檔整理為類似樹形的操作（詳細信息將在單獨的章節中進行討論）。 如果我們以 MQL 實現解析器，那麼就性能而言是否更佳便捷、高效？ 這樣的代碼能夠維護得當嗎？ 這就是為什麼解析功能應放在單獨的函數庫中來實現的原因。 不過，解析器無法解決所有問題。 它會執行所期望的功能。 但如果網站設計發生重大變化，並換用了其他類名和屬性該怎麼辦？ 在這種情況下，我們將需要修改搜索對象或事件的多個對象。 所以，我們的目標之一是盡快以最小的工作量創建必要的代碼。 如果我們有現成的部件可用則更好。 在上述狀況下，這可令開發人員輕松維護代碼，並快速對其進行編輯。

我們將選擇一個頁面不太大的網站，並嘗試從該網站獲取感興趣的數據。 在這種情況下，數據的類型並不重要，盡管如此，我們還是來嘗試創建一個有用的工具。 當然，該數據必須可用終端的 MQL 腳本進行處理。 程序代碼將創建為標準 DLL。

在本文中，我們將實現的工具不支持異步調用和多線程。

現有解決方案

對於開發人員而言，從互聯網上獲取數據並進行處理的可能性一直很具有吸引力。 mql5.com 網站上有幾篇文章，闡述了一些有趣且多樣化的方法：

• MQL5-RPC， 從 MQL5 遠程過程調用。 這篇文章提供了有關如何運用 XML-RPC 技術訪問資源，並從中接收數據的詳細分析。 該請求直接從 MQL 腳本發送。
  
• 使用 CSS 選擇器從 HTML 頁面提取結構化數據。 該示例展示如何利用 MQL 獲取數據，並創建 HTML 代碼解析器。
• 自己動手開發多線程異步 MQL5 WebRequest。 這篇文章提供了創建異步請求的有趣版本，且無需運用 MQL 手段進一步分析。

定義任務

我們將針對以下網站進行實驗：https://www.mataf.net/en/forex/tools/volatility。 顧名思義，該站點提供有關貨幣對波動率的數據。 波動率以三種不同單位顯示：點數，美元和百分比。 該網站頁面不太龐大，因此可以有效地接收並解析，從中獲得所需的數值。 對源文本的初步研究表明，我們必須從單獨的表格單元中獲取所存儲的數值。 因此，我們將主要任務分為兩個子任務：

1. 獲取和存儲頁面。
2. 解析獲取的頁面，接收文檔結構，並依據此結構搜索所需的信息。 數據處理並傳遞給客戶端。

#include <curl\curl.h>

typedef size_t (*callback)(void*, size_t, size_t, void*);

typedef struct MemoryStruct {
        vector<char> membuff;
        size_t size = 0;
} MSTRUCT, *PMSTRUCT;

typedef struct FileStruct {
        std::string CalcName() {
                char cd[MAX_PATH];
                char fl[MAX_PATH];
                srand(unsigned(std::time(0)));
                ::GetCurrentDirectoryA(MAX_PATH, cd);
                ::GetTempFileNameA(cd, "_cUrl", std::rand(), fl);
                return std::string(fl);
        }
        std::string filename;
        FILE* stream = nullptr;
} FSTRUCT, *PFSTRUCT;

size_t CCurlExec::WriteMemoryCallback(void * contents, size_t size, size_t nmemb, void * userp)
{
        size_t realsize = size * nmemb;
        PMSTRUCT mem = (PMSTRUCT)userp;
        vector<char>tmp;
        char* data = (char*)contents;
        tmp.insert(tmp.end(), data, data + realsize);
        if (tmp.size() <= 0) return 0;
        mem->membuff.insert(mem->membuff.end(), tmp.begin(), tmp.end() );
        mem->size += realsize;
        return realsize;
}

bool CCurlExec::GetFiletoMem(const char* pUri)
{
        CURL *curl;
        CURLcode res;
        res  = curl_global_init(CURL_GLOBAL_ALL);
        if (res == CURLE_OK) {
                curl = curl_easy_init();
                if (curl) {
                        curl_easy_setopt(curl, CURLOPT_URL, pUri);
                        curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, 0L);
                        curl_easy_setopt(curl, CURLOPT_SSL_VERIFYHOST, 0L);
                        curl_easy_setopt(curl, CURLOPT_ERRORBUFFER, m_errbuf);
                        curl_easy_setopt(curl, CURLOPT_TIMEOUT, 20L);
                        curl_easy_setopt(curl, CURLOPT_CONNECTTIMEOUT, 60L);
                        curl_easy_setopt(curl, CURLOPT_USERAGENT, "libcurl-agent/1.0");
                        curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, 1L); //redirects
#ifdef __DEBUG__ 
                        curl_easy_setopt(curl, CURLOPT_VERBOSE, 1L);
#endif
                        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteMemoryCallback);
                        curl_easy_setopt(curl, CURLOPT_WRITEDATA, &m_mchunk);
                        res = curl_easy_perform(curl);
                        if (res != CURLE_OK) PrintCurlErr(m_errbuf, res);
                        curl_easy_cleanup(curl);
                }// if (curl)
                curl_global_cleanup();
        } else PrintCurlErr(m_errbuf, res);
        return (res == CURLE_OK)? true: false;
}

注意 curl 操作的重要方面。 首先，執行兩個初始化，結果就是用戶收到指向 curl “核心”以及指向“句柄”的指針，這些指針會在稍後的調用中用到。 配置進一步的連接，這可能涉及很多設定。 在這種情況下，我們判斷連接地址，需要檢查證書，指定出錯信息的寫入緩衝區，判斷超時區間，“user-agent” 標頭，需要處理重定向，指定處理接收數據所要調用的函數（上述默認方法），和存儲數據的對象。 設置 CURLOPT_VERBOSE 選項啟用顯示有關正在執行的操作的詳細信息，這對於調試很有用。 指定所有選項後，將調用 curl 函數 curl_easy_perform。 它執行主要操作。 之後，數據將被清除。

我們來添加另一種通用方法：

bool CCurlExec::GetFile(const char * pUri, callback pFunc, void * pTarget)
{
        CURL *curl;
        CURLcode res;
        res = curl_global_init(CURL_GLOBAL_ALL);
        if (res == CURLE_OK) {
                curl = curl_easy_init();
                if (curl) {
                        curl_easy_setopt(curl, CURLOPT_URL, pUri);
                        curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, 0L);
                        curl_easy_setopt(curl, CURLOPT_SSL_VERIFYHOST, 0L);
                        curl_easy_setopt(curl, CURLOPT_ERRORBUFFER, m_errbuf);
                        curl_easy_setopt(curl, CURLOPT_TIMEOUT, 20L);
                        curl_easy_setopt(curl, CURLOPT_CONNECTTIMEOUT, 60L);
                        curl_easy_setopt(curl, CURLOPT_USERAGENT, "libcurl-agent/1.0");
                        curl_easy_setopt(curl, CURLOPT_FOLLOWLOCATION, 1L); 
#ifdef __DEBUG__ 
                        curl_easy_setopt(curl, CURLOPT_VERBOSE, 1L);
#endif
                        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, pFunc);
                        curl_easy_setopt(curl, CURLOPT_WRITEDATA, pTarget);
                        res = curl_easy_perform(curl);
                        if (res != CURLE_OK) PrintCurlErr(m_errbuf, res);
                        curl_easy_cleanup(curl);
                }// if (curl)
                curl_global_cleanup();
        }       else PrintCurlErr(m_errbuf, res);

        return (res == CURLE_OK) ? true : false;
}

此方法令開發人員可以使用自定義回調函數來處理接收到的數據（pFunc 參數），並使用自定義對象來存儲此數據（pTarget 參數）。 因此，HTML 頁面可以輕松保存為任何格式，如 csv 文件。

我們看看如何無需深入詳節即可將信息保存到文件中。 前面已經提到了相應的回調函數，以及可用於選擇文件名的輔助對象 FSTRUCT。 然而，在大多數情況下，操作到此還沒有結束。 若要獲取文件名，可以預先設置文件名（在這種情況下，應預先檢查該名稱的文件是否存在），或者可以允許函數庫獲取可讀且有意義的文件名。 該名稱應從實際地址獲得，即在處理重定向後讀取數據的地方。 以下方法展示了如何獲取實際地址 

bool CCurlExec::GetFiletoFile(const char * pUri)

完整的方法代碼已在存檔中提供。 “ curl” 中提供的解析地址的工具：

std::string CCurlExec::ParseUri(const char* pUri) {
#if !CURL_AT_LEAST_VERSION(7, 62, 0)
#error "this example requires curl 7.62.0 or later"
        return  std::string();
#endif
        CURLU *h  = curl_url();
        if (!h) {
                cerr << "curl_url(): out of memory" << endl;
                return std::string();
        }
        std::string szres{};
        if (pUri == nullptr) return  szres;
        char* path;
        CURLUcode res;
        res = curl_url_set(h, CURLUPART_URL, pUri, 0);
        if ( res == CURLE_OK) {
                res = curl_url_get(h, CURLUPART_PATH, &path, 0);
                if ( res == CURLE_OK) {
                        std::vector <string> elem;
                        std::string pth = path;
                        if (pth[pth.length() - 1] == '/') {
                                szres = "index.html";
                        }
                        else {
                                Split(pth, elem);
                                cout << elem[elem.size() - 1] << endl;
                                szres =  elem[elem.size() - 1];
                        }
                        curl_free(path);
                }// if (curl_url_get(h, CURLUPART_PATH, &path, 0) == CURLE_OK)
        }// if (curl_url_set(h, CURLUPART_URL, pUri, 0) == CURLE_OK)
        return szres;
}

如您所見，curl 正確地從 uri 中提取到 “PATH”，並檢查 PATH 是否以 '/' 字符結尾。 如果是這樣，文件名應為 “index.html”。 否則，“PATH” 將被拆分為單獨的元素，而文件名將是結果列表中的最後一個元素。

以上兩種方法都是在項目中實現的，盡管通常將數據保存到文件的任務不在本文的討論範圍之內。

除了所描述的方法之外，CCurlExec 類還提供了兩種基本方法，用來訪問內存緩衝區，從網絡接收的數據會保存到該緩衝區當中。 數據可以表示為

std::vector<char>

std::string

這要取決於 html 解析器的進一步選擇。 在此無需研究 CCurlExec 類的其他方法和屬性，因為在我們的項目里不會用到它們。

在結束本章之前，我想再補充一點。 curl 函數庫是線程安全的。 在本示例中它以同步使用，為此使用 curl_easy_init 類型的方法。 名稱中帶有 “easy” 的所有 curl 函數只能用於同步。 而函數庫里提供的異步調用方法，其名稱里包含 “multi”。 例如，curl_easy_init 具有異步模擬函數 curl_multi_init。 在 curl 中調用異步函數並不是很複雜，但是它涉及到冗長的調用代碼。 所以，我們現在不會考慮異步操作，但稍後我們可能會再次討論。

HTML 解析類

我們嘗試尋找現成的控件來執行此任務。 有許多不同的控件可用。 選擇控件時，請使用與上一章相同的準則。 在本例中，首選項是 Google 的 Gumbo 項目。 可以在 github 上找到它。 隨附的項目存檔中提供了相應的鏈接。 您可以自行編譯項目，這可能比使用 curl 更容易。 無論如何，隨附的項目包含所有必需的文件：

• gumbo.lib 在 lib 項目文件夾中可用
• gumbo.dll 包含在 debug 和 release 文件夾中

#include <gumbo\gumbo.h>

        GumboOutput* output = gumbo_parse(input); 
//      ... do something with output ...
        gumbo_destroy_output(&options, output);

typedef enum {
        byPips = 2,
        byCurr = 3,
        byPerc = 4
} VOLTYPE;

double CVolatility::FindData(const std::string& szHtml, const std::string& pair, VOLTYPE vtype)
{
        if (pair.empty()) return -1;
        m_pair = pair;
        TOUPPER(m_pair);
        m_column = vtype;
        GumboOutput* output = gumbo_parse(szHtml.c_str() );
        double res = FindTable(output->root);
        const GumboOptions mGumboDefaultOptions = { &malloc_wrapper, &free_wrapper, NULL, 8, false, -1, GUMBO_TAG_LAST, GUMBO_NAMESPACE_HTML };
        gumbo_destroy_output(&mGumboDefaultOptions, output);
        return res;
}// void CVolatility::FindData(char * pHtml)

double CVolatility::FindTable(GumboNode * node) {
        double res = -1;
        if (node->type != GUMBO_NODE_ELEMENT) {
                return res; 
        }
        GumboAttribute* ptable;
        if ( (node->v.element.tag == GUMBO_TAG_TABLE)                          && \
                (ptable = gumbo_get_attribute(&node->v.element.attributes, "id") ) && \
                (m_idtable.compare(ptable->value) == 0) )                          {
                GumboVector* children = &node->v.element.children;
                GumboNode*   pchild = nullptr;
                for (unsigned i = 0; i < children->length; ++i) {
                        pchild = static_cast<GumboNode*>(children->data[i]);
                        if (pchild && pchild->v.element.tag == GUMBO_TAG_TBODY) {
                                return FindTableRow(pchild);
                        }
                }//for (int i = 0; i < children->length; ++i)
        }
        else {
                for (unsigned int i = 0; i < node->v.element.children.length; ++i) {
                        res = FindTable(static_cast<GumboNode*>(node->v.element.children.data[i]));
                        if ( res != -1) return res;
                }// for (unsigned int i = 0; i < node->v.element.children.length; ++i) 
        }
        return res;
}//void CVolatility::FindData(GumboNode * node, const std::string & szHtml)

double CVolatility::FindTableRow(GumboNode* node) {
        std::string szRow = "row_" + m_pair;
        GumboAttribute* prow       = nullptr;
        GumboNode*      child_node = nullptr;
        GumboVector* children = &node->v.element.children;
        for (unsigned int i = 0; i < children->length; ++i) {
                child_node = static_cast<GumboNode*>(node->v.element.children.data[i]);
                if ( (child_node->v.element.tag == GUMBO_TAG_TR) && \
                         (prow = gumbo_get_attribute(&child_node->v.element.attributes, "id")) && \
                        (szRow.compare(prow->value) == 0)) {
                        return GetVolatility(child_node);
                }
        }// for (unsigned int i = 0; i < node->v.element.children.length; ++i)
        return -1;
}// double CVolatility::FindVolatility(GumboNode * node)

double CVolatility::GetVolatility(GumboNode* node)
{
        double res = -1;
        GumboNode*      child_node = nullptr;
        GumboVector* children = &node->v.element.children;
        int j = 0;
        for (unsigned int i = 0; i < children->length; ++i) {
                child_node = static_cast<GumboNode*>(node->v.element.children.data[i]);
                if (child_node->v.element.tag == GUMBO_TAG_TD && j++ == (int)m_column) {
                        GumboNode* ch = static_cast<GumboNode*>(child_node->v.element.children.data[0]);
                        std::string t{ ch->v.text.text };
                        std::replace(t.begin(), t.end(), ',', '.');
                        res = std::stod(t);
                        break;
                }// if (child_node->v.element.tag == GUMBO_TAG_TD && j++ == (int)m_column)
        }// for (unsigned int i = 0; i < children->length; ++i) {
        return res;
}

#ifdef GETANDPARSE_EXPORTS
#define GETANDPARSE_API extern "C" __declspec(dllexport)
#else
#define GETANDPARSE_API __declspec(dllimport)
#endif

GETANDPARSE_API double GetVolatility(const wchar_t* wszPair, UINT vtype);

const static char vol_url[] = "https://www.mataf.net/ru/forex/tools/volatility";

GETANDPARSE_API double GetVolatility(const wchar_t*  wszPair, UINT vtype) {
        if (!wszPair) return -1;
        if (vtype < 2 || vtype > 4) return -1;

        std::wstring w{ wszPair };
        std::string s(w.begin(), w.end());

        CCurlExec cc;
        cc.GetFiletoMem(vol_url);
        CVolatility cv;
        return cv.FindData(cc.GetBufferAsString(), s, (VOLTYPE)vtype);
}

#property copyright "Copyright 2019, MetaQuotes Software Corp."
#property link      "https://www.mql5.com"
#property version   "1.00"
#property script_show_inputs

#import "GETANDPARSE.dll"
double GetVolatility(string wszPair,uint vtype);
#import
//+------------------------------------------------------------------+
//|                                                                  |
//+------------------------------------------------------------------+
enum ReqType 
  {
   byPips    = 2, //Volatility by Pips
   byCurr    = 3, //Volatility by Currency
   byPercent = 4  //Volatility by Percent
  };

input string  PairName="EURUSD";
input ReqType tpe=byPips; 
//+------------------------------------------------------------------+
//| Script program start function                                    |
//+------------------------------------------------------------------+

void OnStart()
  {
   double res=GetVolatility(PairName,tpe);
   PrintFormat("Volatility for %s is %.3f",PairName,res);
  }

結束語

我們討論了一種以最簡化的形式解析頁面 HTML 的方法。 該函數庫由現成的控件構成。 該代碼已大大簡化，以便幫助初學者理解該思路。 該解決方案的主要缺點是同步執行。 直至函數庫接收到 HTML 頁面，並對其進行處理，否則腳本無法受控。 這也許要花費一些時間，而這種情況對於指標和智能交易系統是無法接受的。 在此類應用程序中需要運用另一種方式。 我們將在後續文章中嘗試找到更好的解決方案。

本文中用到的程序