GAMS軟件數(shù)據(jù)收集新方式-GAMS Connect

時間：2022-07-29作者：北京天演融智軟件有限公司瀏覽：231

今天給大家介紹一個從一系列外部來源收集數(shù)據(jù)的新方法，對其進行轉(zhuǎn)換并使其可用于 GAMS 模型。輸入“GAMS Connect”，下面您可以看到這個新工具集的簡短描述，以及為什么我們認為它對所有 GAMS 建模者都非常有用。

 

背景情況

在軟件領(lǐng)域，GAMS 是生命周期較長的產(chǎn)品之一。Alex Meeraus較初開發(fā)的通用代數(shù)建模系統(tǒng)**公開記錄可追溯到 1976 年（International Symposium on Mathematical Programming, Budapest, p. 185）。GAMS 的**個商業(yè)版本在1987 年面世，此后許多人為 GAMS 的版本較新做出了貢獻。由于GAMS沒有像較傳統(tǒng)的編程語言那樣的模塊系統(tǒng)，因此很多較新只能在Unix系統(tǒng)作為小命令行工具提交，例如，讀取或?qū)懭?nbsp;Excel 文件、CSV 文件、訪問 Microsoft Access 數(shù)據(jù)庫、與 Matlab 交互等等。該系統(tǒng)多年來一直運行良好，但要保持所有工具的較新，并且讓GAMS支持所有平臺變得越來越困難。此外，使用不同工具的語法也不統(tǒng)一，可能會讓用戶感到困惑。因此，我們認為需要一種較現(xiàn)代、較統(tǒng)一的方式來讀寫不同格式的數(shù)據(jù)。為了朝這個方向邁出一大步，我們近期推出了“GAMS Connect”。GAMS Connect 建立在“提取、轉(zhuǎn)換、加載”（ETL）概念的基礎(chǔ)上，其目的是在讀取代理、轉(zhuǎn)換代理和寫入代理的幫助下，將一系列不同來源的數(shù)據(jù)獲取到統(tǒng)一的*數(shù)據(jù)存儲（“連接數(shù)據(jù)庫”）中，并從那里轉(zhuǎn)換為其他格式（圖1）。






圖 1：多個代理共享同一個*數(shù)據(jù)庫 







這一概念使得通過YAML語法配置的可插拔數(shù)據(jù)導入/導出系統(tǒng)成為可能。目前 GAMS Connect 支持 CSV、GDX 和 Excel 作為外部文件格式進行讀寫。下面是一個簡單的例子：









這些行指示 GAMS Connect 讀取兩個 CSV 文件。從**個（distance.csv）開始，我們使用*1列和*2列中的索引值，將*3列中的值讀入名為“distance”的符號中。從*二個CSV文件（capacity.CSV）中，我們使用*1列中的索引值將*2列中的值讀取到名為“capacity”的符號中。在此階段，這些值僅停留在 GAMS Connect 數(shù)據(jù)庫中，現(xiàn)在我們可以將其提供給 GAMS。這是在最后一個“GAMSWrite”數(shù)據(jù)塊中完成的，該塊根據(jù)先前收集的數(shù)據(jù)創(chuàng)建符號“d”和“a”。







這種指示 GAMS Connect 讀寫數(shù)據(jù)的方式非常靈活和強大，您可以在文檔中找到較復雜的示例。

 

Connect YAML 語法可以在三個不同的地方使用：




通過 GAMS 命令行參數(shù)“ConnectIn”和“ConnectOut”

通過嵌入式代碼Connect（可能是較常見的情況）

通過獨立的命令行實用程序“gamsconnect”

 

一旦數(shù)據(jù)進入 Connect 數(shù)據(jù)庫，在寫入 GAMS 數(shù)據(jù)庫之前，您可以使用“Projection”代理，使用max、min、mean、median等統(tǒng)計函數(shù)，將數(shù)據(jù)投影和聚合到GAMS符號的縮減索引空間。如果這還不夠，您甚至可以在 YAML 指令中使用 Python 代碼來實現(xiàn)非常復雜的數(shù)據(jù)操作過程。







設(shè)計規(guī)劃

在 GAMS Connect 的構(gòu)思過程中，我們做了幾個非常深思熟慮的決定:




Connect代理設(shè)計“簡單”，每個代理只支持一種功能。GAMS Connect的強大功能源于通過YAML將多個代理連接在一起的能力。

我們提供的Connect代理將獨立于平臺。

所有代理都將由一致的語法控制，使用戶較輕松（它們也區(qū)分大小寫，這與通常的GAMS 語法不同）。

代碼可讀性至關(guān)重要，因此我們將避免使用縮寫，而是使用長、顯式、camelCased參數(shù)名。

提前驗證錯誤：在執(zhí)行任何指令之前，首先驗證 YAML 語法，以便及早發(fā)現(xiàn)錯誤。

 

如果您是GAMS 39及以上版本，就可以體驗GAMS Connect功能。之后，我們將實現(xiàn)更多代理（例如SQL數(shù)據(jù)庫、HTML、Txt等），將Connect與GAMS Studio集成，甚至允許在Python中創(chuàng)建自己的Connect代理！




北京天演融智軟件有限公司（科學軟件網(wǎng)）是GAMS軟件在中國的授權(quán)經(jīng)銷商，為中國的軟件用戶提供優(yōu)質(zhì)的軟件銷售和培訓服務(wù)。





北京天演融智軟件有限公司專注于pscad,gams,spsspro,stata,matlab,mathematica,nvivo等, 歡迎致電 18510103847

• 詞條

  詞條說明

• 使用AquiferTest管理和解釋水位數(shù)據(jù)**培訓

  AquiferTest是水資源流行軟件應(yīng)用程序，用于分析、解釋和可視化抽水和含水層透水試驗數(shù)據(jù)。AquiferTest提供了在各種測試條件下準確解釋各種含水層數(shù)據(jù)所需的所有工具。課程介紹本次課程將使用AquiferTest Pro軟件演示抽水和段塞試驗水位數(shù)據(jù)的分析和解釋。向參與者介紹泵送和段塞測試數(shù)據(jù)分析背后的理論，以較好地支持演示，并將通過AquiferTest界面進行指導，以提高效率。該課程

• NVivo和EndNote如何協(xié)同工作？

  EndNote簡介EndNote X9是參考管理軟件，不僅可以把研究人員從繁瑣的手動收集和策劃工作中解脫出來，也可以讓他們在與同事協(xié)調(diào)時較*。改進文獻評論：NVivo + EndNote的力量在管理文獻評論時，您的客戶通常會使用EndNote。使他們能夠有效地組織他們的參考，訪問他們的書目信息，并在他們完成的工作中包含他們的參考。雖然這對于有效收集和組織研究材料很有幫助—但看到參考文獻之間的聯(lián)系

• Mathematica如何在眾多軟件中脫穎而出？

  北京天演融智軟件有限公司（科學軟件網(wǎng)）是 Mathematica在中國的授權(quán)經(jīng)銷商，為中國的軟件用戶提供優(yōu)質(zhì)的軟件銷售和培訓服務(wù)。

• 豐臺地球地理軟件公司

  豐臺地球地理軟件公司：**地球地理軟件創(chuàng)新之路作為地球地理軟件行業(yè)的良好者，豐臺地球地理軟件公司致力于為用戶提供較**的地球地理軟件產(chǎn)品和服務(wù)。我們公司秉承著科技創(chuàng)新、用戶至上的理念，不斷推動地球地理軟件領(lǐng)域的發(fā)展，為用戶提供、便捷的解決方案。**公司簡介**豐臺地球地理軟件公司是由一批地球地理科研人員和技術(shù)聯(lián)合創(chuàng)辦的軟件公司。公司總部位于北京，擁有一支具有豐富經(jīng)驗和創(chuàng)新精神的研發(fā)團隊，致力于開發(fā)