深入淺出的 AI 技術分享，從入門到進階全面覆蓋（第 8 頁）
近年來，深度學習技術在多個領域實現了突破性進展，從語言處理到影像識別，無不體現了其強大的學習能力。而在這一進步的核心，多層感知器（MLP）一直扮演著基石的角色。MLP，也被稱為全連接前饋神經網絡，是深度學習模型的基礎構建塊，用於逼近非線性函數。其重要性不言而喻，因為它們是機器學習中用於逼近非線性函數的默認方法。然而，儘管MLP在各個方面都顯示出了其不可替代的價值，但在解釋性和參數效率方面，它面臨著一定的挑戰。尤其是在與當今流行的模型如Transformers結合時，MLP在沒有後處理分析工具的情況下，相對於注意力層，其可解釋性較差。 面對這些挑戰，Kolmogorov-Arnold Netw…
隨著人工智慧的快速發展，行動裝置上的多模態大模型成為了技術創新的重要推手之一。在這一背景下，OctopusV3 的出現，不僅標誌著多模態大模型技術的一大進步，更為行動裝置用戶帶來了全新的操作體驗。本文將探討 OctopusV3 的核心技術與創新點，並分析其如何在行動裝置上實現革命性的突破。 OctopusV3 在行動裝置上的革命性突破 OctopusV3 的推出為行動裝置用戶開啟了全新的智能互動模式。其優異的多模態處理能力和高效的功能調用性能，為用戶提供了更加便捷和智能的操作體驗。無論用戶想要獲取信息、控制裝置還是進行交互，OctopusV3 都能提供快速和準確的支持。 集成文本和圖像處理能…
引言：無代碼 AI 技術的興起 在 2024 年及以後，世界正見證一股不可抗拒的科技浪潮——無代碼人工智慧（No Code AI）技術的興起。這項創新不僅為企業和個人開啟了探索人工智慧領域的全新途徑，更重要的是，它允許用戶在無需任何編程知識的前提下，利用 AI 建構強大的應用程式和解決方案。這種技術的出現，大幅降低了技術門檻，加速了創新過程，並在多個行業中促進了人工智慧應用的普及和發展。 無代碼 AI 技術的驅動力 無代碼 AI 技術的興起，源於對於簡化複雜技術應用的迫切需求。在過去，開發和部署人工智慧解決方案往往需要深厚的技術知識和編程技能，這對於非技術背景的用戶來說無疑是一大障礙。然而，…
在數碼化與資訊科技高速發展的今天，金融時報與 OpenAI 簽署的內容授權協議標誌著媒體與人工智能領域合作的重要里程碑。此次合作不僅彰顯了 OpenAI 對金融時報高質量新聞內容的認可，更預示著未來新聞內容創作與分發的可能變革。本章節將探討此次合作背後的動因，並分析其對雙方及廣大讀者可能帶來的影響。 合作背景 金融時報作為全球領先的新聞出版機構，一直致力於透過創新技術提升新聞報道的質量與影響力。OpenAI，作為人工智能領域的先驅，其開發的 ChatGPT 已在全球範圍內受到廣泛關注。這次合作讓 OpenAI 可以使用金融時報的實時新聞內容與歷史檔案來優化 ChatGPT 的回應質量，同時也…
在今年的 GTC 大會上，NVIDIA 宣布了一項令人矚目的技術革命，即利用生成式 AI 技術為基礎，構建了一個前所未有的元宇宙、工業數字孪生以及機器人訓練的軟件體系 – Omniverse。這項創新不僅標誌著 NVIDIA 在技術前沿的再次突破，而且為各行各業的數位轉型開啟了新的可能性。Omniverse 的引入，對於實現高度互聯的數字世界，具有深遠的意義。 Omniverse：數字世界的全新平台 Omniverse 是 NVIDIA 對於元宇宙概念的實踐和擴展。它不僅涵蓋了虛擬現實的元素，而且更進一步將工業數字孪生的概念具象化，使之成為一個全面的數字世界建構平台。這一平台允許開發者、設計…
隨著大模型和 AIGC 的持續發展，我們正見證著一場人工智能革命，尤其在影片生成領域，AI 技術如 Pika 的應用，不僅為創意產業帶來前所未有的變革，更為影視製作開啟了全新的可能性。本文將深入探討 AI 影片生成技術的興起，特別是 Pika 這一代表性工具如何通過其風格生成功能，為用戶和創作者提供更廣闊的創作空間。 AI 影片生成技術的興起 大模型和 AIGC 的影響 在過去的幾年中，大模型和 AIGC（人工智慧生成內容）的發展，為人工智慧領域帶來了重大突破。這些技術不僅提高了 AI 的理解和生成能力，而且擴展了其應用範圍，從文字生成到影像創作，再到影片生成，AI 的能力正日益增強。 應用…
日圓近年的走勢讓許多投資者和分析師關注著，特別是當日圓對美元的貶值在近期觸及近 34 年新低，這一轉折點引發了市場對其未來趨勢的廣泛討論。本文將深入分析日圓走勢的關鍵轉變，從日本央行的貨幣政策調整到市場對日圓未來的展望，探討這些因素如何影響日圓的價值並提供對投資者的啟示。 日圓對美元的歷史新低及其背景 日圓對美元的貶值達到了近 34 年來的新低，美元兌日圓一度低見 151.97。這一現象背後的原因多樣，包括全球經濟環境的變化、日本國內貨幣政策的持續寬鬆，以及與美國貨幣政策走向的對比。特別是在日本央行長期實施負利率政策後，市場普遍預期日本央行可能會進一步放寬貨幣政策以刺激經濟。 日本央行貨幣政…
在 2024 年的今日，日本央行的加息決策無疑成為了全球金融市場關注的焦點。這一舉措不僅象徵著日本結束長達十七年的負利率政策，同時也向外界發出了一個明確的訊號：日本經濟政策的重大轉向。該決策將基準利率從負 0.1% 調整至 0% 至 0.1% 之間，看似微小的調整實際上卻是日本貨幣政策史上的一大步。如此歷史性的一刻，不僅對日本國內經濟產生深遠影響，更對全球經濟格局和貨幣政策走向產生了不可忽視的影響。 首先，日本央行的加息決策是在應對持續上升的通膨壓力之中做出的。在全球經濟逐漸復甦的背景下，日本面臨的通膨問題日益突出，加息可以視為遏制通膨、恢復經濟健康的積極措施。通過提高利率，央行意圖抑制過度…
近年來，大型語言模型（LLM）在自然語言處理領域取得了顯著進展。隨著技術的不斷發展，增加模型的上下文長度成為提升模型性能的關鍵策略之一。本文將深入探討如何通過調整 RoPE Theta 來有效增加 LLM 的上下文長度，進而提升模型的理解能力和應用範圍。 在當今數位時代，大型語言模型（LLM）正迅速成為開發先進自然語言處理應用的核心技術。從自動文本生成到情感分析，再到語言翻譯，LLM 的應用範圍廣泛且多樣。然而，隨著我們對這些模型的依賴不斷增加，提升其處理和理解大量數據能力的需求也隨之增加。這就是為何增加 LLM 的上下文長度變得如此關鍵的原因。 近期引起廣泛關注的一種方法是透過調整 RoP…
在本教學中，我們將學習如何使用 Docker 快速部署 Neo4j 社群版資料庫。我們將採用 docker-compose 來簡化部署過程。以下是詳細的步驟和設定說明。 前置準備 在開始之前，確保你的系統上已安裝 Docker 和 Docker Compose。這些工具允許你容易地運行和管理容器。 1. 創建 Docker Compose 文件 首先，你需要創建一個名為 docker-compose.yml 的文件，用以定義和配置你的 Neo4j 服務。將以下內容保存到文件中： 找尋其他版本的 Neo4j image： https://hub.docker.com/_/neo4j/tags …
引言：為何選擇 Pi-3 Mini？ 隨著科技的飛速發展，微型電腦已成為當今創新項目和個人學習的寵兒。在眾多 Raspberry Pi 版本中，Pi-3 Mini 憑借其獨特的設計和強大的功能脫穎而出，成為了科技愛好者和專業開發者的新寵。本文將探索 Pi-3 Mini 的最新應用，並深入了解其如何在眾多 Raspberry Pi 版本中脫穎而出的原因。 Pi-3 Mini 的特點與優勢 Pi-3 Mini 不僅保留了 Raspberry Pi 3 的強大處理能力，但在尺寸和能耗上做了顯著的優化。透過對硬件配置的深入了解，我們可以發現，Pi-3 Mini 在保證性能的同時，更加注重用戶的實際應…
隨著機器學習和自動化流程在軟件開發中的重要性日益凸顯，RAGOps（Resource-Aware Git Operations）成為了橋接資源生成與持續整合/持續部署（CI/CD）的新興趨勢。這一趨勢主要是因為 RAG 透過資源感知的方式來提高軟件開發和部署的效率，而 CI/CD 則提供了一個自動化的流程來持續集成和部署軟件。當這兩者結合時，便能夠創造出一個更加高效、更具彈性的開發環境。 RAGOps 介紹 RAGOps 是一種將 RAG（Resource-Aware Git）概念與現代軟件開發實踐結合的策略，特別是與 CI/CD 流程相結合。RAG 關注於利用 Git 的分佈式特性來優化資…
隨著大數據和人工智慧技術的飛速發展，檢索增強生成（Retrieval-Augmented Generation，簡稱 RAG）技術在近年來迅速崛起，成為技術界的熱門話題。RAG 技術通過結合大型語言模型（Large Language Models，簡稱 LLMs）與專業知識庫，提升了 AI 模型處理複雜查詢和生成精確回答的能力。其中，RAGOps（RAG Operations）作為這一技術實施的關鍵操作模式，使開發者和數據科學家能夠更有效地整合和運用 RAG 技術，進而提升應用程序的性能和智能化程度。 RAGOps 的概念與應用 RAGOps 是一種結合了檢索增強生成（RAG）和運維操作（O…
近年來，隨著 Generative AI 技術的快速發展，AI 視頻生成技術成為了一個熱門的研究領域。在這個領域中，StreamingT2V 模型的推出無疑是一個重要的里程碑。由 Picsart AI Research 團隊聯合其他團隊開發的 StreamingT2V 模型，成功實現了長達 1200 帧、時長達 2 分鐘的 AI 生成視頻。這一進展不僅在視頻持續時間上超越了先前的 Sora 模型，更標誌著 AI 視頻生成技術的一大進步。此外，StreamingT2V 模型作為一個開源項目，對於促進開源生態系的發展具有重要的價值，這對 AI 生成內容的未來發展可能會產生深遠的影響。 Strea…
概覽 在近年來，AI 技術的快速發展令人瞠目結舌，其中，由 Meta 發布的 Llama 大模型無疑是一顆耀眼的新星。Llama 大模型不僅在技術層面實現了重大創新，更在推動 AI 領域的整體發展中扮演了關鍵角色。本文將深入探討 Llama 大模型的技術細節，包括其設計初衷、結構特點，以及它如何在保持模型效能的同時，通過優化訓練過程來降低推斷成本。此外，我們還將對比其他大型語言模型（LLM），如 GPT-3，來凸顯 Llama 的獨特之處。 Llama 大模型的技術創新 Meta 發布的 Llama 大模型在 AI 領域引起了廣泛關注。這款模型的核心特點是其在保持高效能的同時，通過精巧的設計…
簡介 GitLab Duo Chat GitLab Duo Chat 是 GitLab Duo 套件中最新推出的 AI 功能，透過自然語言處理技術，為開發者提供實時的代碼解釋、測試生成和代碼創建等輔助。這一功能不僅支持在 GitLab 的 Web IDE 中使用，還能整合在 VS Code 和 JetBrains 系列 IDE 中，讓開發者在編碼工作中無需切換上下文，直接獲得 AI 的輔助。 提升編碼技能 GitLab Duo Chat 通過提供代碼解釋和建議來幫助開發者提升編碼技能。當面對不熟悉的代碼塊時，開發者可以透過 Duo Chat 獲得詳細的解釋和改進建議，從而加深對代碼的理解和掌…
在當今快速發展的 AI 技術領域中，開放式大型語言模型（LLM）已成為推動創新和應用開發的重要工具。Meta 最新推出的 Llama 3 模型，不僅提供了前所未有的性能水準，更以開放式模型的形式，為廣大開發者和企業帶來了無限的可能性。 Llama 3 的技術優勢 Llama 3 模型以其卓越的性能和強大的應用潛力，開啟了 AI 新篇章。依托於先進的模型架構和大規模的訓練數據，Llama 3 在多項行業標準基準測試中表現卓越，尤其在語言理解、生成和推理能力上取得了顯著進步。此外，Llama 3 支援長達 8k 的上下文窗口，使其能夠更好地理解和處理複雜的語言信息，為開發者提供了更廣闊的應用空間…
在當今日益複雜且數據驅動的世界中，人工智慧（AI）技術的進步已成為推動創新和效率提升的關鍵因素。近年來，AI 模型的規模和處理能力成為衡量技術進步的重要指標。在這種背景下，Meta 的最新開發——META MEGALODON 模型，已經吸引了全球科技界和大模型愛好者的廣泛關注。 META MEGALODON 模型在人工智慧領域的創新和應用潛力，是對傳統 Transformer 架構的顯著改進。傳統的 Transformer 模型，雖然在處理序列數據方面取得了令人矚目的成就，但在處理長序列數據時卻遇到了計算複雜度呈二次方增長的挑戰，限制了其在某些應用領域的效率和廣泛性。 為了克服這一挑戰，ME…
在 AI 技術日新月異的今天，OpenAI 再次引發業界關注，推出了備受期待的 GPT-4 Turbo 最新版本：gpt-4-turbo-2024-04-09。此次更新不僅提升了模型的性能，更在多個重要方面做出了創新和改進。本文將深入探討此次更新的亮點與影響，並與先前版本進行比較。 GPT-4 Turbo 新版本亮點 首先，gpt-4-turbo-2024-04-09 版本在性能提升方面做出了顯著改進。根據 OpenAI 提供的數據，新版本的準確性和響應速度均有大幅提升，這對於開發者和企業用戶來說無疑是一大福音。此外，新版本加強了對圖像處理的能力，能夠更加精準地理解和生成圖像相關內容，開啟了…
引言：從 RAG 到 RAG 2.0 的進化之旅 在當今人工智慧的快速發展中，RAG（Retrieval-Augmented Generation，檢索增強生成技術）無疑是一個革命性的創新。它將檢索技術與生成模型相結合，極大地提高了 AI 在知識處理和理解方面的能力。起初，RAG 技術的提出，旨在解決語言模型在面對知識密集型任務時的局限性，即憑借訓練期間接触到的信息來進行回答和生成。透過引入外部資料來源（例如 Wikipedia、Google 或內部公司文件），RAG 技術有效地彌補了這一缺陷，使得語言模型能夠獲取更豐富的知識信息。 然而，隨著技術的發展和應用需求的提升，傳統的 RAG 系統…
隨著 AI 技術的飛速發展，語言模型（LLM）在近幾年取得了顯著的進步。從早期的簡單模型到現在的大型生成式 AI（Generative AI），每一次的創新都為我們打開了新的可能。然而，隨著模型規模的不斷擴大，如何高效地對這些模型進行微調（Fine-tuning），以適應特定任務成為了一大挑戰。本文將介紹一種新的大型語言模型微調方法——表示微調（ReFT），並探討其背後的原理與實踐方法。 傳統上，對大型語言模型進行微調往往需要大量的計算資源和時間，這不僅增加了成本，也限制了模型應用的靈活性。此外，直接在龐大的模型上進行微調還可能導致過擬合等問題，影響模型在實際任務中的表現。因此，開發一種既高…
引言 在 AI 界的一場沉寂之後，阿里巴巴集團最近發布了一款備受矚目的人工智能語言模型——Qwen 1.5 MoE。這款模型以其 2.7 億的啟動參數，在多項基準測試中展現出了與 7B 級別大模型相匹敵的性能，為業界帶來了一股新的風潮。其最大的亮點在於採用了混合專家系統（MoE）的架構，這一創新不僅提升了模型的學習效率和計算性能，也為未來的 AI 模型開發提供了新的思路。 在此背景下，本文將對 Qwen 1.5 MoE 進行深入剖析，從模型概覽、技術創新、性能比較、核心技術以及對未來 AI 發展的影響等多個維度，全面解讀其背後的創新之處。 快速導讀 Qwen 1.5 MoE 模型概覽 Qwe…
引言：音頻生成技術的新浪潮 隨著人工智能技術的不斷進化，音頻生成技術也迎來了革命性的突破。Stability AI 最近發布的 Stable Audio 2.0，不僅提升了音頻生成的質量，更在功能上進行了重大革新。本文將深入分析 Stable Audio 2.0 的特點，並與它的前身 Stable Audio 1.0 進行比較，探討它對音頻生成領域帶來的影響。 隨著 AI 技術的日益成熟，Generative AI 成為了當下最受矚目的技術之一。在眾多 Generative AI 的應用中，音頻生成無疑是最具挑戰性的領域之一。從 Stability AI 發布的 Stable Audio 1…
在人工智慧（AI）的急速發展下，企業對於更高效、更智慧的語言模型的需求日益增長。最近，Cohere 推出的 Command R+ AI 模型，成為了業界關注的焦點。本文將深入探討 Command R+ AI 模型的特點、應用場景，以及其對企業級應用所帶來的影響。 Command R+ AI 模型簡介 Command R+ 是由 Cohere 最新推出的大型語言模型（LLM），旨在為企業提供更加強大、靈活的 AI 解決方案。此模型特別優化了檢索增強生成（RAG）和工具使用功能，使其能夠有效處理企業級工作負載。 主要特點 Command R+ 透過檢索增強生成（RAG）技術，能夠根據上下文資訊檢…
引言：AI 技術的革新之路 隨著人工智慧（AI）技術的不斷進步，生成式 AI（Generative AI）已成為科技領域的一大焦點。在這波技術變革中，DataStax 收購 Langflow 的消息，無疑為 AI 領域商業發展注入了新的活力。本文將深入探討此次收購如何開啟 AI 應用開發的新篇章，以及它對行業的深遠影響。 AI 技術的飛速發展，引領著無數創新的可能性。從自然語言處理到電腦視覺，AI 正在逐漸滲透到我們生活的每一個角落，重新定義著交互方式、業務流程，乃至創新模式。而生成式 AI 的興起，更是開闢了一條探索人機共創的全新道路，讓人們對 AI 的潛能有了更深層的認識和期待。 Dat…
引言 在 AI 領域，OpenAI 一直是創新和突破的代名詞。隨著科技的迅速發展，尤其是進入 2024 年後，人們對於更加智能化、個性化的技術需求日益增長。OpenAI 作為行業的領先者，不斷推陳出新，旨在滿足這些需求，並助力於實現更加高效和精準的人工智能應用。最近，OpenAI 推出了一系列新功能，這不僅對開發者群體是一大利好，同時也為廣大對 AI 技術有深度關注的人士開啟了定制化 AI 模型的新篇章。 從 fine-tuning API 的革新到 Custom Models Program 的擴展，OpenAI 正在不斷地拓寬技術的邊界。這些新進展不僅提供了更多控制細節的能力，還大幅提升…
在當今科技迅速發展的時代，AI 聲音克隆技術已成為了一個熱門話題。這項技術允許我們以極高的相似度復制某人的聲音，並用於各種場景，如虛擬助手、遊戲角色配音、教學視頻等。在本文中，我們將深入探討 AI 聲音克隆技術的原理、應用案例，以及如何實際操作。 AI 聲音克隆技術概述 AI 聲音克隆技術是利用深度學習算法訓練一個模型，使其學會模仿特定人聲的特徵，包括語速、語調、情感等。這一過程需要大量的語音數據來進行訓練，從而讓 AI 模型能夠準確地復制目標聲音。 應用案例剖析 AI 聲音克隆技術已被廣泛應用於多個領域： 虛擬助手：通過 AI 聲音克隆技術，可以創建更加自然、更具人性化的虛擬助手聲音，提升…
在地震多發的地區，地震預警系統的發展與應用已成為保護人民生命財產安全的重要科技進步。隨著科技的進步，不同國家與地區已逐步建立起自己的地震預警系統。本文將深入探討台灣與加州在地震預警科技方面的先進實踐。 台灣的地震預警系統 台灣地處環太平洋地震帶，地震活動頻繁。為此，台灣中央氣象局開發了先進的地震預警系統，以提前幾秒到幾十秒的時間向公眾發出地震警報，為民眾爭取寶貴的避險時間。 項目 台灣地震預警系統 預警時間 幾秒到幾十秒 發布範圍 全台灣 技術特點 利用地震波速度差異，快速評估地震規模與潛在影響 成果 在多次地震事件中，成功為學校、政府機關與企業提供預警，降低人員傷亡 台灣的地震預警系統結合…
在當今快速發展的商業環境中，企業和專業人士經常需要製作各種報告來分析數據、預測趨勢或總結研究成果。然而，傳統的報告製作流程往往耗時耗力，且需要大量的專業知識和技能。幸運的是，隨著人工智能 (AI) 技術的不斷進步，AI 報告生成工具應運而生，為報告製作提供了一種高效、智能的解決方案。 AI 報告生成工具利用先進的機器學習和自然語言處理技術，能夠自動分析數據、生成圖表和撰寫報告內容，大大提高了報告製作的效率和質量。此外，這些工具還能根據用戶的特定需求和偏好進行定制，使得生成的報告更加符合用戶的實際應用場景。 市場上的 AI 報告生成工具比較 在選擇適合的 AI 報告生成工具時，用戶需要考慮多個…
預訓練的大型語言模型（LLM）只能進行下一個詞預測，使得它們無法回答問題。這就是為什麼這些基礎模型之後需要通過指令和答案的配對進行精調，以充當有用的助手。然而，這個過程仍可能存在缺陷：精調後的 LLM 可能會有偏見、有毒害、有害等。這就是人類反饋中的強化學習（RLHF）發揮作用的地方。
If you need to connect to an Amazon EC2 instance without an original SSH key pair on a new device, you can follow these steps: Create a new key pair or use existing key. If you create a private key in the Amazon EC2 console, retrieve the public key of the key pair. Open the Amazon EC2 console. Stop…
There are some Selenium functions or techniques that I haven’t used before and I don’t know how to write them like this, or they are less intuitive; because they are all fragmented, I will organize them into this article. 有些 Selenium 功能或技巧，沒用過不知道應該要這樣寫，或是比較不直覺的做法；因為都比較零碎，我將它整理到這篇。
BLEU（Bilingual Evaluation Understudy）是一種用於機器翻譯品質評估的評估指標。BLEU-4是指使用4-gram（四個詞）精確匹配的BLEU得分。 計算BLEU-4的步驟如下： 首先，計算參考翻譯（reference translation）中所有四個詞的n-gram的出現次數。 然後，計算被評估翻譯（candidate translation）中所有四個詞的n-gram的出現次數。 接下來，對於每個n-gram，計算被評估翻譯中該n-gram的出現次數與所有參考翻譯中該n-gram的出現次數的最大值。 然後，計算加權幾何平均（weighted geometr…
ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一種評估自動文本摘要系統效果的方法，它的核心思想是計算自動生成的摘要與參考摘要之間的相似度。ROUGE分數可以用來評估摘要的質量，通常用在文本自動摘要、機器翻譯、文本相似度等自然語言處理任務中。 常見的 ROUGE 分數包括： ROUGE-N：衡量自動生成的 N 元組與參考摘要中的 N 元組之間的匹配程度，其中 N 是一個正整數。 ROUGE-L：衡量自動生成的最長公共子序列與參考摘要中的最長公共子序列之間的匹配程度。 ROUGE-W：衡量自動生成的 N 元組與參考摘要中的 N …
抽取金融事件能幫助用戶獲得競爭對手的戰略，預測股票市場做出正確的投資決策。舉例來說，股權凍結事件將對公司產生不利影響，股票持有者應迅速判斷避險
今天這篇要教大家如何使用 OpenAI Finetune API 微調出自己的模型。 想必大家都學會使用網頁版 ChatGPT，最近 OpenAI 又推出了比 GPT-3 便宜十倍的 ChatGPT API，想必未來也有可能往可以 fine-tune 的路線走，讓客製化的門檻越來越低。 不管你是不是開發者，學會怎麼使用 OpenAI Finetune API 對你都有幫助。 實作步驟 我為大家整理了簡單 5 步驟： Step1. Get Data 首先你要取得希望模型可以自動回覆你的資訊，例如 FAQ、對話紀錄、知識庫文件等等。 來源可能是公開資料或是用戶產生的內容 Step2. Prepr…
Finetune 語言模型所需要的 GPU memory 比較多，往往會需要我們能夠利用到多顆 GPU 的資源。今天這篇文章會說明 DataParallel 和 DistributedDataParallel + DistributedSampler 兩種進行模型分散式訓練的方式。
這篇文章紀錄我串接非官方 ChatGPT API 「試圖」取得 NLP 資訊抽取任務標籤的過程。結論是…
大家最想知道，核武級的 ChatGPT 出現後該如何應對？ 未來的運作方式可能會變成像是 人類先有一個 idea ，先請 AI 做初步的資料蒐集、整理，再由人類做判斷、再使用 類似 Prompt Engineering 的方式進行微調，用這樣的方式和 AI 協作。
以下整理 套件開發協作時常遇到與用到的 Git 指令： SSH Key 與 HTTPS 的差別 其中 <repo_link> 的開頭有 https:// 和 git@ 兩種： git@ 開頭：需在 Github 設定 SSH Key 才能有 clone 到本地的權限（生成 ~/.ssh/id_rsa.pub 後貼到 Github SSH Key 創建頁面）。後續都不用再輸入帳密即可進行 git 操作 https:// 開頭：無需設定 SSH Key 即可 clone。後續若要 git push 需要輸入帳密 可再 git push 前先輸入指令 git config –global cred…
本文介紹自然語言處理中的經典任務之一：語義角色標註，並分享開源專案「事件三元組抽取」如何利用語義角色標注的結果，以及復現心得、改良想法
隨著公開資料使用的普及化，網站對自家資料的保護也越來越嚴謹。開發者如何在符合道德和不觸發網站擋爬機制的同時，合法取得所需的公開資訊，是當今資料技術開發人員不可或缺的技能點之一。 (I) 發送 Request 時帶上 Headers Request Headers 客戶端用來告知伺服器端，客戶端這邊的瀏覽器資訊是什麼。 因此模仿你在瀏覽網頁時，在 Network Panel 所看到的 Request Headers，也是降低網站把你判斷成爬蟲程序的機率。 補充：可以查看自己的瀏覽器 Headers: http://myhttpheader.com/ （或打開 Network Panel 選取一…
使用 .yml 檔案 將當前環境設置輸出為 environment.yml ，再用來創建配置一致的新環境 更新現有環境 在 environment.yml 中對 pip 安裝指令加參數 [ref] 使用 .txt 檔案 將當前環境設置輸出為 spec_file.txt 更多 conda 指令： https://docs.conda.io/projects/conda/en/latest/_downloads/843d9e0198f2a193a3484886fa28163c/conda-cheatsheet.pdf
更新 Mac 到 12.3.1 後，日常使用 git 進行版控時，出現以下錯誤訊息： 解法是要安裝/升級 XCode command line tools 畫面跳出 按下「安裝」> 「同意」，等待完成就可以正常使用 git 指令啦！
使用 pre-trained model BERT 進行各種 NLU 下游任務 fine-tuning 時，會有輸入限制 512 字符的限制，真實世界文章往往超過這個長度，因此如何應用 BERT 到長文本上是一個重要的議題。 傳統 BERT 長文本輸入處理方式 我在搜集資料時，找到此篇文章整理了 3 種克服方式： 截斷法：就是很直觀的取其中的 512 字符輸入，也是已知最常用的暴力解 head 截斷：從頭開始保留限制的 token 數 tail 截斷：從文本末端往前擷取 head + tail 截斷：開頭和結尾各保留一部分 Pooling 法 把長文本分成多個 512 字以內的 segmen…
以下用中文解釋題意和解題思考過程，若有誤、更優解等建議，歡迎留言或私訊。 本週題意 基本上希望的目的是，將聯繫蝦皮客服的用戶進行 unify(歸一化)，方便計算客服流程的總聯繫次數。由於用戶會用不同信件、手機、基於不同訂單向客服反應意見，但實際上他們背後是同一位用戶。＊同一用戶定義：信箱一致 or 電話一致 期望提交格式 技術學習點 multiprocessing 多進程模組 Pool 資料描述 原檔提供 JSON 格式，包含屬性 = {客服單號, 訂單編號, 信箱, 電話, 聯繫次數} 處理邏輯 訂單編號必定隸屬單一用戶，先分別以 訂單編號、信箱、電話 aggregate 出同一人的客服紀…
（一）主題 從天貓 TMall 用戶網站行為紀錄，透過視覺化整理： 基本的資料分布 比較不同用戶分組的行為分布差異 ＊何謂探索性資料分析？ 運用 Python 套件進行視覺化或基本統計等方式，讓資料的特點更清楚地被了解及呈現；它也是資料科學中的一環。 ＊資料科學流程： 資料處理 > 資料探索性分析 > 特徵工程與轉換 > 模型選擇與建構 > 模型成效指標與調參 （二）分析大綱 各欄位項目分布（以下皆分用戶組、分區間進行比較） 每人總行為次數分布 每人不重複入站時間數分布 隨時間變化趨勢圖 時間顆粒度 – 每日 時間顆粒度 – 每周 時間顆粒度 – 每月 1. 各欄位項目分布 1.1 …
不管是提升工作技能或對資料有興趣，都可以簡單上手 Python 數據分析，文末我們將提供 Colab 範本給讀者進行練習。滑到文末 ＊Colab 是什麼？>> Colaboratory (簡稱為「Colab」) 可讓你在瀏覽器上撰寫及執行 Python，且具備下列優點： 不必進行任何設定 免費使用 GPU 輕鬆共用 教程大綱 Environment Setup Data Processing 2-1. Numpy Basics 2-2. Pandas Basics Explortary / Statistical Data Analysis Feature Engineering – Fea…