黨中央、國務院高度重視大數據發展，將大數據上升為國家戰略之一。廣播電視行業的內容生產與傳播消費過程中產生的海量數據蘊含著豐富的價值，探索實踐廣播電視行業應用大數據技術，有助于提升廣電內容生產的能力、創新廣電業務的產品、提升廣電運營服務水平，從而助力廣電媒體融合發展，推動廣播電視行業產業升級。本文從廣播電視應用大數據技術的需求、關鍵技術、平臺建設、數據安全以及典型應用等方面對《廣播電視行業應用大數據技術白皮書(2018)》進行了詳細解讀。

0 引言

當前，云計算、大數據、人工智能、虛擬現實、區塊鏈等新一代信息技術的發展與應用，全方位影響著廣播電視生產制作、播出傳輸和服務模式，推動媒體格局的變化。特別是大數據技術的應用，近年來取得了突飛猛進的發展，推進信息化進入一個新的發展階段，對于廣播電視行業的重要性也愈發明顯。

國際上，包括美國、歐盟、英國、日本、韓國等許多國家的政府都認識到大數據的重要作用，積極開發利用大數據，制訂實施大數據戰略，以奪取新一輪競爭制高點。

我國也高度重視大數據發展，將大數據上升為國家戰略，相繼出臺了一系列政策、標準、產業推進計劃。我國大數據仍處于快速發展期，在垂直領域的應用程度不斷深化。

中共中央總書記習近平提出，要以數據集中和共享為途徑，推動技術融合、業務融合、數據融合，打通信息壁壘，形成覆蓋全國、統籌利用、統一接入的數據共享大平臺，構建全國信息資源共享體系，實現跨層級、跨地域、跨系統、跨部門、跨業務的協同管理和服務。這為廣播電視行業應用大數據技術、建設大數據平臺指明了方向。

1 廣電大數據的應用需求

廣播電視行業擁有豐富的數據資源，特別是隨著近年來的數字化、網絡化、媒體融合發展，內容生產由模擬信號處理方式向全流程的數字化、網絡化轉變，傳輸分發由單向發射傳輸向雙向數字網絡轉變，內容消費方式由簡單接收向多元化互動方式轉變，廣播電視行業在內容生產、傳輸分發和用戶服務過程中產生的數據規?？焖僭鲩L、數據體量十分龐大。國家廣播電視總局《2018年全國廣播電視行業統計公報》公布：2018年全國廣播節目制作時間為801.76萬小時，全國電視節目制作時間357.74萬小時。2018年全國公共廣播節目播出時間1526.74萬小時;全國公共電視節目播出時間1925.03萬小時。2018年全國有線廣播電視實際用戶數2.18億戶, 全國有線數字電視實際用戶數2.01億戶。2018年全國交互式網絡電視(IPTV)用戶1.54億戶，互聯網電視(OTT)用戶4.20億戶。

廣電行業產生的數據規模巨大，并且不斷快速增長。數據來源多樣、類型多樣。廣播電視行業對于數據獲取和處理速度有很高的要求，特別是新聞生產、直播中用戶互動等業務數據的處理。數據規模、處理時效和數據類型均在時刻變化。廣電行業在業務生產過程中，利用大數據技術不僅能夠提高數據使用的效率，而且能夠實現數據的再利用;應用大數據采集技術，收集用戶終端數據、用戶互動數據、用戶行為數據等用戶服務數據，真正意義上把受眾發展為用戶，為廣電業務帶來創新發展的空間。

廣電大數據根據不同的維度有多種分類方式，其中按照廣電大數據產生的過程、時效、數據結構進行分析，便于和媒體內容生產、用戶消費服務業務密切結合，促進廣電大數據在各個應用場景的應用。

按照媒體內容生產過程和消費過程，可分為：媒體內容大數據和用戶服務大數據。按照數據的產生和時效價值，可分為實時數據和非實時數據。按照數據的邏輯結構，可分為結構化數據、半結構化數據和非結構化數據。

媒體內容大數據，是在內容的采集、制作、播出、分發、傳輸、交換、管理過程中產生的數據，對媒體內容大數據進行深入的數據分析，可為內容生產提供支撐，優化生產流程、創新內容產品、傳播優質內容。這部分數據包括：音頻、視頻、圖片、文稿、字幕、元數據信息等數字化文件，是廣電行業進行生產制作與傳播的主體對象。這類數據具有非結構化或者半結構化數據的特征，數據體量巨大，蘊含信息豐富，具有很高的數據挖掘價值。

用戶服務大數據，是在媒體內容的收看、收聽、消費、互動、分享過程中產生的數據，對用戶服務大數據進行數據分析，能更好地把握用戶的需求和愛好，優化產品與服務，提升運維和運營質量。面向這類數據開展應用，以“用戶”為中心研究業務需求特點，有利于創新業務產品，促進媒體融合和智慧廣電的發展。

總的來說，廣播電視行業的內容生產與傳播消費過程中產生的海量數據，蘊含著豐富的價值。應用大數據技術，做好對這些海量數據的聚合、挖掘、分析、應用，可以更好地促進廣電業務生產與用戶服務，更好地激發媒體融合發展的創新活力。

2 大數據的關鍵技術

大數據關鍵技術涵蓋從數據存儲、處理、應用等多方面的技術。根據大數據的處理過程，可將其分為數據采集、數據預處理、數據存儲、數據分析與挖掘、數據應用等環節。大數據技術與傳統的數據處理技術不同，在大數據處理的各個環節中，出現了許多服務大數據的新興技術。

大數據采集技術包括媒體數據采集、網絡數據采集、終端數據采集、系統日志采集、數據庫采集等技術應用。

大數據預處理過程可以幫助我們將那些雜亂無章的數據轉化為相對單一且便于處理的結構，達到快速分析處理的目的。通常數據預處理包含數據清理、數據整合、數據規約、數據變換等四個部分。

大數據存儲管理技術包括：數據存儲技術、數據庫技術、異構數據融合存儲架構、數據模型構建和管理。

媒體內容數據中，特別是音視頻內容數據，是一種非結構化數據，這樣的類數據如果僅僅是采集和存儲，則很難發揮其豐富的數據價值，要深度挖掘媒體內容的數據價值往往需要，需要對媒體內容數據的做處理成結構化數據處理，以便于數據價值挖掘。

大數據挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機的數據中，提取有用信息的過程。主要技術包括：分類、預測、關聯挖掘、聚類等。

大數據處理框架負責對大數據系統中的數據進行計算。有批處理、流處理、混合處理三種方式。

大數據展現與應用技術包括：借助于圖形化手段的數據可視化技術、全文檢索技術與數據查詢分析技術。

3 廣電大數據的平臺建設

在媒體融合和大數據發展的背景下，廣播電視行業要逐步轉變傳統理念和運營模式，借助大數據平臺采集、存儲、挖掘數據資產，通過大數據平臺對媒體內容數據、用戶服務數據進行全方位分析挖掘，從而提升媒體內容生產的能力，創新網絡視聽業務產品，升級媒體運營服務、加強媒體傳播的監測監管。

廣電大數據應用不是一個孤立的應用服務，與廣播電視、有線網絡、網絡視聽等各類業務緊密相關。廣電大數據平臺的技術架構和業務應用服務應進行統籌規劃設計。

3.1 廣電大數據的平臺架構

從實際出發，廣電大數據平臺目前由各地分散建設，但在建設過程中，要以實現全國性廣播電視行業大數據共享共用為目標，建立標準的數據接口規范，具備安全交互數據互聯機制，推動形成全國性的大數據采集、匯集和應用機制。

廣電大數據的平臺建設，廣電大數據的架構要以國標《信息技術 大數據 技術參考模型》提出的通用大數據參考架構為依據。在基于媒體融合云平臺建設部署時，要充分利用軟硬件資源，在平臺服務層部署大數據的采集、預處理、存儲管理、挖掘與應用等能力，在應用服務層部署媒體內容與用戶服務的多種大數據應用服務。

在平臺建設策略上，一方面要明確需求目標，做好整體規劃，要以支撐大數據應用服務為目標，加強頂層設計，建立互聯互通機制，推動各廣電機構的數據共享，推進形成全國行業性的廣電大數據采集、匯聚和應用機制。

另一方面要立足業務現實，分步推進大數據平臺的建設與完善。在自身業務分析的基礎上，可以選擇性地建設大數據基礎計算資源，大數據平臺處理流程和大數據業務應用服務，進行技術和人才儲備，再逐步擴大平臺的規模，增加平臺上的業務。

3.2 廣電大數據的處理流程

大數據處理要遵循統一大數據采集、統一大數據管理、統一大數據計算、統一大數據處理、統一大數據服務的原則。處理流程上，是從數據采集、數據預處理、數據存儲、數據處理、數據分析挖掘、統一數據服務到數據應用等環節的處理，數據應用產生的數據又可作為新數據源采集進入大數據處理平臺，形成大數據閉環。

3.3 廣電大數據的治理流程

數據治理能夠消除數據的不一致性，建立規范的數據應用標準，提高數據質量。統一大數據治理機制，有助于對廣電大數據管理和利用進行評估、指導和監督，實現大數據應用服務的風險可控、安全合規、效率提升和價值創造。

廣電大數據治理包含以下三個維度：原則，即大數據治理工作所需要循序的基本指導性法則;范圍，即數據治理包含的關鍵領域和主要活動;實施，即大數據治理的實施過程。

大數據治理的準則即大數據治理的重要內容包括組織職責，元數據、大數據隱私、數據質量管理、業務流程整合、數據匯聚整合、數據生命周期管理等。

大數據治理實施是指圍繞大數據治理的階段、關鍵要素等，建立大數據治理體系。體系包括支撐大數據治理的戰略藍圖和階段目標，崗位職責和組織制度、關鍵領域與流程，以及軟硬件資源。

大數據治理實施流程可分為現狀評估、樹立目標、制定方案、執行方案、運行與測量、評估與改進等形成閉環的六個階段。

4 廣電大數據安全

廣電大數據安全應該基于數據業務鏈路包括采集、傳播、處理、存儲、交換、應用，構建全面的數據安全管控體系，覆蓋數據加工前、數據加工中、數據加工后、數據合規等方面的數據安全管控。在數據合規層，需參考《GB/T 35273-2017 個人信息安全規范》、《GB/T 35274-2017 信息安全技術 大數據服務 安全能力要求》、《GB/T 31168-2014 信息安全技術 云計算服務安全能力要求》，以及 ISO 27001 系列標準進行實施。通過遵循這些標準，實現對個人隱私信息的保護、保障云服務的安全控制，保障大數據服務的安全性，同時也符合國家的監管要求。通過建立一套標準的大數據采集、計算存儲、服務和應用的架構，形成以數據為中心的大數據安全管理理念。

廣電大數據安全需要符合安全播出的要求，包括基礎安全、平臺與應用安全和數據生命周期安全。

大數據的基礎安全，是結合廣電數據特性制定相關的制度約束規程，增強數據資產的安全，明確大數據使用者的角色和權限，對元數據安全和數據合規進行管理，從而確保對個人信息進行保護和重要數據的分級管理。

數據生命周期安全是包括數據采集、數據傳輸、數據存儲、數據處理、數據交換和數據銷毀等各個環節的安全技術。

廣電大數據平臺安全是對大數據整體安全形成的安全策略，從數據采集到數據資產的管理，再到平臺的訪問安全管控和各類數據存儲安全，以及數據在分發中的加密和脫敏形成的安全技術，包括：傳輸交換安全、存儲安全、計算安全、平臺管理安全以及基礎設施安全。

5 廣電大數據的典型應用

充分挖掘媒體內容數據、分析用戶數據，可廣泛應用在廣播電視內容的采集與生產、節目的推薦與經營、用戶的跟蹤與服務、輿情的監控與管理、節目的傳輸與分發以及節目監控監管等領域。廣電行業中，面向廣播電視臺、有線網絡和網絡視聽等領域，都具有一些應用大數據技術的典型場景。

在廣播電視臺，大數據的典型應用場景包括：內容采集與生產：新聞融合生產、內容的智能化生產與管理、版權管理。節目播出分發：播出內容監管、收視分析。節目評價。輿情監控監管。平臺運行維護。廣播電視臺建立大數據應用體系可為融合媒體業務全流程提供全面支撐。

在有線網絡公司，生產運營上典型應用場景包括：廣電大數據共享服務、用戶分類、個性化推薦、經營分析。用戶服務上典型應用場景包括：收視行為分析、用戶活躍度分析、客戶服務。運行管理上：設備故障預測、網絡優化、網絡安全態勢感知。

在網絡視聽中應用大數據的典型場景包括：節目價值導向指引與傳播效果評估分析，產品優化與提升用戶體驗，全鏈路版權保護，網絡安全動態感知，業務運行監管等。

國家廣電總局適應行業發展需要，研究部署建立了基于“全網絡、全樣本、大數據、云計算”的節目收視綜合評價體系，強化對廣播電視、網絡視聽節目的規范管理，促進廣播電視高質量發展。廣播電視節目收視綜合評價大數據系統已于2018年12月26日開通試運行。

6 結束語

近年來，我國相繼出臺了一系列相關政策推動大數據的技術、產業及其標準化的發展。廣播電視行業也根據實際業務需求，制定了《電視收視數據元素集規范》、《電視收視數據交換接口規范》、《電視收視數據清洗規范》等行業標準規范。在此基礎上，白皮書建議廣電行業進一步增加相關數據類、技術類、安全類和管理類行業標準規范。

廣電行業建設大數據平臺，要以全國性廣電行業大數據共享共用為目標。各級廣播電視機構分散建設的大數據應用，要符合白皮書的指導要求。要與自身業務緊密結合，制定大數據平臺建設的總體規劃與實施步驟。建設大數據平臺時，應充分考慮利用已建的融合媒體云平臺，建設部署大數據平臺。廣電大數據平臺的建設中，要積極應對數據匯聚、數據分析等帶來的安全問題。

廣電對大數據的應用將促進媒體融合的進程，為媒體融合發展提供助力。大數據的應用還將推動廣電媒體產業升級，包括：推動智慧媒體發展，全面提升媒體的商業價值，為媒體產業升級提供支撐。希望在白皮書的引導下，各級廣電機構、行業內外企業共同努力，積極推進大數據技術在行業的深入應用，推進廣電大數據平臺的建設，為廣電全面轉型升級賦能，構建行業發展全新格局。